Studium przypadku: odporność w zbiorze RIDER

W poprzedniej sekcji rozdzielono powtarzalność, zgodność między rekonstrukcjami i odtwarzalność jako różne pytania pomiarowe. Publiczny zbiór danych RIDER Lung CT Version 3 konkretyzuje to rozróżnienie, ponieważ zawiera zarówno powtórzenie tego samego dnia, jak i wiele rekonstrukcji każdego skanu. Oryginalna publikacja opisująca projekt autorstwa Zhao i wsp. dokumentuje kontekst sparowanych skanów wykonanych tego samego dnia i po zmianie ułożenia; zawarta w niej analiza powtarzalności pomiarów wielkości guza wykorzystywała jedną rekonstrukcję z cienkimi warstwami, natomiast pakiet sześciu rekonstrukcji należy do obecnego rekordu TCIA v3. Jest to użyteczny przypadek ilustracyjny, ale jego zakres pozostaje ograniczony: charakteryzuje określone zachowanie pomiaru w jednym zbiorze danych i w ramach jednego zadeklarowanego kontraktu analitycznego. Nie dowodzi trafności biomarkera, użyteczności klinicznej ani odtwarzalności na każdym skanerze, w każdym ośrodku lub protokole.

Projekt sparowany z dwiema rodzinami porównań

RIDER obejmuje pacjentów z rakiem płuca ponownie zeskanowanych tego samego dnia na tym samym skanerze, z odpowiadającymi sobie segmentacjami guzów i wieloma ustawieniami rekonstrukcji każdego skanu. Krótki odstęp umożliwia postawienie pytania o powtarzalność: oczekuje się niewielkiej zmiany celu biologicznego, natomiast ułożenie, oddychanie, fizjologia, szum akwizycji, segmentacja i ekstrakcja nadal mogą się różnić. Ustawienia rekonstrukcji umożliwiają zadanie odrębnego pytania: co dzieje się, gdy tę samą akwizycję reprezentuje inna rekonstrukcja?

Projekt można przedstawić jako siatkę. Każdy pacjent ma dwa wiersze skanów, a ustawienia rekonstrukcji są rozmieszczone w kolumnach. Porównanie dwóch skanów w jednej kolumnie tworzy rodzinę test–retest. Porównanie kolumn w obrębie jednego wiersza tworzy rodzinę zgodności między rekonstrukcjami.

Schemat projektu, a nie zbiór danych konkretnego pacjenta: siatka przedstawia strukturę, nie wartości. Sześć ustawień nie wyczerpuje przestrzeni rekonstrukcji, a każdą rodzinę analizuje się oddzielnie na rzeczywistych danych z użyciem odpowiedniej statystyki zgodności.

Ten sam pacjent i ta sama kolumna rekonstrukcji są niezbędne w pierwszym porównaniu. Pytanie dotyczy zgodności cechy w niemal identycznym powtórzeniu, a nie podobieństwa rozkładów dwóch dowolnych skanów. Ta sama podstawa akwizycji i jeden wiersz skanu są niezbędne w drugim porównaniu. Pytanie dotyczy tego, czy zmiana rekonstrukcji zmienia cechę, a nie tego, czy inny pacjent lub inna populacja kliniczna ma inną wartość.

Żadna z rodzin sama nie odpowiada na szersze pytanie o odtwarzalność. Porównanie test–retest nie bada innych skanerów ani ośrodków. Porównanie rekonstrukcji celowo zmienia oś rekonstrukcji, a nie całe środowisko akwizycji. Obie rodziny trzeba więc analizować oddzielnie, mimo że można je przedstawić w jednej macierzy projektu.

Co pozostaje stałe, a co się zmienia

Znaczące porównanie zaczyna się od zadeklarowanego kontraktu pomiarowego. Wybór cechy, typ obrazu, region i etykieta, geometria, resampling i interpolacja, przetwarzanie intensywności, dyskretyzacja, wymiarowość, sąsiedztwo oraz agregacja macierzy muszą pozostać stałe albo zostać jawnie przypisane do badanej osi. Celem nie jest udawanie, że wszystkie pozostałe źródła zmienności znikają, lecz zapewnienie identyfikowalności zamierzonego porównania.

W przypadku powtarzalności test–retest podstawę porównania definiują pacjent, skaner, kontekst sesji i ustawienie rekonstrukcji. Powtórzenie tego samego dnia nadal może zmienić ułożenie pacjenta i mierzony obraz. Jeśli segmentację wyznaczono ponownie niezależnie, zmienność segmentacji wchodzi do badanego łańcucha. Wynikowa zgodność opisuje powtarzalność całego tego łańcucha w zadeklarowanych warunkach.

W przypadku zgodności między rekonstrukcjami podstawą porównania jest akwizycja, a celowo zmienianym elementem ustawienie rekonstrukcji. Inna rekonstrukcja może zmienić wartości wokseli i wygląd przestrzenny. Zależnie od sposobu utworzenia i reprezentacji regionów mogą jej również towarzyszyć różnice geometrii lub segmentacji. Efekty te nie uzasadniają przeetykietowania porównania jako ogólnego badania odtwarzalności. Należą do pytania, które trzeba zarejestrować: jak bardzo zmienia się dalszy pomiar, gdy zmienia się ta oś rekonstrukcji?

Wynik z każdej rodziny jest zależny od wyborów, które go definiują. Cecha obliczona po innej dyskretyzacji, z inną maską lub po innym resamplingu nie jest czystym powtórzeniem pierwotnej cechy, chyba że zmiana ta należy do planowanego porównania. Statystyka zgodności nie naprawi niezarejestrowanej zmiany kontraktu.

Eksperyment wrażliwości na jeden parametr

Projekt sparowany można połączyć z małym eksperymentem wrażliwości, zanim przystąpi się do interpretacji zbiorczej. Należy zacząć od wizualnej i geometrycznej kontroli poprawności. Trzeba potwierdzić, że obraz i maska guza pozostają w zamierzonej relacji przestrzennej, region nie jest pusty ani w oczywisty sposób przemieszczony, a geometrię odpowiedniego obrazu i etykiety zinterpretowano spójnie. Precyzyjna wartość cechy z przemieszczonego regionu nadal jest precyzyjną odpowiedzią dla błędnych danych wejściowych.

Następnie należy wybrać jedną cechę i zapisać stały kontrakt ekstrakcji. Na przykład pojedyncze podsumowanie GLCM, takie jak JointEntropy, można obliczyć na podstawie jednego zadeklarowanego obrazu, jednej zadeklarowanej maski, jednej ścieżki geometrii i interpolacji, jednej reguły przetwarzania intensywności, jednej reguły dyskretyzacji oraz jednej konwencji wymiarowości i agregacji. Wybory te pozostają stałe, podczas gdy jeden parametr jest poddawany perturbacji. Dokładne wartości należą do zapisu przypadku; żadna konkretna wartość parametru nie jest uniwersalnym zaleceniem.

Prognozę należy sformułować przed drugą ekstrakcją. Jeśli wybrana zmiana binWidth rozdziela kilka wartości intensywności, które wcześniej przypisano do jednego poziomu szarości, w tym konkretnym regionie można rozsądnie oczekiwać redystrybucji masy prawdopodobieństwa GLCM i zmiany Joint Entropy. Prognoza wzrostu wartości może być właściwa dla określonego zaobserwowanego wzorca poziomów szarości, ale nie jest regułą, według której mniejsze przedziały zawsze zwiększają entropię albo przesuwają każdą cechę tekstury w tym samym kierunku.

Należy wykonać obliczenie pierwotne i obliczenie po perturbacji przy niezmienionej reszcie kontraktu, a następnie porównać wartości i reprezentacje zdyskretyzowane. Jeśli wynik odpowiada lokalnej prognozie, eksperyment uwidacznia rolę alfabetu poziomów szarości. Jeśli nie, rozbieżność trzeba wyjaśnić mechanistycznie, zamiast domyślnie uznać ekstraktor za niewiarygodny. Niemal jednorodny region, mała liczba wokseli, wartości blisko granic przedziałów, ograniczanie intensywności lub interakcja z wybraną macierzą i agregacją mogą zmienić oczekiwany kierunek. Rozbieżność jest dowodem dotyczącym tego zdefiniowanego eksperymentu wrażliwości, a nie dowodem zmiany guza.

Ten sam projekt może zamiast tego zmienić jeden wybór geometryczny lub interpolacyjny, ale będzie to inna perturbacja. Jednoczesna zmiana szerokości przedziału i resamplingu utrudniłaby przypisanie wyniku do przyczyny. Reguła jednego parametru stanowi więc kontrolę eksperymentalną: zmień jedną zadeklarowaną przyczynę, obserwuj cechę i opisz, co rzeczywiście sprawdzało porównanie.

Analiza test–retest

W analizie powtarzalności należy wyekstrahować tę samą cechę z dwóch skanów każdego pacjenta wykonanych tego samego dnia, stosując ten sam zadeklarowany kontrakt i tę samą kolumnę rekonstrukcji. Należy zachować sparowanie. Cecha, która zmienia się między sparowanymi skanami, wykazała wrażliwość w pełnym łańcuchu powtarzalności, ale sama para nie wskazuje, czy największy wkład miały zmiana ułożenia, fizjologia, segmentacja, szum czy inny etap.

W grupie pacjentów zgodność można podsumować odpowiednim ICC lub CCC oraz uzupełnić różnicami sparowanymi, niepewnością i wykresami pokazującymi relację identyczności. Współczynnik jest opisowym wynikiem dla badanej kohorty i warunków. Nie stanowi właściwości nazwy cechy niezależnej od procesu pomiarowego i nie jest błędem bezwzględnym wyrażonym w jednostkach cechy.

Analiza rekonstrukcji wykorzystuje inne sparowanie. W jednym wierszu skanu należy porównać wartości uzyskane przy różnych ustawieniach rekonstrukcji według zadeklarowanego schematu porównań. Na potrzeby eksperymentu akwizycję traktuje się jako stałą, a rekonstrukcję jako zmienną. Cecha może być zgodna w badanych ustawieniach, niezgodna między nimi albo zachowywać się inaczej przy różnych ustawieniach. Każdy z tych wyników opisuje badaną odporność na rekonstrukcję; żaden nie dowodzi zachowania przy ustawieniach nieuwzględnionych w próbie ani w innych ośrodkach.

Obu analiz nie należy łączyć w jeden współczynnik. Różnica test–retest tego samego dnia i różnica między rekonstrukcjami tej samej akwizycji wynikają z innych perturbacji i mają inną interpretację. Ich połączenie nadałoby jednej liczbie pozór większej ogólności, a jednocześnie ukryło pytanie, na które odpowiada.

Reguła zapobiegająca dostrajaniu

Nie wybieraj binWidth, odstępów, interpolacji ani innego parametru ekstrakcji dlatego, że daje najkorzystniejszy późniejszy wynik. Zmieniłoby to badanie wrażliwości pomiaru w selekcję cechy opartą na wyniku. Celem tego przypadku jest obserwacja działania zadeklarowanego kontraktu, a nie poszukiwanie kontraktu, który wygrywa.

Jeśli późniejsza analiza pyta, czy jeden wybór parametru poprawia predykcję, jest to nowe, określone z góry pytanie modelowe. Wytyczne raportowania, takie jak lista kontrolna raportowania badań radiomicznych CLEAR i TRIPOD+AI, umieszczają wybór parametrów, selekcję cech i inne etapy zależne od danych w zadeklarowanym projekcie tworzenia i oceny modelu; są to ramy raportowania, a nie empiryczna walidacja. Wybory te należy dopasowywać wyłącznie z użyciem dozwolonej części treningowej, a następnie stosować do danych wydzielonych. Wynikową analizę predykcyjną trzeba więc oceniać we właściwym projekcie walidacji. Przypadek odporności RIDER kończy się wcześniej. Opisuje zachowanie pomiaru w porównaniach powtarzalności, rekonstrukcji i kontrolowanej perturbacji.

Najsilniejszy dostępny tu wniosek ma odpowiednio wąski zakres. Przypadek może wykazać, że cecha jest wrażliwa lub względnie stabilna w określonych warunkach, i pomóc wskazać dodatkowy kontrast, który zawęzi możliwe źródło zmienności. Nie może wykazać, że cecha mierzy zamierzoną biologię, poprawia predykcję albo przynosi korzyść decyzji klinicznej. Twierdzenia te wymagają osobnych dowodów.

Po rozdzieleniu rodzin porównań sparowanych i zabezpieczeniu eksperymentu przed dostrajaniem parametrów można zapytać, co dzieje się po scharakteryzowaniu właściwości pomiarowych. Następna sekcja, Harmonizacja i przekazanie do modelu, omawia sposób łączenia różnic międzyośrodkowych, decyzji o odporności i dalszego modelowania bez traktowania harmonizacji jako zamiennika zrozumienia pierwotnego pomiaru.

Źródła

• Ye S, Lim JY, Huang W. Statistical considerations for repeatability and reproducibility of quantitative imaging biomarkers. BJR Open. 2022;4(1):20210083. doi:10.1259/bjro.20210083, PMID 36452056.
• Lin LI. A concordance correlation coefficient to evaluate reproducibility. Biometrics. 1989;45(1):255-268. doi:10.2307/2532051, PMID 2720055.
• Pfaehler E, et al. Phys Imaging Radiat Oncol. 2021;20:69-75. doi:10.1016/j.phro.2021.10.007, PMID 34816024.
• Haarburger C, et al. Scientific Reports. 2020;10:12688. doi:10.1038/s41598-020-69534-6.
• Zhao B, Schwartz LH, Kris MG, Riely GJ. Coffee-break lung CT collection with scan images reconstructed at multiple imaging parameters (Version 3) [Dataset]. The Cancer Imaging Archive. doi:10.7937/K9/TCIA.2015.U1X8A5NR, strona kolekcji.
• Zhao B, et al. Radiology. 2009;252(1):263-272. doi:10.1148/radiol.2522081593, PMID 19561260, PMCID PMC2797680.
• Kocak B, et al. CLEAR radiomics reporting checklist. Insights into Imaging. 2023;14:75. doi:10.1186/s13244-023-01415-8.
• Collins GS, Moons KGM, Dhiman P, et al. TRIPOD+AI statement. BMJ. 2024;385:e078378. doi:10.1136/bmj-2023-078378.