Falsyfikacja, modele bazowe i kontrole negatywne

Poprzedni przypadek pokazał, że powtarzalność i właściwości pomiarowe nie dowodzą trafności teoretycznej. Model może działać dobrze, wykorzystując sygnał inny niż ten wskazany w jego opisie. Może wykorzystywać objętość, kształt, rozkład intensywności, organizację przestrzenną, sygnaturę akwizycji albo ich połączenie. Sama wartość skuteczności nie pozwala rozpoznać, który sygnał model odczytał.

Użyteczny model myślowy polega na ingerencji w domniemaną przyczynę. Jeśli twierdzenie mówi, że model działa dzięki teksturze przestrzennej, należy utworzyć kontrolowaną reprezentację, w której organizacja przestrzenna zostaje zniszczona, a inne właściwości zachowane. Jeśli skuteczność przetrwa, interpretacja teksturalna zostaje osłabiona. Jeśli skuteczność spadnie, model potrzebował organizacji przestrzennej, ale organizacja ta nadal może odzwierciedlać akwizycję lub rekonstrukcję, a nie biologię. Kontrola zawęża interpretację; sama nie dowodzi związku przyczynowego.

Ograniczona granica dowodowa

Dowody rozważane w tej sekcji nie ustanawiają ani twierdzenia obejmującego wiele nowotworów, że objętość ma silną wartość prognostyczną w większości nowotworów litych, ani twierdzenia obejmującego całe rodziny, że cechy radiomiczne ogólnie zależą od objętości. Ograniczonych badań przedstawionych niżej nie można zagregować w żadne z tych uniwersalnych twierdzeń. Ich wyniki dotyczą konkretnych typów nowotworów, modalności, definicji lub rodzin cech, zakresów objętości, punktów końcowych i projektów walidacji.

Objętość służy tu zatem jako kandydujący model bazowy oraz możliwe alternatywne wyjaśnienie, surogat lub czynnik zakłócający w ograniczonym projekcie. Badanie powinno sprawdzać tę relację dla zadeklarowanego typu nowotworu, modalności, definicji lub rodziny cech, zakresu objętości, punktu końcowego i projektu walidacji, zamiast traktować ją jako prawo radiomiki. W tym rozdziale określenia takie jak zależność od objętości, zastępczość i zakłócenie opisują relacje między mierzonymi zmiennymi; termin przeciek danych jest zarezerwowany dla informacji przekraczającej granicę między treningiem a oceną.

Ramy falsyfikacji stosowane w tym rozdziale

W tym rozdziale trzy rodzaje kontroli służą jako rama porządkująca. Odpowiadają na różne pytania; jest to rama tego rozdziału, a nie twierdzenie, że w dziedzinie istnieje jedna standardowa taksonomia. Rozróżnienie między kontrolami pozorowanymi lub kontrolami reprezentacji a testami z permutacją etykiet omawiają Buvat i Orlhac.

Test zerowy z permutacją etykiet permutuje etykiety wyników i ponownie uruchamia cały potok. Jest to kontrola poprawności potoku i statystyki. Jeśli skuteczność nie spada zgodnie z oczekiwaniem, wynik może być zawyżany przez przeciek, błąd oprogramowania lub inny problem analityczny. Test zerowy etykiet nie sprawdza, czy pierwotny model odczytywał teksturę.

Kontrola negatywna reprezentacji zmienia obrazy lub reprezentację cech tak, aby informacja wymieniona w interpretacji nie mogła przetrwać, zachowując etykiety i pozostałe właściwości, które kontrola ma zachować. Jednym z przykładów jest przetasowanie wokseli w regionie, jak w ograniczonej analizie autorstwa Welch i wsp.. Zmiana wyniku po tej interwencji bardziej bezpośrednio sprawdza deklarowaną interpretację, choć pozostały sygnał przestrzenny nadal wymaga interpretacji.

W tych ramach badanie ablacyjne usuwa lub zastępuje komponenty modelu, takie jak rodzina cech, modalność wejściowa albo blok zmiennych. Pyta, który komponent odpowiada za skuteczność tego modelu. Ablacja może ustalić wynik dotyczący atrybucji modelu, ale nie może dowieść, że komponent mierzył guz, a nie czynnik zakłócający.

Wszystkie trzy kontrole są użyteczne. Tylko kontrola reprezentacji bezpośrednio podważa twierdzenie o tym, jaką informację wykorzystywał model, a nawet to podważenie jest ograniczone przez właściwości zachowane i zniszczone przez kontrolę.

Drabina modeli bazowych

W ramach tej samej falsyfikacji na poziomie rozdziału drabina modeli bazowych jest zalecanym projektem porównań, a nie empirycznym rankingiem ani uniwersalną listą kontrolną całej dziedziny. Przed interpretacją złożonej sygnatury należy porównać zestaw modeli izolujących prawdopodobne źródła skuteczności. Porównania powinny wykorzystywać te same przypisania podziałów na poziomie pacjenta i takie samo, bezpieczne pod względem przecieku postępowanie z każdym etapem zależnym od danych. CLEAR i TRIPOD+AI czynią takie porównanie oraz procedury tworzenia i oceny modelu elementami podlegającymi raportowaniu; nie walidują empirycznie drabiny ani żadnego modelu. Drabina nie jest twierdzeniem, że jeden model jest uniwersalnie najlepszy; służy uczynieniu twierdzenia o wartości przyrostowej możliwym do sprawdzenia.

Porównanie	Co pomaga sprawdzić
Tylko dane kliniczne	Co przewiduje dokumentacja kliniczna bez cech obrazowych
Tylko objętość	Czy zmienna wielkości wyjaśnia skuteczność w tym ograniczonym projekcie
Tylko kształt	Jaki wkład wnosi geometria wywiedziona z maski bez intensywności
Tylko cechy pierwszego rzędu	Jaki wkład wnosi rozkład intensywności bez relacji przestrzennych
Tylko tekstura	Jaki wkład wnosi reprezentacja przestrzenna bez pozostałych grup cech
Pełna sygnatura	Jaki wynik osiąga proponowany połączony zestaw cech
Pełna sygnatura z objętością	Czy dodanie objętości zmienia wynik lub wnosi informację w tym projekcie

Model oparty wyłącznie na danych klinicznych jest punktem odniesienia, gdy twierdzenie dotyczy wartości przyrostowej ponad zmienne już dostępne w opiece. Modele wykorzystujące tylko objętość, tylko kształt albo tylko cechy pierwszego rzędu są alternatywnymi wyjaśnieniami, a nie uniwersalnymi prawami biologicznymi. Model wykorzystujący tylko teksturę izoluje reprezentację wskazaną przez twierdzenie teksturalne. Pełna sygnatura pokazuje wynik łączny, natomiast pełna sygnatura z objętością uwidacznia rolę objętości, zamiast pozostawiać ją niejawną.

Porównanie jest nieważne, jeśli pełny model otrzyma korzystniejszy podział, ścieżkę przetwarzania wstępnego, procedurę selekcji cech lub budżet strojenia niż modele bazowe. Jest to wymóg tworzenia i raportowania modelu, a nie wynik empiryczny dostarczony przez wytyczne. Drabina modeli bazowych należy do materiału dowodowego twierdzenia, a nie do zbioru nieformalnych kontroli poprawności dodanych po poznaniu preferowanego wyniku.

Ograniczona rozbieżność w literaturze

Historia jednej opublikowanej sygnatury pokazuje, dlaczego porównania te muszą pozostać ograniczone. W pierwotnym badaniu Aertsa podano, że czterocechowa sygnatura przeżycia przewyższała samą objętość oraz że sygnatura połączona z objętością przewyższała samą objętość (Aerts i wsp.). Są to twierdzenia dotyczące tej sygnatury, punktu końcowego, kohorty, definicji cech i analizy.

W późniejszej ograniczonej analizie ponownie dopasowano czterocechowy model przeżycia w stylu Aertsa do pierwotnych danych dotyczących płuca oraz głowy i szyi, a następnie oceniono go po losowej permutacji wartości indeksów wokseli w obrazach. Zaraportowany zewnętrzny C-index dla obrazów rzeczywistych wynosił 0.64; po randomizacji wokseli wynosił 0.64 dla głowy i szyi oraz 0.60 dla płuca, podczas gdy sama objętość guza osiągnęła 0.64 i była silnie skorelowana z trzema spośród czterech cech (Welch i wsp.). W granicach tych konkretnych projektów wynik osłabia interpretację, według której skuteczność sygnatury zależała od znaczącej tekstury przestrzennej. Nie dowodzi, że wszystkie sygnatury radiomiczne są napędzane objętością, ani nie rozstrzyga szerszej granicy dowodowej.

Rozbieżność zależy również od definicji i kohorty. Wcześniejsze pierwotne badanie PET wykazało, że kwantyzacja, konstrukcja macierzy i zakres objętości guza zmieniały relacje między teksturą a objętością; w badanej kohorcie PET z NSCLC heterogeniczność i objętość były niezależnymi czynnikami prognostycznymi, natomiast ich komplementarność była słabsza i nieistotna statystycznie w kohorcie z nowotworem przełyku (Hatt i wsp. 2015). Późniejszy przegląd omawia te zagadnienia (Hatt i wsp. 2019). Żaden z wyników nie unieważnia analizy płuca oraz głowy i szyi ani nie ustanawia uniwersalnej korekty. Pokazuje to, dlaczego definicję cechy trzeba zamrozić, zanim dwie sygnatury zostaną uznane za ten sam obiekt.

Inne ograniczone badania poszerzają kontekst, nie tworząc wniosku obejmującego wiele nowotworów. W badaniu CT/PET głowy i szyi podano, że model kliniczny zawierający objętość i HPV przewyższał modele uzupełnione o cechy radiomiczne (Ger i wsp.). W pracy Fave i wsp. wykazano, że wybory przetwarzania wstępnego i współliniowość z objętością zmieniały to, które cechy wydawały się prognostyczne (Fave i wsp.). Przykłady te mają różne zakresy pod względem nowotworu, modalności, punktu końcowego i definicji cech. Powinny pozostać widoczne jako odrębne elementy dowodów i rozbieżności, a nie zostać uśrednione w uniwersalne stwierdzenie o radiomice.

Przetasowanie wokseli wewnątrz regionu

Bezpośrednia kontrola twierdzenia, że skuteczność wynika z organizacji przestrzennej, polega na losowej permutacji położeń wokseli wewnątrz regionu zainteresowania. Jest to interwencja randomizacji wokseli zastosowana w ograniczonej analizie autorstwa Welch i wsp., ale jej wartość informacyjna zależy od tego, które dokładnie właściwości kontrola zachowuje i zmienia. Maska pozostaje dokładnie taka sama. Zachowane zostają więc objętość i kształt, a także pełny multizbiór wartości intensywności oraz jego histogram. Zniszczeniu ulega pierwotne rozmieszczenie przestrzenne tych wartości wewnątrz maski.

Konstrukcja syntetyczna, a nie dane pacjenta. Spadek skuteczności po przetasowaniu pokazuje, że model wykorzystywał informację przestrzenną — nie dowodzi biologicznej tekstury ani związku przyczynowego, ponieważ akwizycja i rekonstrukcja również mają organizację przestrzenną. Brak spadku nie dowodzi, że sygnał jest teksturalny. Warianty kontrolne wymagają tych samych podziałów chroniących przed przeciekiem co model pierwotny.

Przy stałej masce cechy pierwszego rzędu zależne wyłącznie od multizbioru wartości wokseli pozostają niezmienione. Cechy tekstury mogą się zmienić, ponieważ ich macierze zliczają sąsiadujące pary, serie, strefy, zależności lub różnice względem sąsiedztwa. Cechy kształtu pozostają niezmienione, ponieważ maska się nie zmienia. Jest to zamierzona asymetria: kontrola zachowuje właściwości nieprzestrzenne, jednocześnie zakłócając relacje przestrzenne wykorzystywane przez cechy tekstury.

Kontrolę trzeba zastosować do reprezentacji, której dotyczy twierdzenie. Jeśli model wykorzystuje obrazy filtrowane, skutek przetasowania zależy od momentu jego wykonania i od tego, czy filtr zostaje obliczony ponownie. Jeśli między wariantem pierwotnym a kontrolnym zmienia się maska, przetwarzanie wstępne lub dopasowany model, porównanie przestaje izolować zamierzoną reprezentację. Analizy pierwotne i kontrolne wymagają tej samej struktury podziałów, dopasowanego przetwarzania wstępnego, reguł selekcji cech i procedury oceny.

Co wykazuje zmiana skuteczności

Spadek skuteczności po przetasowaniu wewnątrz regionu uzasadnia węższe stwierdzenie, że model wykorzystywał organizację przestrzenną zniszczoną przez przetasowanie. Osłabia konkurencyjne wyjaśnienie, według którego zachowany histogram, maska lub kształt wystarczały do uzyskania obserwowanej skuteczności. Nie dowodzi, że organizacja przestrzenna była teksturą biologiczną. Akwizycja i rekonstrukcja CT również tworzą wzorce o organizacji przestrzennej, a granice segmentacji mogą przenosić informację przestrzenną. Model może zatem odczytywać fizykę, geometrię albo zakłóconą sygnaturę akwizycji.

Brak spadku skuteczności osłabia twierdzenie, że organizacja przestrzenna zniszczona przez kontrolę była konieczna do uzyskania wyniku modelu. Może wskazywać, że model wykorzystywał zachowane właściwości intensywności lub maski, albo że kontrola nie zakłóciła odpowiedniej reprezentacji. Nie dowodzi braku tekstury w danych pierwotnych.

Test zerowy z permutacją etykiet i przetasowanie wokseli mogą więc dostarczać w ramach tego rozdziału różnych rodzajów kontroli. Test zerowy etykiet pyta, czy potok może uzyskać skuteczność bez relacji z etykietą; rozróżnienie dotyczące permutacji omawiają Buvat i Orlhac. Przetasowanie pyta, czy skuteczność przetrwa zniszczenie deklarowanej reprezentacji. Żadna z kontroli nie dowodzi związku przyczynowego. Ablacja może pokazać, że komponent miał znaczenie dla dopasowanego modelu, ale nie może rozstrzygnąć, czy reprezentował biologię czy czynnik zakłócający.

Ta sama logika dotyczy modelu, który przechodzi każdą kontrolę. Udane badanie kontrolne uzasadnia wyłącznie konkretną interpretację dozwoloną przez zachowane i zniszczone właściwości, kohortę, punkt końcowy i projekt podziałów. Nie zastępuje walidacji zewnętrznej, kalibracji ani badania użyteczności klinicznej. TRIPOD+AI rozdziela te pytania dotyczące raportowania predykcji, a CLEAR czyni projekt badania i twierdzenia możliwymi do sprawdzenia; żadne z tych wytycznych nie dostarcza brakujących dowodów empirycznych.

Od interpretacji do walidacji statystycznej

Pełny łańcuch rozumowania w tych ramach jest zatem celowo etapowy. Najpierw porównaj proponowaną sygnaturę z modelami bazowymi wykorzystującymi dane kliniczne, objętość, kształt, cechy pierwszego rzędu, teksturę, pełny zestaw oraz pełny zestaw z objętością. Następnie zastosuj test zerowy etykiet do sprawdzenia potoku, kontrole reprezentacji do podważenia deklarowanego źródła informacji i ablacje do zrozumienia wkładu komponentów. Zachowaj identyczną dyscyplinę podziałów i nie usuwaj ograniczonej rozbieżności, gdy opublikowane analizy wykorzystują różne definicje lub punkty końcowe.

Wynik, który przejdzie tę analizę, jest łatwiejszy do interpretacji, ale nadal nie jest twierdzeniem klinicznym. Rozdział 7 — Uczenie statystyczne i walidacja przenosi pozostałe pytanie do walidacji statystycznej: w jaki sposób podziały na poziomie pacjenta, selekcja cech, niepewność, kalibracja, ocena zewnętrzna i użyteczność kliniczna określają, co może uzasadniać wynik predykcyjny.

Źródła

• Aerts HJWL, et al. Nat Commun. 2014;5:4006. doi:10.1038/ncomms5006.
• Welch ML, et al. Vulnerabilities of radiomic signature development: the need for safeguards. Radiother Oncol. 2019;130:2-9. doi:10.1016/j.radonc.2018.10.027, PMID 30416044.
• Hatt M, et al. Radiomics: Data Are Also Images. J Nucl Med. 2019;60(Suppl 2):38S-44S. doi:10.2967/jnumed.118.220582.
• Hatt M, Majdoub M, Vallières M, et al. J Nucl Med. 2015;56(1):38-44. doi:10.2967/jnumed.114.144055, PMID 25500829.
• Ger RB, et al. PLOS ONE. 2019;14(9):e0222509. doi:10.1371/journal.pone.0222509.
• Fave X, et al. Transl Cancer Res. 2016;5(4):349-363. doi:10.21037/tcr.2016.07.11.
• Buvat I, Orlhac F. J Nucl Med. 2019;60(11):1543-1544. doi:10.2967/jnumed.119.235325.
• Kocak B, et al. CLEAR radiomics reporting checklist. Insights into Imaging. 2023;14:75. doi:10.1186/s13244-023-01415-8.
• Collins GS, Moons KGM, Dhiman P, et al. TRIPOD+AI statement. BMJ. 2024;385:e078378. doi:10.1136/bmj-2023-078378.