Niezależne obserwacje i dane o strukturze skupień

Wiersze nie stają się automatycznie obserwacjami

Dokumentacja obrazowania medycznego ma często strukturę hierarchiczną. Jeden pacjent może wnieść do niej objętość, kilka badań, wiele przekrojów, liczne zmiany chorobowe albo powtarzane pomiary. Wiersze te mogą być użytecznymi jednostkami obliczeniowymi, nie będąc niezależnymi obserwacjami dla zadawanego pytania. Potraktowanie każdego pochodnego wiersza jak nowego pacjenta zmienia efektywną liczebność próby, sposób obliczania niepewności, a być może również cel predykcji.

Rozważmy guz reprezentowany przez 60 przekrojów osiowych. Sąsiednie przekroje mają wspólną anatomię, warunki akwizycji i często tę samą etykietę. Jeśli przekrój 47 trafi do zbioru treningowego, a przekrój 48 do foldu testowego, model zetknął się z niemal tym samym przypadkiem anatomicznym po obu stronach granicy. Wysoki wynik uzyskany w takim projekcie może opisywać rozpoznawanie skorelowanej, swoistej dla pacjenta struktury, a nie działanie modelu u nowego pacjenta. Przykład ten jest konstrukcją ujawniającą problem podziału, a nie uniwersalną prognozą tego, jak bardzo musi zmienić się wynik.

Jednostka podziału a jednostka analizy

W protokole należy osobno zapisać trzy jednostki. Ta trójelementowa taksonomia jest ramą porządkującą stosowaną w tym rozdziale; nie jest uniwersalną taksonomią narzucającą jeden sposób podziału dla każdego pytania.

• jednostka analizy, której wynik lub pomiar wchodzi do estymandu;
• jednostka podziału, której powiązane obserwacje muszą przemieszczać się razem, gdy ocena ma reprezentować nową jednostkę; oraz
• jednostka resamplingu, która podczas ponownego losowania danych w procedurze wyznaczania niepewności musi zachować strukturę zależności.

Wytyczne raportowania modeli predykcyjnych wymagają jawnego określenia celu, źródła danych, uczestników, działania modelu i zamierzonego zastosowania. Wytyczne dotyczące skupień omawiają takie skupienia jak ośrodki lub badania. Powtarzane obserwacje jednej osoby wymagają tego samego rozumowania uwzględniającego zależność, lecz decyzja o grupowaniu pozostaje uwarunkowana estymandem i twierdzeniem, a nie uniwersalną regułą podziału na poziomie pacjenta.

W rozpoznaniu na poziomie pacjenta wszystkimi trzema jednostkami może być pacjent. W pytaniu dotyczącym zmian chorobowych jednostką analizy może być zmiana, podczas gdy zmiany u tego samego pacjenta pozostają skupieniem na potrzeby podziału i wnioskowania. W pytaniu podłużnym badanie może stanowić rekord analityczny, ale powtarzane badania jednego pacjenta nie są automatycznie niezależne. Model działający na poziomie przekrojów może być odpowiedni dla zadania, którego wynik jest jawnie definiowany na poziomie przekroju, jednak gdy zamierzone twierdzenie dotyczy wcześniej niewidzianych pacjentów, nadal potrzebny jest test z rozłącznymi zbiorami pacjentów.

Pacjent jest zatem częstą jednostką podziału, a nie prawem zastępującym estymand. Jeśli estymand dotyczy zmiany wewnątrz pacjenta, rozdzielenie obserwacji początkowej i kontrolnej może zniszczyć właśnie ten kontrast, który ma być przedmiotem badania. Jeśli estymand dotyczy działania modelu u nowych pacjentów, nierozdzielenie tych obserwacji może prowadzić do optymistycznej oceny. Projekt musi określać, który przypadek reprezentuje, zamiast używać określenia „na poziomie pacjenta” jako substytutu rozumowania.

Zależność ma kilka widocznych postaci

Najprostsza bezpieczna konstrukcja dla predykcji u nowego pacjenta utrzymuje wszystkie przekroje, zmiany, badania i powtórzenia test–retest jednego pacjenta w tej samej części danych. Reguła ta zapobiega zapożyczaniu przez ocenę powiązanej anatomii ze strony treningowej. Sam podział grupowy nie rozwiązuje jednak każdego problemu: model może nadal nauczyć się wskazówki związanej ze skanerem, ośrodkiem, protokołem lub czasem akwizycji, która jest skorelowana z wynikiem.

Projekt test–retest podobny do RIDER konkretyzuje problem grupowania. Dwa badania wykonane tego samego dnia są użyteczne do badania powtarzalności, lecz umieszczenie jednego powtórzenia w zbiorze treningowym, a drugiego w testowym oceniałoby rozpoznawanie anatomii tego samego pacjenta, nie zaś przeniesienie do nowego pacjenta. Utrzymanie pary razem jest właściwe dla twierdzenia o predykcji u nowych pacjentów. Estymand dotyczący powtarzalności może natomiast porównywać dwa badania w obrębie pacjenta, pod warunkiem że analiza mówi o tym wprost i nie przedstawia tego porównania jako walidacji na niezależnych pacjentach.

Ośrodek i skaner są dodatkowymi osiami, a nie alternatywnymi definicjami pacjenta. Losowy podział pacjentów w obrębie jednego ośrodka może oszacować działanie modelu u wydzielonych pacjentów z tego źródła. Wydzielenie całego ośrodka lub okresu akwizycji stawia inne pytanie o przenoszenie. Żaden z tych projektów nie jest automatycznie silniejszy dla każdego estymandu; każdy zmienia populację i zakres zmienności reprezentowane w teście.

Wyciek i uczenie na skróty to różne rozpoznania

Wyciek jest naruszeniem granicy informacyjnej. Informacje ze świata oceny, w tym nakładający się zbiory pacjentów lub zależności w foldzie testowym, wpływają na przetwarzanie wstępne, selekcję, strojenie albo dopasowanie. Może to prowadzić do optymistycznej oceny wewnętrznej nawet wtedy, gdy etykiety podziału wyglądają prawidłowo.

Skrót, czynnik zakłócający lub wskazówka zależna od ośrodka to inny problem. Dane do oceny mogą być rzetelnie wydzielone, podczas gdy model wykorzystuje sygnał skorelowany z wynikiem, lecz niebędący zamierzoną relacją biologiczną lub kliniczną. Odcisk skanera, ścieżka kierowania pacjentów albo znacznik okresu akwizycji mogą mieć wartość predykcyjną w jednym badaniu i okazać się kruche po zmianie środowiska. Test zewnętrzny lub czasowy może ujawnić tę kruchość, ale nie naprawia wycieku, do którego doszło podczas tworzenia modelu.

Oba błędy mogą współistnieć, a sposoby ich naprawy nie są wymienne. Najpierw należy ustalić, które obserwacje mogą przekraczać granicę. Następnie trzeba sprawdzić, z jakich źródeł zmienności może korzystać model. Rozdzielenie to obowiązuje we wszystkich dalszych sekcjach: granica dopasowanego stanu dotyczy wycieku, natomiast przenoszalność i charakterystyka pomiaru dotyczą sygnałów, które mogą się nie przenosić.

W celowo prostym przykładzie przyjmijmy, że każdy z 30 pacjentów wnosi 20 przekrojów, co daje 600 wierszy obliczeniowych. Losowy pięciokrotny podział tych wierszy może umieścić przekroje jednego pacjenta zarówno w zbiorze treningowym, jak i testowym, nawet jeśli raportowane AUROC wynosi 0,92. Bez znajomości grupowania pacjentów liczby tej nie można interpretować jako działania modelu u nowych pacjentów. Liczebnością próby istotną dla tego twierdzenia jest liczba pacjentów, natomiast wiersze przekrojów pozostają użytecznymi danymi wejściowymi analizy grupowej.

Po jawnym określeniu jednostki podziału kolejne pytanie brzmi, czy dopasowany stan modelu również pozostał wewnątrz tej samej granicy. Do wycieku może dojść nawet wtedy, gdy każdy pacjent występuje tylko w jednym foldzie.

Źródła

• Collins GS, Moons KGM, Dhiman P, et al. TRIPOD+AI statement. BMJ. 2024;385:e078378. doi:10.1136/bmj-2023-078378.
• Debray TPA, et al. TRIPOD-Cluster explanation and elaboration. BMJ. 2023;380:e071058. doi:10.1136/bmj-2022-071058.
• Bernett J, et al. Guiding questions to avoid data leakage in biological machine learning applications. Nature Methods. 2024;21:1444-1453. doi:10.1038/s41592-024-02362-y.