Jednostka obserwacji i jednostka podziału

Same wiersze opisane w artykule nie mówią, ile niezależnych prób uogólnienia rzeczywiście przeprowadzono. Jeden pacjent może dostarczyć wielu zmian, skanów, serii lub warstw. Wiersze te mogą być użytecznymi obserwacjami w określonej analizie, ale nie stają się przez to niezależnymi pacjentami. Czytelnik musi ustalić zarówno jednostkę, na poziomie której analizuje się wynik, jak i jednostkę, która musi pozostać w całości po jednej stronie granicy między pracami rozwojowymi a ewaluacją.

Jeden wiersz nie jest automatycznie jedną niezależną obserwacją

Jednostka analizy to obiekt, dla którego badanie definiuje wynik lub pomiar. Może nim być rozpoznanie na poziomie pacjenta, predykcja na poziomie zmiany, skan w serii podłużnej albo warstwa używana przez model działający w obrębie jednego badania obrazowego. Wybór ten zmienia estymand. Model analizujący zmiany może zadawać pytanie o zmiany, podczas gdy jego niepewność i twierdzenie dotyczące wdrożenia odnoszą się do nowych pacjentów. Model działający na poziomie skanu może pytać o zmianę w czasie, chociaż jego obserwacje pozostają pomiarami powtarzanymi u jednej osoby.

Jednostka podziału to jednostka, której wspólna informacja nie może przekraczać granic między zbiorami treningowym, walidacyjnym i testowym w odniesieniu do zamierzonego twierdzenia. W twierdzeniu dotyczącym nowych pacjentów jest nią często pacjent. Wszystkie zmiany, warstwy, powtarzane skany i obiekty pochodne danego pacjenta powinny wtedy trafić razem do jednej części podziału. Przy innym estymandzie odpowiednie może być bardziej wyspecjalizowane grupowanie, lecz artykuł musi wyjaśniać, dlaczego odpowiada ono twierdzeniu.

Rozróżnienie to nie jest tym samym co efektywna liczebność próby. Liczenie wierszy nie oznacza automatycznie liczenia niezależnej informacji. Liczba pacjentów jest często bliższa skali niezależnej informacji niż liczba wierszy, ale nie stanowi uniwersalnego wzoru na efektywną liczebność próby dla każdego estymatora dla danych o strukturze klastrowej. Rzetelny opis podaje analizę na poziomie wierszy, strukturę grupowania, jednostkę podziału oraz metodę zastosowaną do wyznaczania niepewności lub agregacji.

Jednostka analizy, jednostka podziału i estymand

W rozpoznawaniu na poziomie pacjenta pacjent jest zwykle zarówno jednostką analizy, jak i podziału. W predykcji na poziomie zmiany zmiana może pozostać jednostką analizy, a pacjent jednostką podziału. Cel ważony zmianami jest uprawniony, jeśli został zadeklarowany, lecz odpowiada na pytanie ważone zmianami; twierdzenia i niepewność na poziomie pacjenta wymagają agregacji na poziomie pacjenta albo analizy uwzględniającej klastry. W analizie podłużnej jednostką analizy może być skan, trzeba jednak odwzorować strukturę pomiarów powtarzanych i porządek czasowy. Trening na poziomie warstw może być uzasadnioną decyzją inżynieryjną, ale test z losowym podziałem warstw nie może uzasadniać twierdzenia o nowych pacjentach, jeśli sąsiadujące lub powtarzane warstwy przekraczają granicę podziału.

Najbardziej użyteczne pytanie podczas lektury nie brzmi zatem po prostu: „czy podział przeprowadzono na poziomie pacjenta?”. Należy zapytać: „jaką jednostkę opisuje ta metryka, jakiej jednostki dotyczy twierdzenie i jaka wspólna informacja pozostała razem?”. Wartość AUROC na poziomie pacjenta, uzyskana po agregacji ocen zmian, odpowiada na inne pytanie niż wartość AUROC na poziomie zmian, która przypisuje większą wagę pacjentowi z wieloma zmianami. Żadne z nich nie jest automatycznie właściwe; estymand i mianownik muszą być widoczne.

Skonstruowany przykład: 600 obrazów i 800 zmian

Rozważmy celowo skonstruowany zbiór danych opisany jako 600 obrazów. Załóżmy, że wiersze te pochodzą od 30 pacjentów, a przez każdą zmianę poprowadzono 20 warstw. Jeśli zamierzone twierdzenie dotyczy działania u niewidzianych wcześniej pacjentów, niezależne grupowanie jest bliższe 30 klastrom pacjentów niż 600 niepowiązanym obrazom. Liczba 600 pozostaje prawidłową liczbą wierszy obrazowych dla operacji na poziomie warstw, ale sama w sobie nie jest liczbą niezależnych testów na pacjentach. Metryka uzyskana po podziale na poziomie pacjenta mogłaby się zmienić, a jej niepewność zwiększyć; kierunek i wielkość zmiany są właściwościami danych i analizy, nie zaś twierdzeniem, że AUROC musi się zmniejszyć.

Drugi skonstruowany przykład zawiera 800 zmian od 40 pacjentów i przydziela każdą zmianę niezależnie w podziale 80/20. W uproszczeniu zakładającym równowagę każdy pacjent dostarcza około 20 zmian. Prawdopodobieństwo, że co najmniej jedna zmiana pacjenta znajdzie się po stronie testowej, wynosi 1 - 0.8^20, zatem oczekiwana liczba pacjentów reprezentowanych po stronie testowej to 40 * (1 - 0.8^20) = 39.54, czyli około 39,5 pacjenta. Prawdopodobieństwo, że zmiany danego pacjenta znajdą się po obu stronach, wynosi 1 - 0.8^20 - 0.2^20, dlatego oczekiwana liczba pacjentów reprezentowanych po obu stronach to 40 * (1 - 0.8^20 - 0.2^20) = 39.54, ponownie niemal wszystkich 40 pacjentów. Około 8 pacjentów testowych opisywałoby natomiast podział 80/20 na poziomie pacjenta, w którym wszystkie zmiany jednego pacjenta pozostają razem. Po tej zmianie należy ponownie obliczyć metrykę, jej mianownik i przedział. Wynik może zmienić się w dowolnym kierunku, chociaż podział usuwający wspólne sygnały pacjenta może ujawnić optymizm w konkretnym zbiorze danych.

Przeciek i uczenie się skrótów to odrębne rozpoznania metodologiczne

Gdy skorelowane obserwacje przekraczają granicę ewaluacji, problemem jest przeciek proceduralny: prace rozwojowe uzyskują dostęp do informacji, która w zamierzonym teście powinna być niewidziana. Inny problem występuje wtedy, gdy podział jest rzetelny, lecz model wykorzystuje znacznik ośrodka, odcisk aparatu, protokół akwizycji albo inną zmienną zastępczą powiązaną z wynikiem. W zwykłej terminologii predykcyjnej jest to skrót oparty na właściwościach zbioru danych, pozorna asocjacja albo korelat ośrodka lub przepływu pracy. Taka zmienna może być rzeczywiście dostępna w chwili predykcji, a mimo to nie przenosić się przy zmianie domeny, bez jakiegokolwiek przecieku wierszy testowych do treningu. Oba problemy mogą współistnieć, ale usunięcie jednego nie stanowi diagnozy drugiego.

W projekcie test-retest oba skany jednego pacjenta zwykle należą do tej samej części podziału, jeśli twierdzenie dotyczy nowych pacjentów. W przeciwnym razie model może uczyć się na jednym skanie i być oceniany na innym obrazie tej samej anatomii. W estymandzie podłużnym dotyczącym zmiany wewnątrz pacjenta analiza może celowo wykorzystywać oba punkty czasowe, ale trzeba jawnie podać strukturę pomiarów powtarzanych, kierunek czasowy i cel uogólnienia, zamiast ukrywać je, traktując wiersze jako niepowiązane.

Decyzja o jednostce i podziale ujawnia kolejną zależność: czym dokładnie jest wynik, z którym porównuje się każdy wiersz? Wynik ten pochodzi z procesu referencyjnego, a nie z etykiety oderwanej od swojego źródła.