Testowanie modelu zamrożonego i po adaptacji

Słowo „zewnętrzny” opisuje pochodzenie danych. Samo w sobie nie mówi, czy model zetknął się z nimi w ramach nietkniętej ewaluacji. Nowy ośrodek może dostarczyć uprawnioną część rozwojową do adaptacji oraz oddzielną część testową do ewaluacji. Może też dostarczyć etykiety wykorzystane do wyboru progu na tym samym zbiorze testowym, który następnie zaraportowano. Projekty te mają różne znaczenie, chociaż oba można nazwać walidacją zewnętrzną.

Pochodzenie danych nie jest niezależnością testu

Przed zaakceptowaniem wyniku zewnętrznego prześledź granicę przepływu informacji. Czy wagi, decyzje dotyczące selekcji cech, stan przetwarzania wstępnego, hiperparametry, próg oraz każda wyuczona segmentacja lub reprezentacja zostały ustalone, zanim użyto danych testowych? Jeśli nie, zidentyfikuj dane z nowej domeny wykorzystane do prac rozwojowych i oddziel je od danych, które dostarczyły końcowej estymaty.

Granica ta dotyczy nie tylko modelu końcowego. Nakładanie się pacjentów, skanów i warstw może przenosić tożsamość lub informację o anatomii między częściami podziału. Skalery, imputery, selekcja cech, PCA, harmonizacja i inne przekształcenia mogą przenosić informację o kohorcie, jeśli dopasowano je z użyciem obserwacji wydzielonych do późniejszej oceny. Hiperparametry i progi operacyjne można wybierać na podstawie wyników w zbiorze testowym. Model segmentacyjny, którego pacjenci treningowi pokrywają się z pacjentami w dalszym teście, również może przekazać informację jeszcze przed ewaluacją klasyfikatora. Dokładna naprawa zależy od potoku i estymandu, ale czytelnik powinien móc prześledzić każdy stan zależny od danych aż do obserwacji, na których wolno było go dopasować.

Przekształcenie rzeczywiście ustalone przed badaniem nie musi być ponownie dopasowywane w każdej części podziału, lecz artykuł nadal powinien podawać jego pochodzenie i cel. Określenie „ustalone” nie uprawnia do ukrycia decyzji projektowej podjętej po obejrzeniu wyników testowych. Z kolei przekształcenie dopasowane w rozwojowej części danych z nowej domeny jest adaptacją, a nie automatycznie nieprawidłowym przeciekiem, pod warunkiem że końcowa część testowa pozostaje nietknięta na potrzeby raportowanej estymaty.

Testy wewnętrzne, czasowe i zewnętrzne

W tym rozdziale określenia wewnętrzny, czasowy i zewnętrzny są etykietami operacyjnymi, a nie uniwersalną taksonomią. Test wewnętrzny jest wydzielony z tego samego procesu źródłowego co dane rozwojowe. Może estymować skuteczność dla warunków źródłowych reprezentowanych w próbie, jeżeli chronione są podział i granica dopasowanego stanu. Test czasowy wykorzystuje późniejsze dane z procesu źródłowego i może ujawnić zmiany w czasie, ale nie testuje każdej różnicy przestrzennej ani protokołowej. Test zewnętrzny wykorzystuje niezależną kohortę lub proces źródłowy i może badać transportowalność wzdłuż różnic, które rzeczywiście występują: ośrodka, producenta, natężenia pola, protokołu, struktury skierowań, częstości występowania, procesu adnotacji lub okresu kalendarzowego. Literatura dotycząca modeli predykcyjnych może nazywać walidację czasową formą walidacji zewnętrznej, podczas gdy CLAIM i CLEAR rezerwują testowanie zewnętrzne dla danych z innej instytucji.

Żadna z tych etykiet nie tworzy uniwersalnego rankingu siły. Późniejsza kohorta może być niezależna, lecz wąska; inny ośrodek może stosować ten sam protokół; kohorta zewnętrzna może zostać wykorzystana do adaptacji przed użyciem jej danych testowych. Niezależnie od przyjętego nazewnictwa twierdzenie artykułu o transportowalności musi wskazywać testowane osie różnic, zamiast traktować „zewnętrzny” jako synonim uogólnienia na wszystkie warunki.

Przenoszenie modelu zamrożonego i transfer po adaptacji

Są to dwa odrębne pytania. Testowanie modelu zamrożonego sprawdza, czy oryginalny model działa po przeniesieniu: zadeklarowane wagi, stan przetwarzania wstępnego i próg operacyjny pozostają niezmienione, gdy model styka się z nową kohortą. Testowanie po adaptacji sprawdza, czy metodę można przenieść po zapoznaniu się z nową domeną. Może obejmować ponowne trenowanie, dostrajanie, rekalibrację albo wybór nowego progu. Wynik po adaptacji może mieć wartość praktyczną, ale nie mierzy bezpośredniego przenoszenia oryginalnego modelu.

Progi wymagają takiej samej uwagi jak wagi. AUROC nie zależy od progu, ale czułość, swoistość, trafność, wartości predykcyjne i decyzje zależą od punktu pracy. Próg wybrany w zewnętrznej części rozwojowej może należeć do zadeklarowanej procedury adaptacji. Próg wybrany w zewnętrznej części testowej wykorzystuje raportowane wyniki ewaluacji i nie może być opisywany jako określony z góry, nietknięty punkt pracy. Zaraportowanie AUC dla modelu zamrożonego obok zależnego od progu wyniku po adaptacji jest czytelniejsze niż połączenie obu pod jedną etykietą walidacji zewnętrznej.

Skonstruowany przykład walidacji zewnętrznej

Załóżmy, że skonstruowany opis podaje „AUROC 0,92 w walidacji zewnętrznej”, a następnie stwierdza, że model dostrojono na zewnętrznej części treningowej, zaś próg wybrano na zewnętrznej części testowej. Liczba może opisywać skuteczność metody po adaptacji, ale nie dowodzi, że oryginalny zamrożony model działa po przeniesieniu. Nie dowodzi również skuteczności przy progu określonym z góry, ponieważ punkt pracy wybrano na podstawie raportowanych wyników testowych. Wartość 0,92 jest elementem ilustracyjnym, a nie wynikiem badania.

Gdyby zamiast tego próg wybrano w zewnętrznej części treningowej lub walidacyjnej, a część testowa pozostała nietknięta, wynik w punkcie pracy mógłby stanowić rzetelną estymatę dla procedury po adaptacji. Nadal nie byłaby to estymata przenoszenia modelu zamrożonego. Właściwy opis ma zatem charakter proceduralny: „zamrożony model przetestowany bez zmian”, „metoda dostrojona w rozwojowej części danych z nowej domeny” albo „próg wybrany na danych testowych”, a następnie wskazanie kohorty i metryki.

Twierdzenie wynika z procedury

Odpowiednie twierdzenie może być wspierane wyłącznie przez ewaluację, która pod innymi względami jest prawidłowa, wystarczająco precyzyjna i istotna dla tego twierdzenia. Wynik wewnętrzny może wspierać twierdzenie dotyczące danego źródła. Wynik czasowy może wspierać twierdzenie dotyczące testowanego późniejszego okresu i zaobserwowanych w nim zmian. Zewnętrzny wynik modelu zamrożonego może wspierać jego przenoszenie do testowanych warunków zewnętrznych. Zewnętrzny wynik po adaptacji może wspierać transfer po zadeklarowanym zapoznaniu się z nową domeną i adaptacji. Rodzaj procedury ogranicza maksymalny możliwy do obrony zakres, ale sam w sobie nie uprawnia nawet do tak ograniczonego twierdzenia: dobór próby, standard referencyjny, kontrola przecieku, analiza i reprezentatywność również muszą być odpowiednie. Żadna z tych procedur sama nie wspiera nieograniczonego twierdzenia obejmującego szpitale, protokoły, populacje lub przyszłe okresy.

Gdy procedura ewaluacji jest już znana, czytelnik może wreszcie zapytać, czy raportowana metryka odpowiada decyzji opisanej we wniosku. Niezależność chroni liczbę przed jedną klasą optymizmu; nie sprawia, że zdolność dyskryminacyjna staje się równoważna kalibracji, użyteczności lub korzyści klinicznej.