Przenoszalność i twierdzenia wynikające z testów

Gdzie powstał zbiór testowy?

Słowo „zwalidowany” ukrywa relację między tworzeniem modelu a jego oceną. Przed interpretacją wyniku należy odtworzyć, skąd pochodziły obserwacje testowe, które jednostki wydzielono, które osie akwizycji lub kliniczne uległy zmianie oraz co wolno było zrobić dopasowanej procedurze po dotarciu do nowego środowiska. Wydzielona grupa z tego samego źródła może odpowiedzieć na użyteczne pytanie wewnątrz źródła. Nie odpowiada automatycznie na pytanie o inny szpital, późniejszy protokół lub inną populację.

Właściwe porównanie nie jest prostą drabiną, na której każdy test wyglądający na zewnętrzny jest silniejszy. Test może być niezależny na jednej osi i niemal identyczny na innej. Zakres jego twierdzenia wyznacza zmienność, którą test rzeczywiście reprezentuje, oraz adaptacja dozwolona przed obliczeniem wyniku.

Trzy środowiska testowe, trzy ograniczone twierdzenia

Testowanie wewnętrzne ocenia wydzielone obserwacje ze źródła rozwojowego w ramach zadeklarowanego podziału. Może dostarczyć dowodów dotyczących działania modelu dla nowych jednostek z tego źródła i projektu. Samo w sobie nie ustala zachowania w innym ośrodku ani po zmianie akwizycji.

Testowanie czasowe wykorzystuje późniejsze obserwacje ze źródła, którego wcześniejsze dane uczestniczyły w tworzeniu modelu. Może badać zachodzące z czasem zmiany protokołu, zestawu skanerów, wzorców kierowania pacjentów, etykiet lub przebiegu pracy. Granica czasowa ma znaczenie, ale nie gwarantuje, że reprezentowane są wszystkie istotne zmiany.

Testowanie zewnętrzne ocenia kohortę niezależną od danych rozwojowych przy określonej relacji między dwoma środowiskami. Inna instytucja lub inny skaner to częsty sposób utworzenia takiego testu, lecz samo określenie nie opisuje całej zmiany. Test może różnić się ośrodkiem, a jednocześnie zachowywać tego samego producenta, protokół, populację i rekonstrukcję. Publikacja musi podać, co rzeczywiście było nowe i jak chroniono niezależność.

W różnych publikacjach określenie „walidacja” może oznaczać strojenie, testowanie wewnętrzne albo testowanie zewnętrzne. Zastąpienie go dokładnym opisem projektu testu czyni twierdzenie możliwym do sprawdzenia.

Zmiana domeny jest zbiorem osi

Na wejście obrazowe wpływają nie tylko cechy pacjenta, lecz także akwizycja i rekonstrukcja. Istotne osie mogą obejmować instytucję, skaner, producenta, jądro rekonstrukcji lub metodę iteracyjną, grubość warstwy, dawkę, fazę kontrastową, natężenie pola w MRI, populację, częstość występowania zdarzenia, przebieg pracy osoby oceniającej oraz okres. Zmiana na jednej osi może wchodzić w interakcję z inną. Bezpieczniej jest zatem jawnie opisywać osie, niż traktować „zewnętrzność” jak pole wyboru. Lista ta nie jest wyczerpująca: znaczenie osi zależy od pomiaru, wyniku i zamierzonego twierdzenia.

Oś	Pytanie dotyczące danych testowych	Dlaczego odpowiedź zmienia twierdzenie
pacjenci	Czy są to nowe osoby i jak wygląda porównanie struktury ich przypadków?	Określa to bezpośrednią populację predykcji.
czas	Czy akwizycje lub etykiety zebrano później?	Protokół, skaner i przebieg pracy mogą zmieniać się z czasem.
instytucja	Czy zmieniły się kierowanie pacjentów, ścieżka opieki lub praktyka oceniających?	Zadanie i spektrum przypadków mogą być inne.
skaner i producent	Czy zmieniło się urządzenie lub producent?	Mogą zmienić się charakterystyczne cechy akwizycji i rekonstrukcji.
rekonstrukcja i protokół	Czy zmieniły się jądro, dawka, kontrast, odstępy lub faza?	Może zmienić się pomiar wchodzący do modelu.
częstość występowania i populacja	Czy częstość zdarzenia lub spektrum choroby są inne?	Kalibracja i wartości predykcyjne mogą się zmienić, nawet gdy ranking pozostaje stabilny.

Brak przetestowania danej osi nie uprawnia do twierdzenia obejmującego tę oś. Badanie zmieniające ośrodek, lecz nie protokół, sprawdza jedną relację; badanie zmieniające czas, lecz nie instytucję, sprawdza inną. Szerokość sformułowania musi odpowiadać szerokości zaobserwowanej zmiany.

Co wolno było zmienić po dotarciu?

Przenoszalność zależy również od dopasowanego stanu. Należy podać, z jakich danych docelowych może korzystać każda operacja. W zewnętrznym teście zamrożonego modelu model i stan jego przetwarzania wstępnego stosuje się bez uczenia na obserwacjach docelowych. Testuje to przeniesienie zadeklarowanej procedury. Rekalibracja wykorzystuje zadeklarowaną próbę docelową do ponownego dopasowania wyrazu wolnego lub nachylenia prawdopodobieństwa; jeśli używa wyników docelowych, stają się one częścią tego dopasowanego stanu, a ocena musi odbywać się osobno. Ponowny wybór progu zmienia politykę działania, dlatego trzeba zaraportować informacje docelowe i regułę decyzyjną użyte do jego ustalenia. Dostrajanie aktualizuje wybrane parametry modelu na zadeklarowanych danych z domeny docelowej, natomiast pełne ponowne trenowanie dopasowuje nowy model na danych źródłowych lub docelowych określonych w protokole, bądź na ich połączeniu; może zachować jedynie przepis. Dla każdej operacji należy podać, czy dostępne były docelowe dane wejściowe, etykiety, wyniki, czy tylko inne dozwolone informacje.

Wszystkie te projekty mogą być uprawnione. Nie stanowią jednak wymiennych dowodów. Liczba uzyskana po adaptacji do domeny docelowej jest dowodem dotyczącym procedury zaadaptowanej, a nie testem przeniesienia zamrożonego modelu. Jeśli ten sam podział docelowy służy zarówno do adaptacji, jak i do oceny bez dalszej wydzielonej ewaluacji, wynik jest sprawdzeniem dopasowanego stanu na danych treningowych, a nie niezależnym testem.

Zachowany schemat zakresu twierdzeń ma uwidaczniać to rozdzielenie:

Rodzaj testowania, osie zmiany rozkładu danych, adaptacja i siła twierdzenia są odrębnymi wymiarami, a nie jedną prostą hierarchią.

Do jakich twierdzeń uprawnia każdy test

Wynik wewnętrzny może wspierać ograniczone twierdzenie predykcyjne w obrębie źródła. Wynik czasowy może dostarczyć dodatkowych dowodów dotyczących przetestowanej zmiany okresu w tym źródle. Wynik zewnętrzny może wspierać twierdzenie o niezależnym środowisku i osiach, które rzeczywiście uległy zmianie. Żaden z nich nie ustala uniwersalnego uogólnienia. Model, który nie przenosi się bezpośrednio, może nadal być użyteczny po zadeklarowanej adaptacji, lecz adaptacja jest częścią projektu klinicznego i statystycznego, a nie przypisem.

Czytając publikację raportującą zewnętrzne AUROC, należy najpierw zapytać, czy model był zamrożony, czy ponownie trenowany, a następnie które osie ośrodka, skanera, protokołu, populacji i czasu uległy zmianie. Trzeba także ustalić, czy progi i kalibrację przeniesiono, czy oszacowano ponownie. Odpowiedź rozstrzyga, czy liczba opisuje bezpośrednie przeniesienie, adaptację, czy nowy model.

Ta sama granica twierdzenia dotyczy modeli przeżycia, w których cenzurowanie i wybór miary porównawczej dodają kolejną warstwę do projektu walidacji.

Źródła

• Collins GS, Moons KGM, Dhiman P, et al. TRIPOD+AI statement. BMJ. 2024;385:e078378. doi:10.1136/bmj-2023-078378.
• Kocak B, et al. CLEAR radiomics reporting checklist. Insights into Imaging. 2023;14:75. doi:10.1186/s13244-023-01415-8.
• Collins GS, et al. Evaluation of clinical prediction models (part 2): how to undertake an external validation study. BMJ. 2024;384:e074820. PMC10788734.