Rozdział 7 — Uczenie statystyczne i walidacja

Walidacja zaczyna się od twierdzenia

Rozdział 6 zakończył się na granicy między scharakteryzowanym pomiarem a modelem. Tabela cech może być odtwarzalna w ramach zadeklarowanego kontraktu dotyczącego obrazu, maski, geometrii i ekstrakcji, a mimo to model dopasowany do tej tabeli może odpowiadać na inne pytanie niż to, które stawia publikacja. Problem walidacji nie polega zatem po prostu na wyborze miary ani podzieleniu tabeli. Trzeba doprowadzić do zgodności pytanie, dopasowywaną procedurę, projekt oceny i twierdzenie, do którego wynik rzeczywiście uprawnia.

Pierwszym obiektem, który należy zapisać, jest estymand: wielkość lub porównanie, które badanie ma wyznaczyć. W badaniu predykcyjnym może nim być oczekiwane działanie modelu w określonej populacji, dla określonej definicji wyniku, momentu predykcji i środowiska wdrożenia. W badaniu asocjacyjnym lub objaśniającym może nim być współczynnik albo kontrast w ramach określonego modelu statystycznego. W badaniu pomiarowym może nim być zgodność przy zadeklarowanej perturbacji. Te same wiersze mogą służyć różnym estymandom, lecz zmiana estymandu zmienia to, co uznaje się za właściwą obserwację, podział, sposób obliczania niepewności i interpretację.

Drugim obiektem jest dopasowywana procedura, a nie tylko nazwany algorytm. Procedura obejmuje definicję danych wejściowych, przetwarzanie wstępne, wybór cech, przeszukiwanie hiperparametrów, dopasowanie modelu, wybór progu oraz ewentualną rekalibrację lub adaptację. Niektóre z tych etapów wytwarzają stan na podstawie danych: średnią i odchylenie standardowe, model imputacji, wybrany zbiór cech, dopasowany wektor współczynników albo próg wybrany w drodze optymalizacji. Stan ten ma granicę informacyjną. Projekt oceny musi zapobiegać temu, by świat danych wydzielonych wpływał na jego kształt.

Trzecim obiektem jest projekt oceny. Określa on jednostkę, która może przekroczyć granicę podziału, sposób grupowania powtarzanych obserwacji, miejsce dopasowania każdego etapu zależnego od danych, reprezentowane środowisko testowe oraz sposób przypisania niepewności do wyniku. Wynik z zagnieżdżonej walidacji krzyżowej z rozłącznymi zbiorami pacjentów odpowiada na inne pytanie niż wynik uzyskany po losowaniu na poziomie przekrojów, wyborze cech w całej kohorcie albo ponownym trenowaniu w ośrodku docelowym. Nazwa miary nie usuwa tych różnic.

Dopiero wtedy badanie może sformułować swoje twierdzenie. Oszacowanie zdolności dyskryminacyjnej nie jest automatycznie twierdzeniem o kalibracji. Skalibrowana predykcja nie jest automatycznie użyteczna decyzyjnie. Asocjacja nie jest efektem przyczynowym, a model sprawdzony w jednym nowym środowisku nie wykazał uniwersalnej przenoszalności. Predykcja i wnioskowanie mogą korzystać z powiązanych danych i modeli, lecz mają inne cele i inne tryby niepowodzenia. Działanie modelu i użyteczność kliniczna są ze sobą związane, lecz użyteczność wymaga kontekstu decyzyjnego, progu lub polityki oraz określenia konsekwencji błędów.

Rozdział rozwija te granice w ustalonej kolejności. Zaczyna od jednostki obserwacji i podziału, ponieważ tabela utworzona z danych pacjentów ma zwykle strukturę skupień, a nie postać zbioru niezależnych wierszy. Następnie śledzi przepływ informacji przez dopasowywane przetwarzanie wstępne i zagnieżdżoną selekcję, po czym przechodzi do reżimu p >> n, częstego w radiomice. Sekcja poświęcona działaniu modelu rozdziela dyskryminację, kalibrację, użyteczność i niepewność. Odróżnia przedział dla zagregowanego obiektu opisującego działanie modelu, niepewność relacji kalibracyjnej, niepewność oszacowanego ryzyka dla konkretnej osoby oraz zbiór lub przedział predykcji przyszłego wyniku; żaden z tych obiektów nie może zastąpić pozostałych. Dalsze sekcje omawiają przenoszenie między środowiskami, wyniki typu czas do zdarzenia i projektowanie rozpoczynane od protokołu.

Dwie ostatnie sekcje konkretyzują to samo rozumowanie w datowanych i ściśle ograniczonych przypadkach wyprowadzonych z TRACE-CT. Przypadek brakujących danych dotyczy porównania metod w tabeli klinicznej, a nie trafności klinicznej. Przypadek danych syntetycznych rozdziela wierność, użyteczność w dalszym zadaniu i wskaźniki ryzyka ujawnienia informacji, zamiast sprowadzać je do twierdzenia, że dane syntetyczne są bezpieczne. Chronologia projektu, dokładne ścieżki i szybko zmieniające się szczegóły narzędzi pozostają materiałem pomocniczym lub towarzyszącym; argument przeznaczony dla czytelnika nie wymaga dostępu do laboratorium.

Połączenie z rozdziałem 6 jest celowe: gdy pomiar trafia do modelu, kontrakt pomiarowy staje się jednym z elementów estymandu, a nie substytutem walidacji. Następna sekcja stawia najbardziej podstawowe pytanie projektowe: co stanowi jedną obserwację i która jednostka może znaleźć się po obu stronach granicy oceny?

Źródła

• Collins GS, Moons KGM, Dhiman P, et al. TRIPOD+AI statement. BMJ. 2024;385:e078378. doi:10.1136/bmj-2023-078378.
• Debray TPA, et al. TRIPOD-Cluster explanation and elaboration. BMJ. 2023;380:e071058. doi:10.1136/bmj-2022-071058.
• James G, Witten D, Hastie T, Tibshirani R, Taylor J. An Introduction to Statistical Learning with Applications in Python. Springer; 2023. Książka stanowi ogólne źródło dotyczące uczenia statystycznego; ten rozdział rozwija swoiste dla obrazowania konsekwencje przedstawionych w niej idei, zamiast ją zastępować.