Projektowanie przed dopasowaniem

Protokół jest publikacją

W chwili dopasowania modelu podjęto już wiele wyborów określających znaczenie jego wyniku. Estymand, kohorta, jednostka obserwacji, podział, granica dopasowanego stanu, definicja cech, model odniesienia, miary i środowisko testowe są właściwościami projektu. Zapisanie ich po obejrzeniu wyniku utrudnia odróżnienie zaplanowanej analizy od udanego przeszukiwania.

Protokół nie jest więc ozdobnikiem administracyjnym. To zwięzły opis informacji, które mogą wpływać na każdy wybór, oraz znaczenia, jakie wolno będzie przypisać wynikowi. Czyni także wynik negatywny możliwym do interpretacji: model, który w zadeklarowanym projekcie nie poprawia wyniku względem punktu odniesienia, odpowiedział na rzeczywiste, ograniczone pytanie, a nie tylko nie zdołał wytworzyć korzystnej liczby.

Sekwencja projektowania

Przed dopasowaniem należy zapisać poniższą sekwencję, dostosowując szczegółowość do estymandu, zamiast traktować ją jako uniwersalną listę kontrolną:

1. Estymand i jednostki. Określ populację, wynik lub cel pomiarowy, horyzont czasowy, jednostkę analizy, jednostkę podziału i jednostkę resamplingu. Wyjaśnij, dlaczego powtarzane badania, zmiany lub przekroje są grupowane bądź modelowane w przyjęty sposób.
2. Części danych i dostęp. Określ, które obserwacje należą do tworzenia, strojenia i oceny. Zamroź regułę przynależności przed interpretacją wyniku i utrzymuj osoby lub inne skupienia razem, gdy wymaga tego twierdzenie.
3. Audyt dopasowanego stanu. Wymień każdą operację, która może uczyć się z danych, w tym skalowanie, imputację, wybór cech, harmonizację, wybór progu, trenowanie segmentacji i strojenie modelu. Dla każdej zapisz, w której części danych wolno ją dopasować i gdzie jej stan jest stosowany.
4. Kontrola wysokiego wymiaru. Zdefiniuj zbiór cech kandydujących, regularyzator, sposób postępowania z wielokrotnością oraz, jeśli zamierzone jest twierdzenie inferencyjne po selekcji, osobno uzasadnioną procedurę wnioskowania selektywnego. Zapisz sposób raportowania niestabilności selekcji. Oddziel regularyzację predykcyjną od dowodów inferencyjnych.
5. Obiekty działania modelu. Wybierz miary odpowiadające wynikowi i twierdzeniu: dyskryminacja, kalibracja, użyteczność decyzyjna i niepewność są osobnymi pozycjami, a nie jednym złożonym werdyktem. Jeśli celem jest ryzyko indywidualne, określ ramę niepewności indywidualnej albo pozostaw tę pozycję jawnie otwartą, zamiast zastępować ją przedziałem miary populacyjnej.
6. Relacja testowa. Nazwij środowisko wewnętrzne, czasowe lub zewnętrzne, reprezentowane przez nie osie zmiany oraz to, czy model pozostaje zamrożony, jest rekalibrowany, otrzymuje nowy próg, podlega adaptacji czy ponownemu trenowaniu.
7. Model odniesienia i porównanie. Zdefiniuj kliniczny lub tabelaryczny model odniesienia oraz twierdzenie o wartości dodatkowej. Zapewnij mu taki sam podział, rygor dopasowanego stanu, możliwość strojenia i głębokość raportowania jak proponowanej procedurze obrazowej.
8. Raportowanie i pochodzenie. Zapisz konstrukcję wyniku, brakujące dane, kontrakt pomiarowy oraz wersje oprogramowania i danych, gdy mają znaczenie dla pochodzenia. Nietrwałe szczegóły wersji umieszczaj w materiale towarzyszącym, zamiast czynić z nich stabilne twierdzenia metodologiczne. Zapisz również ramę raportowania wybraną dla badania. Wytyczne raportowania pomagają uwidocznić projekt; nie dostarczają walidacji empirycznej ani nie dowodzą, że każdy wybór podjęto bez oglądania późniejszych wyników.

Kolejność ta tworzy graf zależności. Miary nie można interpretować przed poznaniem estymandu i populacji testowej. Wyniku wyboru cech nie można interpretować przed poznaniem podziału i granicy dopasowanego stanu. Twierdzenia o użyteczności nie można interpretować przed poznaniem polityki i kontekstu progu.

Ograniczony projekt badania przeżycia

Rozważmy samodzielne pytanie dotyczące radiomiki i przeżycia: czy zadeklarowany pomiar guza płuca wnosi informacje prognostyczne ponad stopień zaawansowania i typ histologiczny dla definicji wyniku i obserwacji wybranej w badaniu? Protokół najpierw wskazałby jedną kohortę przeżycia i jeden wiersz na pacjenta w analizie podstawowej. Region guza jest wejściem pomiarowym; nie stanowi drugiego zbioru niezależnych pacjentów. Jeśli pacjent wnosi powtarzane badania lub wiele regionów, protokół określa, czy są one agregowane, modelowane jako skupienia, czy przeznaczone do odrębnego pytania pomiarowego.

Ocena może wykorzystywać zagnieżdżony resampling z rozłącznymi zbiorami pacjentów, gdy wybór cech i modelu jest częścią procedury predykcyjnej. Każdy pacjent w zewnętrznym zbiorze testowym pozostaje poza przeszukiwaniem wewnętrznym. Kohorta test–retest z badaniami wykonanymi tego samego dnia, taka jak RIDER, może charakteryzować powtarzalność pomiaru w odrębnym zadeklarowanym projekcie, ale nie wolno jej milcząco łączyć z kohortą przeżycia ani przypisywać do jej foldów tylko dlatego, że oba zbiory zawierają obrazy.

Kontrakt od obrazu do cech zapisuje się przed dopasowaniem: pochodzenie obrazu i maski, geometrię, zmianę próbkowania, postępowanie z intensywnością, dyskretyzację, implementację cech i ewentualny model segmentacji. Stała operacja wykonywana osobno dla każdej próbki może pozostawać poza pętlą walidacji, jeśli jej stałe i rolę zadeklarowano niezależnie od danych do oceny. Filtr odporności, stan skalowania, selektor cech, imputer, próg lub model harmonizacji uczony z danych należy do dozwolonej części treningowej. Maska segmentacji opisana jako „stała” nadal wymaga określenia pochodzenia; jeśli jej model trenowano na pacjentach pokrywających się z ocenianymi, potok wejściowy może być zanieczyszczony.

Porównanie statystyczne zestawia model przeżycia oparty wyłącznie na danych klinicznych z modelem klinicznym uzupełnionym o radiomikę, przy czym założenia proporcjonalności hazardów, dyskryminację, kalibrację i ewentualną analizę decyzyjną określa się z góry. Wynik jest oszacowaniem dla tego wyniku, kohorty, kontraktu pomiarowego i procedury walidacji. Nie stanowi ogólnego stwierdzenia, że radiomika poprawia predykcję przeżycia, ani nie zastępuje rzeczywiście niezależnego testu, gdy zamierzone jest twierdzenie o przenoszeniu klinicznym.

Projektowanie i czytanie to operacje odwrotne

Tę samą sekwencję można zastosować do odtworzenia opublikowanego badania. Należy zacząć od deklarowanego estymandu, zidentyfikować rzeczywiste jednostki obserwacji i podziału, prześledzić każdy dopasowany stan, ustalić, co i kiedy wybrano, a następnie zapytać, jakie środowisko testowe faktycznie reprezentowano. Dopiero potem wolno powiązać wynik z językiem publikacji.

Dlatego pojedyncze AUROC lub C-index nie może uratować projektu, w którym cechy wybrano w całej kohorcie, powtarzane obserwacje tych samych pacjentów rozmieszczono w różnych foldach albo przeprowadzono adaptację na wierszach testowych. I odwrotnie, umiarkowany wynik z przejrzystego projektu może być bardziej prawidłowy dla zadeklarowanego pytania niż duży wynik o nieznanych granicach dopasowanego stanu i testowania.

Argument rozpoczynający od protokołu styka się teraz z mniej uporządkowaną rzeczywistością: tabele kliniczne często zawierają pola, których nie zarejestrowano dla każdej osoby. Następny przypadek prowadzi tę samą sekwencję projektowania przez brakujące dane, imputację i ocenę chronioną przed wyciekiem.

Źródła

• Kocak B, et al. CLEAR radiomics reporting checklist. Insights into Imaging. 2023;14:75. doi:10.1186/s13244-023-01415-8.
• Collins GS, Moons KGM, Dhiman P, et al. TRIPOD+AI statement. BMJ. 2024;385:e078378. doi:10.1136/bmj-2023-078378.
• Moons KGM, Damen JAA, Kaul T, et al. PROBAST+AI. BMJ. 2025;388:e082505. doi:10.1136/bmj-2024-082505.
• Bernett J, et al. Guiding questions to avoid data leakage in biological machine learning applications. Nature Methods. 2024;21:1444-1453. doi:10.1038/s41592-024-02362-y.