Wnioskowanie przy dużej liczbie wymiarów i małej próbie

Gdy kolumn jest więcej niż pacjentów, o przypadkową zbieżność jest łatwo

Radiomika może wytworzyć tabelę z wieloma kandydującymi kolumnami i stosunkowo niewielką liczbą pacjentów. Relację tę zapisuje się jako p >> n: liczba cech kandydujących jest duża w stosunku do liczby niezależnych jednostek właściwych dla estymandu. Zapis ten nie stanowi rozpoznania dotyczącego modelu, lecz ostrzega, że dane mogą nie wystarczyć do ograniczenia wielu możliwych wyjaśnień zaobserwowanej asocjacji lub wyniku.

Przy setkach cech kandydujących niektóre mogą wyglądać w konkretnej próbie na powiązane z wynikiem wyłącznie przez przypadek. Skorelowane cechy jeszcze bardziej utrudniają interpretację: kilka kolumn może kodować nakładające się obrazy tego samego łańcucha pomiarowego i wywoływać zależność lub korelację, dlatego nominalna liczba kolumn nie jest liczbą niezależnych hipotez biologicznych. Elastyczny model może również dopasować się do osobliwości kohorty rozwojowej, które nie utrzymają się w innej próbie. Są to zagrożenia, które należy mierzyć i kontrolować, a nie uniwersalne werdykty dotyczące każdego modelu wysokowymiarowego.

Trzy konsekwencje wymagające sprawdzenia

Pierwszą konsekwencją jest niestabilność selekcji. Jeśli niewielka perturbacja kohorty lub podziału zmienia zestaw cech, które przetrwały, wybrana lista cech nie jest stabilną opowieścią biologiczną. Niestabilność może być użytecznym wynikiem: wskazuje, że dane nie identyfikują jednej wąskiej reprezentacji w ramach zadeklarowanego projektu. Ukrycie jej za jedną preferowaną listą cech sprawia, że twierdzenie inferencyjne wygląda na precyzyjniejsze, niż uzasadnia to badanie.

Drugą konsekwencją jest wielokrotność. Przesiewanie wielu cech pod kątem asocjacji tworzy wiele okazji do uzyskania małych wartości p lub dużych pozornych efektów. Procedura Benjamini–Hochberga jest procedurą krokową służącą do kontroli odsetka fałszywych odkryć w określonej rodzinie hipotez, przy spełnieniu jej założeń. Jest to rola związana z wielokrotnością we wnioskowaniu, a nie predykcyjny wybór cech. Działanie predykcyjne i odkrycie inferencyjne nie są tym samym celem.

Trzecią konsekwencją jest optymizm wynikający z selekcji. Jeśli te same obserwacje wybierają cechy i oceniają powstały model, wynik jest warunkowy względem przeszukiwania, które już wykorzystało te obserwacje. Sekcje dotyczące wycieku i zagnieżdżonej selekcji podają rozwiązanie na poziomie granicy informacyjnej: selekcja i każde dopasowywane przetwarzanie wstępne muszą odbywać się w obrębie dozwolonych danych treningowych, a gdy przeszukiwanie jest częścią twierdzenia, potrzebna jest zewnętrzna ocena całej procedury.

Wymagania tego reżimu

Regularyzacja jest predykcyjnym wyborem projektowym, który ogranicza lub zmniejsza efektywną złożoność modelu. Kary ridge, lasso i elastic net ustanawiają odmienne kompromisy między zachowaniem skorelowanych zmiennych a uzyskaniem rzadszej reprezentacji. Regułę taką jak wybór w granicy jednego błędu standardowego można stosować, jeśli zadeklarowano ją jako część procedury selekcji. Żaden z tych wyborów nie jest uniwersalną gwarancją odtwarzalności, a wybraną karę trzeba dobierać wewnątrz właściwej granicy walidacji.

Analiza elastic net autorstwa Zou i Hastiego stanowi bezpośrednie oparcie dla omówienia skorelowanych predyktorów i p >> n. Opisane w niej zachowanie grupujące i kompromisy między karami nie gwarantują stabilności cech ani identyfikacji biologicznej.

Drugim rygorem jest uwidocznienie przeszukiwania. Należy zapisać zbiór kandydatów, regułę przesiewania, budżet strojenia, jednostkę podziału i granicę dopasowanego stanu. Jeśli zbiór cech określono z góry, trzeba podać, co i dlaczego zostało określone. Jeśli odkryto go na podstawie danych, odkrycie i estymację działania należy traktować jako powiązane części procedury. Jeżeli celem jest naukowe twierdzenie o cechach, należy zdefiniować rodzinę hipotez i procedurę wnioskowania. Benjamini–Hochberg może kontrolować odsetek fałszywych odkryć dla testowanych hipotez przy spełnieniu swoich założeń; nie zmienia wyboru cech napędzanego przez model we wnioskowanie selektywne. Bez osobno uzasadnionej metody wnioskowania selektywnego należy opisać przeszukiwanie jako selekcję predykcyjną i nie dołączać twierdzeń inferencyjnych po selekcji. Regularyzator predykcyjny nie jest korektą inferencyjną.

Trzecim rygorem jest raportowanie tego, co nie zachowało stabilności. Cecha występująca w jednym foldzie, a nieobecna w innym, może nadal być użyteczna jako jeden z elementów wejściowych procedury predykcyjnej, lecz jej obecność nie ustanawia unikalnego mechanizmu. Rozróżnienie predykcji i wnioskowania powinno pozostać widoczne zarówno w wynikach, jak i w języku twierdzenia.

Kliniczny model odniesienia zmienia pytanie

Gdy proponowane twierdzenie mówi konkretnie, że obrazowanie wnosi informacje ponad zmienne już dostępne w zamierzonym procesie pracy, losowość jest zwykle słabym punktem odniesienia. W takim przypadku określony z góry kliniczny lub tabelaryczny model odniesienia odpowiada na pytanie, co można przewidzieć na podstawie tych zmiennych. Pytanie o wartość dodatkową brzmi, czy dane wejściowe uzyskane z obrazów poprawiają wynik docelowy przy tych samych regułach podziału, przetwarzania wstępnego, strojenia i oceny.

W konkretnym badaniu model odniesienia może być bardziej konkurencyjny, mniej konkurencyjny albo podobny. Jego wartość nie polega na zakładanym rankingu. Wskazuje porównanie potrzebne do odróżnienia twierdzenia „model przewiduje” od twierdzenia „pomiar obrazowy wnosi wartość ponad dokumentację kliniczną”. To samo ujęcie wartości dodatkowej powraca w sekcji dotyczącej przeżycia, gdzie zmienną radiomiczną porównuje się z modelem przeżycia opartym wyłącznie na danych klinicznych.

W skonstruowanym przykładzie ostrzegawczym wyobraźmy sobie 80 pacjentów, 200 cech kandydujących, przesiewanie w całej kohorcie pozostawiające 10 kolumn oraz raportowane AUROC w walidacji krzyżowej równe 0,85. Przed interpretacją liczby trzeba zapytać, czy przesiewanie odczytało foldy nazwane później testowymi, czy kandydujące kolumny były skorelowane oraz jak wybrana lista zmienia się podczas resamplingu. Liczba nie jest pomiarem z tego rozdziału; to zwięzły sposób ujawnienia pytań, na które musi odpowiedzieć projekt.

Problemu wysokowymiarowego nie rozwiązuje więc wybór modnego algorytmu. Rozwiązuje się go przez dopasowanie celu inferencyjnego lub predykcyjnego do przejrzystej procedury selekcji, silnego modelu odniesienia i oceny, której nie użyto do wyboru własnego zwycięzcy. Nawet wtedy oszacowanie działania ma kilka odrębnych wymiarów, począwszy od dyskryminacji.

Źródła

• Kocak B, et al. CLEAR radiomics reporting checklist. Insights into Imaging. 2023;14:75. doi:10.1186/s13244-023-01415-8.
• Collins GS, Moons KGM, Dhiman P, et al. TRIPOD+AI statement. BMJ. 2024;385:e078378. doi:10.1136/bmj-2023-078378.
• Zou H, Hastie T. Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society: Series B. 2005;67:301-320. publicznie dostępny pełny tekst.
• Benjamini Y, Hochberg Y. Controlling the False Discovery Rate. Journal of the Royal Statistical Society: Series B. 1995;57(1):289-300. publicznie dostępny pełny tekst.