Czy metryki uzasadniają twierdzenie?

Po zrozumieniu granicy ewaluacji pozostaje druga pułapka: metrykę można obliczyć prawidłowo, a mimo to może ona odpowiadać na pytanie węższe, niż sugeruje wniosek. Czytelnik powinien przechodzić od estymandu do metryki, a nie od najbardziej imponującej metryki do najszerszego twierdzenia. Zdolność dyskryminacyjna, kalibracja, użyteczność decyzyjna i niepewność opisują różne właściwości modelu i wymagają różnych dowodów.

Zacznij od estymandu, potem wybierz metrykę

W binarnym zadaniu diagnostycznym AUROC opisuje zdolność dyskryminacyjną: to, jak dobrze wartości punktowe porządkują obserwacje z jednym zarejestrowanym wynikiem wyżej niż obserwacje z innym wynikiem. Sama nie opisuje prawdopodobieństwa wyniku, skutków zastosowania progu ani korzyści ze zmiany praktyki klinicznej. C-index pełni zbliżoną funkcję porządkowania w niektórych analizach czasu do zdarzenia, ale nie przekształca asocjacji prognostycznej w efekt przyczynowy ani wynik wdrożenia.

Interpretacja zależy również od jednostki obserwacji, standardu referencyjnego, spektrum kohorty i procedury testowej ustalonych w poprzednich częściach. Wartość AUROC na poziomie warstwy względem etykiety wyprowadzonej z opisu nie jest wymienna z wartością AUROC na poziomie pacjenta względem niezależnej referencji klinicznej. Ten sam skrót może nazywać statystykę, podczas gdy ukryty pod nim estymand się zmienia.

Zdolność dyskryminacyjna i kalibracja odpowiadają na różne pytania

Kalibracja odpowiada na pytanie, czy przewidywane wartości ryzyka odpowiadają obserwowanym częstościom zdarzeń w określonej populacji, dla danego wyniku i horyzontu czasowego. Model może porządkować pacjentów we właściwej kolejności, a jednocześnie systematycznie przypisywać zbyt wysokie lub zbyt niskie ryzyko. Jeśli klinicysta podejmuje działanie przy przewidywanym ryzyku 30 procent, trzeba wiedzieć, co oznacza to prawdopodobieństwo; statystyka porządkowania nie ustala jego znaczenia.

Wyobraźmy sobie dwa modele z AUROC 0,90 w tej samej skonstruowanej próbie testowej. Model A przypisuje wartości ryzyka zbliżone do obserwowanych częstości zdarzeń. Model B zachowuje to samo uporządkowanie, ale jest źle skalibrowany: w grupie, której przypisano ryzyko 20 procent, zdarzenie występuje ze znacznie inną częstością. Ich wartości AUROC mogą być identyczne, mimo że przypisywane przez nie prawdopodobieństwa mają inne znaczenie. Wykresy i podsumowania kalibracji oraz odpowiednie miary ich niepewności odpowiadają na pytanie, które krzywa ROC pozostawia otwarte.

Jest to powód do ostrożności, a nie podstawa do wniosku, że niezaraportowana analiza kalibracji zakończyłaby się niepowodzeniem. Jeśli kalibracji nie zaraportowano, artykuł nie wykazał, że jego wartości punktowe są prawdopodobieństwami, na podstawie których można podejmować działania. Czytelnik powinien zachować to ograniczenie, zamiast zastępować je stwierdzeniem „model jest skalibrowany” albo „model jest źle skalibrowany”.

Użyteczność jest pytaniem decyzyjnym

Użyteczność w analizie decyzyjnej odpowiada na pytanie, jaki wkład może mieć wynik punktowy, gdy służy do wyboru działania przy określonych założeniach; nie jest tym samym co wpływ kliniczny zaobserwowany po wdrożeniu. Analiza krzywej decyzyjnej lub korzyści netto może porównywać wykorzystanie modelu z prostymi strategiami, takimi jak podejmowanie działania u wszystkich albo u nikogo, w zakresie prawdopodobieństw progowych. Wynik zależy od populacji, decyzji, zakresu progów, definicji wyniku, względnych konsekwencji przypisanych wynikom fałszywie dodatnim i fałszywie ujemnym oraz działania następującego po wyniku punktowym. Korzyść netto estymuje zatem potencjalną wartość decyzyjną przy tych założeniach, a nie to, co wydarzy się po wdrożeniu, i nie jest właściwością samego AUROC.

Model może zatem dobrze porządkować obserwacje, a mimo to wnosić niewielką lub żadną wartość decyzyjną ponad obecną praktykę przy progach, które mają znaczenie. Z kolei użyteczna analiza decyzyjna musi podawać wystarczająco dużo informacji o zamierzonym działaniu i założeniach dotyczących progów, aby czytelnik rozumiał znaczenie „korzyści”. Wysokie AUROC bez takiej analizy wspiera twierdzenie o zdolności dyskryminacyjnej, a nie wniosek, że model poprawia opiekę. Twierdzenia dotyczące wdrożenia lub poprawy opieki wymagają oddzielnych dowodów wpływu; sama analiza krzywej decyzyjnej ich nie dostarcza.

Niepewność ma więcej niż jeden przedmiot

Przedział wokół metryki populacyjnej opisuje niepewność tego podsumowania w ramach określonej procedury próbkowania lub ponownego próbkowania. Nie jest automatycznie miarą niepewności ryzyka pojedynczego pacjenta. Estymacja kalibracji ma własną niepewność, a na indywidualną predykcję mogą wpływać błąd pomiaru, ograniczona reprezentacja domeny pacjenta, zmienność modelu i inne źródła, których nie wyraża przedział wokół zagregowanej wartości AUROC. Nie istnieje ogólny „przedział ufności na poziomie pacjenta”, którego można wymagać bez zdefiniowania wielkości i metody.

Czytelnik powinien zapytać, czego dotyczyła zaraportowana niepewność, jaką jednostkę poddawano ponownemu próbkowaniu oraz czy zachowano klastry lub pomiary powtarzane. Wyniki w podgrupach wymagają takiej samej ostrożności. Nazwij jednoznacznie wielkość i porównanie: skuteczność predykcyjną właściwą dla danej podgrupy albo różnicę tej skuteczności między podgrupami. Heterogeniczność skuteczności predykcyjnej nie jest tym samym co modyfikacja efektu przyczynowego; określenie „efekt w podgrupie” należy zarezerwować dla zdefiniowanego kontrastu leczenia lub ekspozycji oraz estymandu interakcji. Należy raportować przedziały, a w odpowiednich sytuacjach formalne porównanie między podgrupami, wskazać, czy analizę określono z góry, uwzględnić wielokrotność testowania i ujawnić efektywną liczebność próby. Podgrupa wybrana po obejrzeniu danych nie jest równoważna podgrupie określonej z góry, a estymata punktowa w małej podgrupie nie dowodzi stabilnej heterogeniczności skuteczności. Brak przedziału nie dowodzi niestabilności; ogranicza pewność, z jaką wynik można porównywać lub przenosić.

Przeżycie i wartość przyrostowa

W twierdzeniu dotyczącym przeżycia metryka i struktura czasowa również muszą odpowiadać pytaniu. C-index może opisywać uporządkowanie zaobserwowanej informacji o przeżyciu przy przyjętym w badaniu cenzurowaniu i decyzjach analitycznych, lecz kalibracja przewidywanego przeżycia w istotnych horyzontach opisuje inną właściwość. Cecha lub model prognostyczny wymaga także porównania z klinicznym modelem bazowym, jeśli twierdzenie głosi, że obrazowanie wnosi dodatkową informację. Asocjacja, która znika po uwzględnieniu zmiennych modelu bazowego, nadal może być interesująca naukowo, ale nie wykazuje przyrostowej wartości predykcyjnej.

Predykcja, asocjacja i przyczynowość

Retrospektywne badania obrazowe często zaczynają się od już istniejących danych: obrazów, opisów, zastosowanego leczenia i wyników zarejestrowanych na ścieżce klinicznej. Zaobserwowana asocjacja może wynikać z badanego stanu, ale może też powstać wskutek selekcji do zbioru danych, czynnika zakłócającego, procesu pomiarowego albo zmiennej występującej po istotnej ekspozycji. Model może wykorzystywać zmienną zastępczą, która dobrze przewiduje w próbie, nie identyfikując mechanizmu prowadzącego do wyniku.

Predykcja pyta, jak dobrze model estymuje lub porządkuje wynik w określonych warunkach generowania danych. Wnioskowanie przyczynowe pyta, co wydarzyłoby się przy zdefiniowanej zmianie ekspozycji lub leczenia, z uwzględnieniem porządku czasowego, estymandu przyczynowego, projektu i założeń dotyczących zakłóceń oraz pomiaru. Wysokie AUROC, istotna asocjacja lub stabilny wzorzec retrospektywny nie odpowiadają na to pytanie o interwencję. Czasowniki używane w artykule muszą zatem odpowiadać jego projektowi: „powiązane z”, „przewidywało” i „spowodowało” nie są określeniami wymiennymi.

Co można, a czego nie można wywnioskować z brakujących dowodów

Załóżmy, że skonstruowany artykuł podaje AUROC 0,94 dla segregacji medycznej, ale nie przedstawia analizy kalibracji, analizy krzywej decyzyjnej, analizy niepewności indywidualnej predykcji, oceny przepływu pracy ani oceny dryfu. Jeśli projekt testu jest pod innymi względami prawidłowy, liczba może wspierać twierdzenie o zdolności dyskryminacyjnej w tym określonym teście. Sama nie może uzasadniać twierdzenia o gotowości do zastosowania w segregacji klinicznej. Brakujące analizy nie dowodzą, że model by zawiódł; pozostawiają twierdzenia dotyczące decyzji i wdrożenia bez potwierdzenia.

Ta asymetria jest istotna. Brak opisu metody nie jest dowodem, że ukryta metoda była błędna, a zaraportowanie metody nie dowodzi, że wdrożono ją bez błędu. Kompletność raportowania mówi czytelnikowi, które pytania artykuł pozwala mu skontrolować. Nie zastępuje samej kontroli. Kolejnym krokiem jest przeniesienie tej samej granicy do słów użytych we wniosku, tak aby określenia takie jak „biomarker”, „zwalidowany” i „użyteczny klinicznie” nie rozszerzały po cichu zakresu dowodów.