Rozdział 9 — Czytanie dowodów i ograniczanie twierdzeń

Artykuł może przedstawiać imponującą wartość metryki, a zarazem nie pozwalać czytelnikowi ustalić, co właściwie poddano testowi. Problem nie polega na tym, że wartość ta musi być błędna. Liczba nabiera jednak znaczenia dopiero w odniesieniu do populacji, jednostki obserwacji, etykiety, dopasowanego potoku, procedury testowej i pytania. Po usunięciu tych warunków staje się oderwaną od kontekstu właściwością modelu, gotową posłużyć za podstawę twierdzenia szerszego, niż może udźwignąć badanie.

Czytanie dowodów zaczyna się zatem od końca. Zamiast podążać za perswazyjnym porządkiem artykułu, od wyniku do wniosku, należy cofnąć się od wniosku do projektu badania, który musiałby go uzasadniać. Jaka była zamierzona populacja docelowa? Które osoby lub badania obrazowe rzeczywiście weszły do próby? Co reprezentowała pojedyncza obserwacja i które obserwacje mogły trafić do tej samej części podziału danych? Co służyło jako reprezentacja interesującego stanu: etykieta czy standard referencyjny? Które przekształcenia dopasowywano i dokąd mogła przenikać pochodząca z nich informacja? Czy test był wewnętrzny, czasowy, zewnętrzny, zamrożony, czy też wiązał się z adaptacją? Wreszcie: jaką wielkość estymowała metryka i z jaką decyzją lub twierdzeniem ją powiązano?

Jest to ta sama dyscyplina walidacyjna, którą wcześniej stosowaliśmy przy tworzeniu badania, teraz wykorzystana podczas jego lektury. Rozdział 7 rozwinął pojęcia niezależności, granic dopasowanego stanu i projektów testowania. Rozdział 8 pokazał, dlaczego model obrazowy dziedziczy geometrię, sposób akwizycji, reprezentację i definicję zadania po swoich danych wejściowych. Tutaj idee te stają się metodą oceny. Celem nie jest zamiana każdego artykułu w egzamin ani odrzucenie każdego niedoskonałego badania retrospektywnego. Chodzi o precyzyjne określenie, co badanie rzeczywiście pokazuje, co pozostawia niepewne i jakie elementy musiałby dodać silniejszy projekt.

Najpierw zrekonstruuj badanie, dopiero potem przyjmij jego narrację

Najważniejszym nawykiem rozwijanym w tym rozdziale jest sporządzenie krótkiej rekonstrukcji przed przyjęciem wniosku z artykułu. Rekonstrukcja nie jest streszczeniem abstraktu. To zwięzły opis projektu badania ujęty w kategoriach, które pozwalają skontrolować twierdzenie: pytanie i estymand, populacja docelowa i populacja objęta próbą, jednostki obserwacji i podziału, dane wejściowe, wynik i standard referencyjny, granica dopasowanego stanu, procedura testowa, metryka oraz wniosek. Jeśli artykuł nie podaje któregoś z tych elementów, należy zapisać not reported, zamiast po cichu dopowiadać prawdopodobną odpowiedź.

Rozważmy zdanie: „model osiągnął AUROC 0,94”. Liczba ta staje się użyteczna dopiero po uzyskaniu odpowiedzi na kilka pytań. AUROC nie zależy od wyboru progu: wybór progu nie zmienia wartości AUROC. Jej interpretacja nadal zależy od jednostki obserwacji, ramy próbkowania, populacji docelowej i struktury przypadków. AUROC może opisywać porządkowanie pacjentów, zmian, badań obrazowych albo warstw. Wynik mógł być określony przez niezależny kliniczny standard referencyjny, interpretację oceniającego albo etykietę wydobytą z opisu. Test mógł być wydzielonym zbiorem bez wspólnych pacjentów lub losowym zbiorem sąsiadujących warstw. Próg mógł zostać ustalony z góry, wybrany w części rozwojowej albo dobrany na raportowanych danych testowych. Ten wybór zmienia czułość, swoistość, wartości predykcyjne i twierdzenia o dalszych działaniach w danym punkcie pracy, lecz nie AUROC. Ten sam zapis liczbowy może zatem towarzyszyć różnym estymandom i różnym twierdzeniom. Wartość 0,94 w tym akapicie jest skonstruowaną ilustracją, a nie wynikiem opublikowanego badania.

Rozdział podąża za rekonstrukcją w kolejności, w której ujawniają się decyzje projektowe. Najpierw odtwórz kohortę i jej jednostki. Następnie sprawdź, jak utworzono standard referencyjny. Potem ustal, czy ochroniono granicę ewaluacji oraz czy test zewnętrzny pozostał zamrożony, czy też doszło do adaptacji. Dopiero wtedy interpretuj zdolność dyskryminacyjną, kalibrację, użyteczność i niepewność. Ramy raportowania i oceny ryzyka błędu systematycznego pomagają nazwać braki, ale wypełniona lista kontrolna nie stanowi dowodu. W ostatniej części cała metoda zostaje zastosowana do opatrzonego datą i wskazaniem źródła przykładu artykułu, z oddzieleniem faktów zaraportowanych w publikacji od wniosków, które wolno na ich podstawie wyprowadzić w tym rozdziale.

Rezultatem jest węższa, lecz trwalsza umiejętność czytania. Badanie retrospektywne może dostarczyć użytecznej asocjacji lub predykcji, nie ustanawiając przyczyny, mechanizmu biologicznego ani korzyści klinicznej. Model może sprawdzić się w jednej przetestowanej kohorcie, nie będąc transportowalnym do każdego szpitala. Brak opisu metody może uniemożliwiać mocne twierdzenie, ale nie dowodzi, że nieopisana procedura była zła. Wyznaczenie tych granic nie osłabia dowodów, lecz czyni je czytelnymi.

Pierwszym krokiem jest jawne przedstawienie szkieletu badania.