Zrekonstruuj badanie, zanim zaakceptujesz jego narrację

Pierwsza lektura artykułu często podąża za jego narracją: ważny problem, nowatorski model, uderzający wynik i wniosek, który zdaje się zgrabnie je łączyć. Przy drugiej lekturze należy odwrócić ten kierunek. Potraktuj artykuł jako opis badania, którego części trzeba odnaleźć i ze sobą połączyć. Celem rekonstrukcji nie jest stworzenie dłuższego abstraktu, lecz ujawnienie warunków, w których uzyskano poszczególne wyniki.

Artykuł to narracja zbudowana na badaniu

Projekt badania jest zwykle rozproszony między abstraktem, metodami, wynikami, tabelami, materiałami uzupełniającymi, a czasem także oświadczeniem o dostępności danych. Elementy te przedstawia się w porządku narracyjnym, dlatego czytelnik może dotrzeć do wniosku, zanim zauważy, że próbę wybrano z wąskiej ścieżki skierowań, etykieta pochodziła z procesu zależnego od obrazu albo raportowany test zewnętrzny przeprowadzono po adaptacji. Rekonstrukcja badania ujawnia te zależności.

Zacznij od rozróżnienia trzech populacji, które artykuł może sprowadzać do jednej. Populacja docelowa obejmuje osoby, badania obrazowe, zmiany lub przyszłe zdarzenia kliniczne, do których według autorów ma odnosić się wynik. Populacja źródłowa to dostępna rama, z której można było pozyskać obserwacje: określone ośrodki, świadczenia, daty, ścieżki skierowań i kryteria kwalifikowalności. Próba analityczna jest tym, co pozostało po wykluczeniach, zastosowaniu reguł dotyczących brakujących danych i filtrów jakości oraz uwzględnieniu dostępności standardu referencyjnego. Wynik może być wewnętrznie spójny w próbie analitycznej, a mimo to mieć ograniczoną transportowalność do populacji docelowej, ponieważ populacja źródłowa lub próba różni się od niej.

Konstrukcja kohorty jest zatem częścią wyniku, a nie administracyjnym wstępem. Zapisz, w jaki sposób uczestnicy lub badania obrazowe trafili do badania, jak identyfikowano przypadki i osoby bez badanego stanu, jakie zastosowano wykluczenia oraz czy próba została wzbogacona w dany stan. Wykluczenie przypadków o niskiej jakości technicznej lub niejednoznacznych może być uzasadnione w wąsko zdefiniowanym zadaniu, lecz może też usunąć właśnie te przypadki, które czynią zadanie trudnym. Próba kliniczno-kontrolna lub pochodząca ze ścieżki skierowań może zmienić spektrum przypadków i częstość występowania stanu napotykaną przez model. Żadna z tych sytuacji nie unieważnia badania automatycznie; obie zawężają populację i warunki działania opisywane przez wynik.

Pojęcie estymandu zapobiega rozmyciu tego rozróżnienia. Oznacza ono precyzyjną wielkość, którą badanie próbuje poznać dla określonej populacji i jednostki. W badaniu predykcyjnym cel predykcji to wynik lub wielkość, którą należy przewidzieć; etykieta lub standard referencyjny stanowi proces pomiarowy używany do reprezentowania tego wyniku. Estymator i procedura ewaluacji opisują, w jaki sposób cel jest estymowany lub oceniany. Estymand predykcyjny może dotyczyć porządkowania albo ryzyka dla kwalifikujących się badań obrazowych w określonym horyzoncie czasowym. Estymand asocjacyjny może opisywać zależność między cechą a obserwowanym wynikiem po zadanych korektach. Estymand przyczynowy opisywałby kontrast między zdefiniowanymi interwencjami lub ekspozycjami przy jawnych założeniach. Są to różne pytania, nawet jeśli wykorzystują ten sam obraz i tę samą regresję albo sieć neuronową.

Akapit rekonstrukcji

Użytecznym skrótem jest sześcioczęściowy schemat rekonstrukcji pytania badawczego i twierdzenia, a nie formalna definicja estymandu. Umieszcza on docelowy estymand lub cel predykcji obok populacji, danych wejściowych, etykiety lub pomiaru referencyjnego, estymatora lub procedury ewaluacji oraz wynikającego z nich twierdzenia, aby można było skontrolować relacje między tymi elementami. Każdy element ma rozwinięcie, które zapobiega ukryciu decyzji o istotnych konsekwencjach w znajomo brzmiącym słowie.

1. Pytanie i estymand. Czy badanie służy wykrywaniu, rozpoznawaniu, przewidywaniu, prognozowaniu, segmentacji, pomiarowi, czy opisowi asocjacji? Określ wynik, horyzont czasowy, zamierzone zastosowanie i estymowaną wielkość, zamiast przyjmować ogólne sformułowanie, takie jak „predykcja kliniczna”.
2. Populacja i konstrukcja kohorty. Oddziel populację docelową, populację źródłową i próbę analityczną. Uwzględnij kryteria włączenia i wykluczenia, sposób rekrutacji lub ścieżkę skierowań, daty, ośrodki, brakujące dane i każde wzbogacenie zmieniające spektrum przypadków.
3. Dane wejściowe i jednostka obserwacji. Określ, co model rzeczywiście otrzymuje: badanie obrazowe, serię, rekonstrukcję, fazę, maskę, zmienną kliniczną albo ich połączenie. Wskaż, czy jeden wiersz reprezentuje pacjenta, zmianę, skan, warstwę, czy inny obiekt, i zidentyfikuj obserwacje powtarzane lub skupione w klastrach.
4. Wynik i standard referencyjny. Nazwij przewidywaną etykietę i proces, który ją wytworzył. Etykieta wyprowadzona z opisu, ocena czytelnika, wynik badania histopatologicznego, konsensus lub adnotacja algorytmiczna nie mają takiej samej interpretacji.
5. Podział i procedura ewaluacji. Opisz konstrukcję zbiorów treningowego, walidacyjnego i testowego, jednostkę podziału, dopasowywane przekształcenia, wybór progu, działania rozwojowe w domenie zewnętrznej oraz to, czy oceniany model i punkt pracy były zamrożone.
6. Twierdzenie. Odtwórz najmocniejszy wniosek w formie, która nazywa testowaną populację, procedurę, metrykę i brakujące dowody. Zastąp bezwarunkowe określenie takie jak „uogólnialny” konkretnym rodzajem przeniesienia, który projekt rzeczywiście zbadał.

W tym akapicie trzeba także oddzielić projekt obserwacyjny od narracji przyczynowej. Retrospektywna asocjacja może odzwierciedlać zakłócenie, selekcję, sposób pomiaru albo zmienną znajdującą się poniżej badanego stanu w łańcuchu przyczynowym. Model predykcyjny może dobrze porządkować wyniki, wykorzystując zarazem zmienną zastępczą, która nie zareagowałaby na interwencję. Jeśli badanie nie określa pytania przyczynowego, odpowiedniego projektu i założeń wymaganych przez to pytanie, skuteczność predykcyjna nie stanowi dowodu, że ekspozycja lub cecha spowodowała wynik.

Luki są ustaleniami, a nie zaproszeniem do zgadywania

Jeśli akapitu nie da się napisać na podstawie artykułu, zaznacz brakujący element. Niejasna jednostka nie pozwala czytelnikowi ustalić, co oznacza mianownik. Niejasny standard referencyjny uniemożliwia oddzielenie twierdzenia o chorobie od twierdzenia, że model odtwarza oceny czytelnika. Niejasny podział danych uniemożliwia twierdzenie o niezależności. Niejasna granica dopasowanego stanu uniemożliwia jednoznaczne twierdzenie o ewaluacji. Luki te nie dowodzą, że ukryta procedura była nieprawidłowa, ale nie pozwalają czytelnikowi przyjąć silniejszej interpretacji.

Dlatego rekonstrukcja poprzedza szczegółową ocenę metryk. Pytanie o niezależność testu zakłada, że czytelnik wie, czego użyto podczas prac rozwojowych. Pytanie, czy metryka uzasadnia decyzję kliniczną, zakłada zdefiniowany wynik, punkt pracy i populację docelową. Akapit ogranicza pewność, jaką może mieć sam czytelnik, a nie stanowi oceny zaliczone/niezaliczone wystawionej autorom.

Zwięzła zapowiedź analizy artykułu

Artykuł Tran i wsp. (PMID 35726103) stanowi użyteczną zapowiedź tej metody. Przedstawionym w nim problemem jest wykrywanie zerwania więzadła krzyżowego przedniego (ACL) w badaniu MRI kolana. Źródło opisuje model działający na poziomie badania obrazowego, etykiety wyprowadzone z opisów i przetworzone za pomocą modelu NLP, rozwojowy podział danych bez wspólnych pacjentów oraz dwa zewnętrzne zbiory danych. Posługuje się także językiem walidacji zewnętrznej, którego znaczenie zależy od tego, czy model i próg pozostawały zamrożone, czy zostały dostosowane. Już same te elementy wystarczą, by przed zaakceptowaniem eksponowanej wartości liczbowej postawić kolejne pytania: czym jest badanie obrazowe w tej analizie, co reprezentuje etykieta wyprowadzona z opisu, co weszło do każdego testu zewnętrznego i który wynik należy do której procedury?

Pełna analiza przypadku w dalszej części rozdziału przedstawia raportowane w artykule szczegóły liczbowe. Zwięzłość tej zapowiedzi pozwala uniknąć tworzenia drugiego abstraktu; chodzi tu o to, że rekonstrukcja ujawnia punkty zaczepienia do kontroli, zanim wynik przekona czytelnika.

Kolejny punkt zaczepienia najczęściej sprawia, że raportowane N wygląda na większe, niż wskazuje skala niezależnej informacji: jest nim relacja między jednostką obserwacji a jednostką podziału.