Analiza artykułu krok po kroku: Tran i wsp.

Jest to ilustracyjny, osadzony w czasie przypadek zbudowany wokół artykułu wskazanego jako Tran i wsp. (PMID 35726103). Celem nie jest uszeregowanie artykułu według największej liczby. Chodzi o utrzymanie w oddzielnych porządkach zaraportowanego projektu badania, interpretacji każdego wyniku i granic wynikającego z nich twierdzenia. Poniższe szczegóły liczbowe oraz szczegóły metod i wyników przytoczono do oceny jako informacje zaraportowane w artykule; nie stanowią uniwersalnych wartości odniesienia ani wsparcia naukowego dostarczonego przez ten etap prac autorskich.

Artykuł i jego pytanie

Artykuł bada wykrywanie zerwań więzadła krzyżowego przedniego (ACL) w MRI kolana za pomocą głębokiego uczenia i raportuje testy na zewnętrznych zbiorach danych. Jego zadanie można opisać jednocześnie na dwa sposoby: jest to klasyfikator AI w obrazowaniu medycznym, a zarazem przedstawia się go jako diagnostyczny model predykcyjny. To połączenie ma znaczenie przy wyborze perspektywy oceny. Czytelnik rozważyłby perspektywę raportowania AI w obrazowaniu o nazwie CLAIM 2024 razem z TRIPOD+AI do raportowania klinicznych modeli predykcyjnych oraz PROBAST+AI do oceny ryzyka błędu systematycznego modeli predykcyjnych. CLEAR jest perspektywą raportowania radiomiki i nie stanowi podstawowego dopasowania do tego klasyfikatora. Gdy zasoby te służą jako dowody, nadal trzeba sprawdzić ich aktualne wersje publiczne i dokładny zakres.

Badanie w formie zaraportowanej

Kohortę rozwojową zaraportowano jako 19 765 badań MRI kolana od 17 738 pacjentów z 12 ośrodków. Źródło opisuje wielu producentów: Philips, GE i Siemens, oraz natężenia pola 1, 1,5 i 3 T; raportuje częstość występowania zerwania ACL równą 15 procent. Dane rozwojowe podzielono w proporcji 70/20/10 na części treningową, walidacyjną i testową, bez wspólnych pacjentów między częściami. Dane wejściowe stanowi badanie MRI, a zaraportowaną jednostką analizy jest badanie obrazowe, nie zaś liczba niezależnych warstw.

Kluczowy jest również proces referencyjny. Artykuł raportuje etykiety wyprowadzone z opisów radiologicznych za pomocą modelu NLP o AUC 0,984, a nie etykiety ustalone na podstawie artroskopii. Sam opis jest produktem interpretacji badania MRI przez radiologa. Nie czyni to celu polegającego na odtwarzaniu opisu nieuprawnionym, ale zmienia znaczenie twierdzenia o wykrywaniu choroby: model może uczyć się zarówno wskazówek związanych z procesem raportowania, jak i wskazówek związanych z zerwaniem. Źródło wskazuje niedokładność opisów i możliwe ograniczenia weryfikacji jako zastrzeżenia. Czytelnik powinien uwzględniać je podczas interpretacji etykiety, zamiast domyślnie traktować ją jako niezależną prawdę.

Dla testu wewnętrznego artykuł raportuje AUC 0,939. Przy progu 0,38, optymalnym według kryterium Youdena, raportuje czułość 87 procent, swoistość 91 procent i dokładność 0,902. Te wielkości zależne od progu nie stanowią tego samego rodzaju dowodów co AUC niezależne od progu, a każda z nich zależy od mianownika i procedury wyboru progu opisanych w źródle.

Artykuł wskazuje dwa zewnętrzne zbiory danych: Bien/MRNet ze Stanford w Stanach Zjednoczonych, dla którego opisano obrazowanie aparatem GE, oraz Stajduhar/KneeMRI z Chorwacji, dla którego opisano obrazowanie aparatem Siemens o natężeniu pola 1,5 T. Źródło przedstawia je jako niezależne zewnętrzne zbiory danych. Konstrukcja ich kohort i relacja do danych rozwojowych są częścią pytania o testowanie zewnętrzne, a nie szczegółami, które można wywnioskować wyłącznie z nazw zbiorów.

Co oznaczają wyniki zewnętrzne

Artykuł raportuje jeden zestaw wyników dla oryginalnego modelu przetestowanego bez zmian. W tej analizie modelu zamrożonego zbiór Bien ma AUC 0,941 z przedziałem 0,897–0,978, natomiast zbiór Stajduhar ma AUC 0,860 z przedziałem 0,829–0,892. Kontrast jest użyteczny, ponieważ nie pozwala odczytywać określenia „zewnętrzny” jako gwarancji identycznej skuteczności. Sam w sobie nie dowodzi, która z różnic dotyczących producenta, częstości występowania, protokołu lub kohorty spowodowała ten kontrast.

Artykuł raportuje również ponowne trenowanie lub dostrajanie z wykorzystaniem własnych części treningowej i walidacyjnej każdego zewnętrznego zbioru danych. Po tej adaptacji raportuje AUC 0,962 z przedziałem 0,930–0,988 dla zbioru Bien oraz AUC 0,922 z przedziałem 0,875–0,962 dla zbioru Stajduhar. Zaraportowane progi wynoszą 0,37 dla Bien i 0,60 dla Stajduhar, a więc różnią się od progu rozwojowego 0,38.

Najważniejszym wynikiem tej analizy jest rozróżnienie interpretacyjne. Jeśli metody potwierdzają opisane wyżej warunki zamrożenia, wartości 0,941 i 0,860 odpowiadają na pytanie: „jak oryginalny model przeniósł się do tych testowanych kohort?”. Większe lub korzystniejsze wartości, 0,962 i 0,922, odpowiadają na inne pytanie: jak metoda działała po zobaczeniu nowych domen i dostosowaniu się do nich? Progi także trzeba śledzić jako część procedury. Próg ponownie wyestymowany w rozwojowej części danych z nowej domeny jest dostosowanym punktem pracy; próg wybrany w końcowej części testowej wykorzystuje informację z testu i nie może wspierać twierdzenia o nietkniętym punkcie pracy określonym z góry.

Sformułowanie „wielokontynentalna walidacja zewnętrzna” nie jest zatem wystarczająco precyzyjne, aby objąć wszystkie wyniki. Twierdzenie musi wskazywać, czy wagi i próg były zamrożone, które dane zewnętrzne wykorzystano do adaptacji i która część danych dostarczyła raportowanej metryki. Nawet potwierdzony wynik modelu zamrożonego odnosi się do testowanych warunków, nie automatycznie do każdego szpitala, skanera, populacji ani przyszłego okresu.

Czego projekt nie wykazuje

Materiał źródłowy nie przedstawia porównania radiologa pracującego samodzielnie z radiologiem wspomaganym przez AI, analizy kalibracji ani analizy użyteczności klinicznej lub wyników klinicznych. Nie wykorzystuje też korelacji z wynikiem zabiegu jako referencji dla etykiet i w zaraportowanym zestawie ograniczeń nie rozdziela zerwań częściowych od całkowitych. Pominięcia te mają znaczenie, ponieważ zdolność dyskryminacyjna klasyfikatora względem etykiety wyprowadzonej z opisu nie stanowi dowodu, że klinicyści podejmują z nim lepsze decyzje, jego prawdopodobieństwa są skalibrowane ani że poprawia wyniki pacjentów.

Przypadek ten nie wykazuje również efektu przyczynowego. Model retrospektywny może przewidywać zaobserwowaną etykietę, nie pokazując, że cecha obrazu spowodowała zerwanie, że zmiana tej cechy zmieniłaby wynik ani że wdrożenie modelu poprawiłoby opiekę. Brakujące dowody zawężają twierdzenie; nie zmieniają artykułu w badanie zakończone niepowodzeniem. Badanie nadal może dostarczać informacji o węższych pytaniach, które rzeczywiście testowało, pod warunkiem precyzyjnego opisania etykiety i procedury ewaluacji.

Silniejsze badanie składa się z jawnych porównań

Ta sama rekonstrukcja podpowiada kilka ulepszeń projektu. Niezależny standard referencyjny zastosowany w określonym podzbiorze, na przykład odpowiednia dla pytania klinicznego referencja chirurgiczna lub ekspercka ustalona w drodze rozstrzygnięcia, mógłby sprawdzić, w jakim stopniu etykieta wyprowadzona z opisu zmienia cel. Zewnętrzny test modelu zamrożonego z zamrożonym progiem należy raportować obok wyników po ponownym trenowaniu lub dostrajaniu, aby uwidocznić bezpośrednie przenoszenie. Analizy kalibracji i krzywej decyzyjnej lub korzyści netto mogłyby odpowiedzieć na pytania o znaczenie prawdopodobieństwa i decyzje przy istotnych progach. Badanie z udziałem oceniających, porównujące zamierzone warunki ich pracy, mogłoby ocenić twierdzenie o zastosowaniu klinicznym. Zerwania częściowe i całkowite można rozdzielić, jeśli rozróżnienie to należy do pytania klinicznego, przy czym regułę dotyczącą podgrup należy określić przed wyborem wyniku.

Są to propozycje wzmocnienia konkretnych twierdzeń, a nie uniwersalny protokół. Właściwe dodatki zależą od estymandu, standardu referencyjnego, przepływu pracy i zamierzonego działania. Ich wspólną cechą jest to, że każdy dostarcza dowodów dotyczących pytania, na które samo AUC nie może odpowiedzieć.

Reguła czytania możliwa do przeniesienia

W przypadku każdego artykułu, który mówi o „walidacji zewnętrznej”, zapisz populację docelową, jednostkę obserwacji, źródło etykiety, jednostkę podziału, dopasowany stan, procedurę wyboru progu, metrykę i zamierzone twierdzenie. Następnie oddziel dwa zdania: „zamrożony model przeniósł się do testowanej domeny” oraz „metoda została przeniesiona po adaptacji do testowanej domeny”. Jeśli artykuł nie może wspierać jednego z tych zdań, nie pozwól, by drugie je zastępowało. Kontroluj progi równie uważnie jak wagi, a przed przekształceniem zdolności dyskryminacyjnej w twierdzenie o zastosowaniu klinicznym sprawdź kalibrację i dowody decyzyjne.

W tym rozdziale prześledziliśmy wynik wstecz, od jego twierdzenia do kohorty, etykiety, estymandu, granicy informacyjnej, procedury testowej, metryki i ograniczeń raportowania. Następny rozdział podąża za dowodami do operacyjnego przepływu pracy, w którym zwalidowany wynik badania nadal musi stać się możliwym do prześledzenia obiektem obrazowym i widocznym działaniem klinicznym: Rozdział 10 — Informatyka obrazowa.