Badania osoby interpretującej bez AI i z AI

Samodzielny model i człowiek korzystający z jego wyniku są różnymi obiektami eksperymentalnymi. Model może dobrze porządkować przypadki względem odniesienia, a mimo to wnosić niewiele, gdy radiolog już je interpretuje. Może też zmienić uwagę lub zaufanie osoby interpretującej w sposób, który wprowadza błędy. Pytanie „czy dodanie tej AI pomaga?” wymaga zatem porównania tej samej osoby interpretującej bez AI i z AI, na określonym zbiorze przypadków i dla określonego punktu końcowego. Samodzielne AUROC nie może dostarczyć takiego porównania.

Pytanie dotyczy różnicy, a nie wyniku

Użyteczną wielkością nie jest wynik modelu rozpatrywany osobno, lecz różnica między dwoma warunkami, w których osoba interpretująca, przypadki, definicja odniesienia i punkt końcowy są porównywalne. Dokładnym estymandem może być zmiana czułości lub swoistości, zmiana miary zgodności, różnica czasu interpretacji albo inny określony z góry wynik toku pracy. Dodatnia różnica jednego wyniku nie oznacza automatycznie dodatniej różnicy innego, a żadna z tych różnic sama w sobie nie wykazuje korzyści dla pacjenta ani użyteczności klinicznej.

Projektowanie porównania

Badanie z udziałem osób interpretujących zaczyna się od określenia zamierzonej roli i jednostki twierdzenia. Wytyczne dotyczące raportowania CLAIM 2024 są użyteczną podpowiedzią, a nie gwarancją wystarczalności jednego projektu. Projekt z wieloma osobami interpretującymi i wieloma przypadkami jest często użyteczny, gdy pytanie dotyczy działania wśród osób i przypadków: dostarcza więcej niż jedną osobę i więcej niż jeden przypadek, na podstawie których można oszacować zmienność. Strukturę osób i przypadków trzeba potem uwzględnić w analizie; samo uśrednienie zbioru wyników może ukryć, które źródło zmienności zaobserwowano w badaniu. Badanie jednej osoby nadal może mieć charakter opisowy lub eksploracyjny, ale uzasadnia węższe uogólnienie niż projekt, który szerzej próbkuje populację osób interpretujących.

Jednym z możliwych projektów jest schemat krzyżowy, w którym każda osoba interpretująca uczestniczy zarówno w warunku bez wspomagania, jak i z AI. Może to ułatwić porównania wewnątrz osoby, ale tworzy też problem pamięci, gdy ten sam przypadek ogląda się więcej niż raz. Okres przerwy może ograniczyć przypominanie, choć jego wystarczalność zależy od przypadków, osób interpretujących, zadania i odstępu. Znaczenie może mieć również kolejność warunków: wcześniejsze zobaczenie sugestii AI może ukierunkować późniejszy odczyt bez wspomagania, a rozpoczęcie bez AI może zmienić sposób kierowania uwagi w warunku wspomaganym. Równoważenie kolejności lub inna określona z góry strategia może ograniczać efekty kolejności, ale ani schemat krzyżowy, ani okres przerwy nie gwarantują badania wolnego od obciążenia lub wystarczającego pod innymi względami.

Wyniki muszą odpowiadać twierdzeniu. Czułość, swoistość, zdolność dyskryminacyjna i kalibracja odpowiadają na różne pytania. Twierdzenie o efektywności wymaga punktu końcowego dotyczącego efektywności, na przykład czasu interpretacji zmierzonego w odpowiednich warunkach. Twierdzenie o spójności wymaga analizy zgodności lub zmienności. Badanie, które ma wykazać bezpieczeństwo interakcji, powinno analizować, co dzieje się w przypadkach błędów modelu, jak często osoby interpretujące odrzucają sugestie oraz czy alerty zmieniają uwagę lub obciążenie pracą. Nie jest to stała lista, którą musi raportować każde badanie; są to przykłady pytań stających się konieczne, gdy obejmuje je zamierzone twierdzenie.

Schemat krzyżowy, okres przerwy i kolejność

Szczegóły projektu mają znaczenie, ponieważ warunek z AI jest interwencją w odczyt, a nie po prostu kolejnym pomiarem tego samego modelu. Jeżeli osoba interpretująca widzi przypadek i sugestię, a niedługo potem wykonuje rzekomo niewspomagany odczyt, pamięć może zanieczyścić porównanie. Jeśli wszystkie osoby otrzymują warunki w tej samej kolejności, zaobserwowana różnica może łączyć efekt AI z uczeniem się, zmęczeniem lub efektami kolejności przypadków. Badanie powinno uwidocznić te zagrożenia oraz wyjaśnić, jak wybrany projekt i analiza sobie z nimi radzą. Właściwy odstęp, schemat kolejności, konstrukcja odniesienia i model wyniku zależą od kontekstu; nie można ich zastąpić uniwersalną instrukcją.

Pułapka „najpierw wynik samodzielny, potem wdrożenie”

Nadmierne twierdzenie wdrożeniowe polega na uznaniu mocnego wyniku samodzielnego za dowód, że poprawią się wyniki osób interpretujących. Model może identyfikować zmiany, które te osoby już wykrywają, więc wynik osoby z AI zmienia się nieznacznie. Z kolei pewna, lecz błędna sugestia może odwieść osobę interpretującą od odpowiedzi, do której doszłaby bez niej. Kierunek i wielkość interakcji są pytaniami empirycznymi. Dobrze zaprojektowane badanie z udziałem osób interpretujących może na nie odpowiedzieć, ale żadna pojedyncza nazwa projektu nie rozstrzyga wszystkich twierdzeń wdrożeniowych.

Rozważmy skonstruowane badanie dostawcy z jednym ekspertem i 40 przypadkami. Osoba ta interpretuje każdy przypadek z AI, a wyniki porównuje się z jej wcześniejszymi odczytami bez wspomagania, bez odstępu ograniczającego pamięć ani planu różnicującego kolejność warunków. Raportowany wzrost czułości byłby trudny do interpretacji: uogólnienie na poziomie osób interpretujących jest wąskie, powtórna ekspozycja może zanieczyścić porównanie, a efektów kolejności nie uwzględniono. Mocniejszy projekt mógłby obejmować kilka osób i przypadków, oba warunki, określoną z góry strategię kolejności i okresu przerwy, właściwy standard odniesienia oraz wyniki odpowiadające zamierzonej roli. Cechy te wzmacniają materiał dowodowy; nie czynią jednak badania uniwersalnym dowodem korzyści.

Następna sekcja stosuje tę dyscyplinę interpretacji do wyraźnie ograniczonego przykładu publikacji, oddzielając raportowany materiał dowodowy od samych zasad projektowania.