Etykiety i standardy referencyjne

Określenie „ground truth” może sprawiać, że etykieta brzmi jak bezpośrednia obserwacja badanego stanu. W badaniu obrazowym etykieta jest zwykle wynikiem innego procesu pomiarowego: interpretacji oceniającego, wyniku badania histopatologicznego, algorytmu zastosowanego do opisu, procedury konsensusu albo zapisu zdarzenia klinicznego. Wynik punktowy modelu jest uwarunkowany tym procesem. Pierwsze pytanie nie dotyczy zatem tego, czy etykieta jest metafizycznie prawdziwa, lecz tego, jaką wielkość docelową mierzy dany proces i jak wiąże się on z danymi wejściowymi.

Standard referencyjny jest częścią estymandu

Ocena osoby interpretującej MRI, późniejszy wynik badania histopatologicznego i etykieta uzyskana z opisu radiologicznego za pomocą NLP mogą być użyteczne w odniesieniu do różnych pytań. Model trenowany do odtwarzania wniosku z opisu ma uprawniony cel polegający na odtwarzaniu opisu. Tego celu nie należy po cichu przedstawiać jako niezależnego wykrywania choroby będącej jego podłożem. Z kolei twierdzenie ukierunkowane na chorobę może wymagać procesu referencyjnego wystarczająco niezależnego, by poddać testowi zamierzony stan, nawet jeśli proces ten jest dostępny tylko dla części badanych.

Szczególnie ważne są trzy właściwości. Po pierwsze, ustal relację między procesem referencyjnym a obrazem lub innymi danymi wejściowymi widzianymi przez model. Etykieta utworzona na podstawie tego samego obrazu może zależeć od wskazówek wykorzystanych przez oceniającego; model może uczyć się procesu raportowania zamiast badanego stanu. W przypadku estymandu dotyczącego prawdy o chorobie rodzi to ryzyko cyrkularności, ale nie jest automatycznym powodem do odrzucenia badania nad odtwarzaniem opisu. Po drugie, opisz sposób utworzenia referencji i jej prawdopodobne źródła błędu: doświadczenie i instrukcje oceniających, dokumentację retrospektywną, ekstrakcję za pomocą NLP, dostępność badań potwierdzających oraz ewentualną selekcję do weryfikacji. Po trzecie, wskaż, jak postępowano z opiniami wielu oceniających i co rozbieżność oznacza dla zadania.

Cyrkularność zależy od celu

Wyobraźmy sobie model analizujący MRI kolana, któremu przypisano etykiety na podstawie opisu radiologicznego sporządzonego po obejrzeniu tego samego badania MRI przez radiologa. Wysoki wynik względem takiej etykiety może oznaczać, że model odtwarza wskazówki prowadzące do danego opisu. Sam w sobie nie pokazuje, że model rozpoznaje uszkodzenie niezależnie od procesu raportowania. Jeżeli celem artykułu jest automatyzacja klasyfikacji opisów, może to być właśnie interesująca wielkość. Jeśli jednak artykuł deklaruje niezależne wykrywanie choroby, zależność standardu referencyjnego zawęża zakres wniosków uzasadnianych przez wynik.

Ta sama logika dotyczy przykładu zdjęcia RTG klatki piersiowej, w którym skonstruowany model osiąga AUROC 0,96 względem wyprowadzonej z opisu etykiety zapalenia płuc. Liczba ta nie jest tutaj opublikowanym wynikiem klinicznym. Ma zilustrować, że bezpośrednim celem jest zgodność z wnioskiem zawartym w opisie. Niezależna referencja, na przykład zdefiniowane późniejsze rozstrzygnięcie lub inne odpowiednie potwierdzenie kliniczne zastosowane według określonego protokołu, testowałaby inny cel. Możliwość i zasadność takiego celu zależą od choroby i pytania badawczego; mocniejszego twierdzenia nie można uzyskać przez samą zmianę nazwy etykiety.

Weryfikacja i selektywnie wykonywane testy referencyjne

Błąd weryfikacji jest problemem selekcji w procesie referencyjnym. Załóżmy, że rozstrzygający test referencyjny wykonuje się tylko u osób z dodatnim wynikiem badania przesiewowego, dodatnim wynikiem modelu albo szczególnie niepokojącą pierwotną oceną. Skuteczność mierzy się wtedy w wybranym podzbiorze, a nie automatycznie w całej kwalifikującej się kohorcie. Taka selekcja może wpływać na czułość, swoistość, kalibrację oraz populację, do której odnosi się wynik.

Obecność selektywnie wykonywanej referencji nie czyni każdego badania niemożliwym do interpretacji. Oznacza jednak, że artykuł musi podawać, kogo zweryfikowano, dlaczego oraz jaką analizę zastosowano, aby uwzględnić lub opisać selekcję. Jeżeli autorzy zamierzają sformułować twierdzenie dotyczące wszystkich kwalifikujących się badań obrazowych, referencja dostępna tylko dla wybranej grupy nie zapewnia mu wystarczającego wsparcia. Jeżeli estymand jest jawnie uwarunkowany przynależnością do grupy zweryfikowanej, należy tak sformułować węższe twierdzenie.

Jawnie zaprojektuj proces etykietowania

Projekt standardu referencyjnego można zapisać jako łańcuch:

clinical question -> annotation specification -> reader selection and blinding
  -> independent readings -> disagreement rule -> adjudication or consensus
  -> final reference -> provenance

Specyfikacja adnotacji określa, co podlega etykietowaniu, na jakim poziomie szczegółowości i według jakich kryteriów. „Uszkodzenie” może oznaczać różne zmiany, jeśli oceniającemu nie powiedziano, czy należy uwzględniać częściowe przerwanie, całkowite przerwanie, czy każdą nieprawidłowość sygnału. Dobór i zaślepienie oceniających opisują ich doświadczenie oraz dostępne im informacje. Oceniający, który widzi wynik modelu, odpowiedź innego oceniającego, wcześniejszy opis albo późniejszy wynik kliniczny, odpowiada na inne pytanie dotyczące adnotacji niż oceniający zaślepiony na te sygnały.

Niezależne odczyty sprawiają, że rozbieżność staje się obserwowalna. Reguła postępowania z rozbieżnościami wchodzi następnie do definicji referencji. Deterministyczne głosowanie większościowe łączy niezależnie zapisane opinie zgodnie z określoną regułą. Rozstrzygnięcie oparte na dyskusji pozwala oceniającym lub panelowi wspólnie przeanalizować rozbieżność i zapisać decyzję końcową. W badaniu można powierzyć oceniającemu lub panelowi zdefiniowaną rolę rozstrzygającą albo arbitrażową, wykonywaną według określonych kryteriów. Terminologia publikacyjna częściowo się pokrywa: „konsensus”, „rozstrzygnięcie”, „arbitraż” i „głosowanie większościowe” nie są uniwersalnymi nazwami jednej operacji. Artykuł powinien zatem opisywać, kto oceniał niezależnie, jakie informacje ujawniono, jak rozwiązywano rozbieżności i jak powstała ostateczna referencja, zamiast polegać na samej nazwie procedury. Procedury te nie są wymienne, jeśli różnią się sposobem działania. Dokumentacja pochodzenia obejmuje instrukcje, oceniających, czas, obiekty źródłowe i ostateczną regułę, aby inny czytelnik mógł ustalić znaczenie etykiety.

Rozbieżność jest informacją

Gdy dwóch kompetentnych, zaślepionych oceniających nie zgadza się w przypadku granicznym, rozbieżność dostarcza informacji o niejednoznaczności zadania. Nie jest automatycznie wadą, którą należy usunąć przed analizą. Model oceniany względem etykiety uzyskanej w drodze konsensusu lub rozstrzygnięcia porównuje się z tym zadeklarowanym procesem. Zgodność z jednym wybranym oceniającym, konsensusem i niezależną referencją biologiczną może uzasadniać różne interpretacje i nakładać różne praktyczne ograniczenia na osiągalny poziom zgodności.

Rozważmy kolejny skonstruowany przykład dydaktyczny. Dwóch zaślepionych oceniających niezależnie analizuje 500 badań i jest zgodnych w 380 przypadkach, co pozostawia 120 rozbieżności. Jeśli oceniającym pokaże się wzajemnie ich odpowiedzi i zachowa tylko przypadki, w których osiągnęli zgodność, dochodzi do dwóch zmian. Późniejsze odpowiedzi nie są już niezależne, więc zakotwiczenie może zastąpić pierwotny proces ujawniania rozbieżności. Zachowana próba faworyzuje również łatwiejsze przypadki i zmienia ich spektrum. Te 120 rozbieżności stanowiło użyteczną informację o niejednoznaczności oraz o tym, gdzie specyfikacja adnotacji lub reguła rozstrzygania wymagała uwagi. Nie wyznaczają one uniwersalnego liczbowego pułapu dla każdego modelu; opisują to konkretne zadanie i procedurę referencyjną.

Dobrze opisany standard referencyjny nie gwarantuje prawidłowości twierdzenia klinicznego. Sprawia jednak, że wynik staje się wystarczająco interpretowalny, by czytelnik mógł postawić kolejne pytanie: czy dane użyte do oceny modelu pozostały poza dopasowanym potokiem?