Rola wdrożeniowa wyznacza sposób oceny

Ten sam model może wejść do świadczenia opieki na kilka sposobów, a jego rola zmienia twierdzenie formułowane przez tę usługę. Lista robocza może zostać uporządkowana na nowo, zanim ktokolwiek otworzy obraz; osoba interpretująca może widzieć sugestię podczas oceny; druga osoba może sprawdzić wynik AI po pierwszym odczycie; system może też przygotować pomiar, który klinicysta zaakceptuje, zmodyfikuje albo odrzuci. Ocena wdrożenia, która pomija ten kontrakt interakcji, podaje liczbę bez wyjaśnienia, co ta liczba ma wykazać.

Rola rozstrzyga, co uznaje się za sukces

Zanim zapytasz, czy wdrożenie działa dobrze, określ, kto widzi wynik, kiedy go widzi, na jakie działanie ma on wpłynąć oraz co dzieje się, gdy wyniku brakuje albo jest błędny. AI używana jako warstwa triażu lub ustalania priorytetów zmienia kolejność, w której człowiek napotyka przypadki. Narzędzie równoległego wspomagania zmienia informacje dostępne podczas interpretacji. Narzędzie drugiego odczytu tworzy późniejszy etap kontroli. Użycie autonomiczne lub samodzielne przypisuje decyzję oprogramowaniu w określonym zakresie. Narzędzie wspierające pomiar lub opis tworzy artefakt, który osoba interpretująca może przyjąć albo poprawić. Role te można łączyć w jednej instalacji technicznej, ale nie stanowią one jednego eksperymentu.

Rola wyznacza również właściwe porównanie. Ocena działania samodzielnego modelu pyta, jak wyniki odnoszą się do odniesienia w warunkach oceny. Nie wykazuje, co dzieje się, gdy radiolog ma dostęp do tych samych wyników. Dla tego pytania miarodajnym porównaniem jest zmiana między działaniem osoby interpretującej bez AI i z AI w badaniu z udziałem osób interpretujących lub badaniu toku pracy, ze zdefiniowanym wcześniej punktem końcowym. Model może działać dobrze samodzielnie, a wnosić niewiele do pracy doświadczonej osoby, albo interakcja może wprowadzać błędy niewidoczne w ocenie samodzielnej. Rozróżnienie to rozwija kolejna sekcja poświęcona badaniom z udziałem osób interpretujących.

Typowe role są różnymi kontraktami

W roli samodzielnej zamierzona decyzja systemu, populacja użycia, obsługa awarii i ścieżka eskalacji muszą być jawne, ponieważ nie ma bezpośrednio obecnej osoby interpretującej, której niezależna ocena dostarczałaby brakującego kontekstu. W równoległym wspomaganiu wynik jest widoczny podczas pracy osoby interpretującej. Ocena musi zatem sprawdzić nie tylko, czy sugestia jest poprawna, lecz także czy zmienia decyzje tej osoby, czas pracy i zdolność wykrywania błędów. W roli drugiego odczytu pytanie może dotyczyć tego, czy późniejsza kontrola AI dodaje obserwacje lub zmienia decyzje po niezależnym pierwszym odczycie; czas interwencji jest jej częścią.

W triażu wynikiem może być priorytet lub oznaczenie, a nie rozpoznanie. Użyteczny punkt końcowy może dotyczyć tego, które przypadki pojawiają się blisko początku kolejki, jak szybko dostępne jest oznaczenie i jak rozkłada się wynikające z niego obciążenie pracą. Przy wspieraniu pomiaru lub opisu punkt końcowy może dotyczyć dokładności, spójności, nakładu pracy na poprawki albo identyfikowalności utworzonej treści. Żaden z tych przykładów nie czyni jednej metryki właściwą dla każdego wdrożenia. Pokazują one, dlaczego pojedyncze AUROC dla „wdrożenia” może ukrywać kilka odrębnych twierdzeń.

Rola wyznacza metryki, progi i projekt badania

Punkt operacyjny wynika z działania. System triażowy można skonfigurować tak, aby ujawniał człowiekowi do przeglądu więcej możliwych przypadków dodatnich, podczas gdy etap potwierdzenia lub pomiaru może przywiązywać większą wagę do unikania zbędnych działań. Wybór ten nie jest zakodowany w metryce rankingowej modelu. Zależy od częstości występowania, obciążenia pracą, konsekwencji decyzji fałszywie dodatnich i fałszywie ujemnych oraz sposobu włączenia wyniku do pracy. Sekcja poświęcona progom traktuje go jako decyzję wdrożeniową, a nie właściwość kopiowaną z etapu rozwoju modelu.

Rozważmy skonstruowany przykład, w którym jedna usługa zmienia kolejność podejrzeń ostrych zmian, a druga proponuje pomiar w tym samym PACS. Pierwsza wymagałaby dowodów dotyczących rankingu, czasu do oznaczenia, obciążenia kolejki i reakcji osób interpretujących na alerty. Druga wymagałaby dowodów dotyczących pomiaru osoby interpretującej z propozycją i bez niej, zachowania przy poprawianiu lub odrzucaniu oraz wiarygodności powstałego zapisu. Nazwanie obu zastosowań „działaniem AI” i podanie jednego wyniku zagregowanego zatarłoby różne estymandy. Uniemożliwiłoby też ustalenie, którą awarię trzeba zbadać podczas rzeczywistego użycia systemu.

Określenie roli jest więc pierwszym działaniem w ocenie wdrożenia. Ustala zamierzone porównanie i pozwala odpowiedzieć na późniejsze pytania o osoby interpretujące, progi, integrację, monitorowanie, zarządzanie i adopcję bez udawania, że poprawność samodzielnego modelu jest korzyścią systemową.