Punkty operacyjne w zmienionym toku pracy

Model zwykle generuje wynik, natomiast usługa musi zdecydować, co ten wynik oznacza dla pracy. Reguła, która zmienia wynik w alert, pozycję w kolejce, pomiar lub eskalację, jest punktem operacyjnym. Nie jest po prostu „progiem optymalnym według AUROC”. Ranking podsumowany przez AUROC i reguła działania stosowana w jednym ośrodku odpowiadają na różne pytania. Próg wybrany według ogólnego kryterium w kohorcie rozwojowej może rozsądnie opisywać punkt wyjścia w tej kohorcie, a mimo to być nieodpowiedni dla innego toku pracy.

Próg jest decyzją, a nie wynikiem optymalizacji

Wybór punktu operacyjnego wiąże system z określonym układem wyników fałszywie dodatnich i fałszywie ujemnych, obciążeniem pracą oraz reakcją. Decyzja jest więc związana z zamierzoną rolą i populacją użycia. Próg nie jest przenośną stałą kliniczną, którą można skopiować z publikacji lub odziedziczyć po rozwoju modelu bez sprawdzenia, co się zmieniło.

Co wyznacza punkt operacyjny

Częstość występowania zmienia predykcyjne znaczenie wyniku. Nawet gdy model i próg pozostają niezmienione, dodatnie i ujemne wartości predykcyjne mogą się różnić wraz ze zmianą struktury przypadków. Nie oznacza to, że sama częstość występowania wyznacza próg; oznacza, że konsekwencje progu trzeba oceniać w populacji i toku pracy, w których będzie się reagować na alerty.

Rola w toku pracy zmienia koszt tego samego błędu. Usługa triażowa może mieć za zadanie przesuwać możliwe przypadki dodatnie do wcześniejszego przeglądu przez człowieka, podczas gdy etap potwierdzenia lub pomiaru może wymagać innego wyważenia, zanim wynik zostanie przyjęty. Opisane wcześniej porównanie zależne od roli jest więc również problemem progu zależnym od roli.

Względne konsekwencje błędów łączą punkt operacyjny z działaniem. Równowaga między przeoczoną zmianą a zbędną procedurą kontrolną nie jest taka sama w każdym zadaniu i nie można jej wywnioskować z AUROC. Właściwe konsekwencje obejmują konsekwencje kliniczne i dotyczące toku pracy, ale materiał dowodowy musi wskazywać, które z nich rozważono, zamiast przedstawiać jeden porządek kosztów jako uniwersalny.

Kalibracja dotyczy tego, czy przewidywane prawdopodobieństwa odpowiadają obserwowanemu ryzyku w populacji użycia. Różni się zarówno od zdolności dyskryminacyjnej, jak i od samego progu. Gdy populacja wdrożeniowa różni się od rozwojowej, usługa może wymagać oceny kalibracji lub uzasadnionej strategii ponownej kalibracji, przy czym transformację należy dopasować i ocenić wewnątrz właściwej granicy walidacyjnej (rozdział 7).

Dlaczego jest to problem wdrożeniowy, a nie problem modelowania

Model generuje wielkość ciągłą; tok pracy zmienia ją w decyzję. Dwa ośrodki mogą korzystać z tego samego modelu, a różnić się częstością występowania, przepustowością kolejki, dostępnością osób interpretujących lub konsekwencjami błędu. Mogą więc potrzebować różnych punktów operacyjnych albo tego samego progu przy innej interpretacji jego wartości predykcyjnej. Każde ponowne oszacowanie na populacji zewnętrznej jest adaptacją i musi być tak raportowane. Nie należy go opisywać tak, jakby pierwotny zamrożony model dostarczył uniwersalnie przenośnej reguły.

Rozważmy skonstruowany przykład triażu udaru. Próg wybrany w specjalistycznym ośrodku o wysokiej częstości występowania zostaje bez zmian skopiowany do szpitala o niższej częstości. Liczba alertów i odsetek wyników prawdziwie dodatnich mogą się zmienić, nawet jeśli wzór obliczania wyniku się nie zmienił. Lokalny zespół musiałby zbadać strukturę przypadków, liczbę alertów, wartości predykcyjne, kalibrację, zdolność do reakcji oraz konsekwencje wyników fałszywie dodatnich i fałszywie ujemnych, zanim uznałby punkt operacyjny za odpowiedni. Jeśli punkt zostanie zmieniony, zmiana ta staje się częścią specyfikacji wdrożenia i jego oceny.

Dlatego próg należy do zapisu cyklu życia razem z wersją modelu, populacją danych, rolą w toku pracy i właścicielem decyzji. Gdy wynik zostaje przedstawiony człowiekowi, próg staje się częścią interwencji człowiek–model, co prowadzi do kolejnego pytania: w jaki sposób może on człowiekowi pomóc albo go wprowadzić w błąd?