Rozdział 11 — Wdrożenie kliniczne, systemy człowiek–AI i cykl życia

Model może dawać przekonujący wynik w odłożonym zbiorze danych, a mimo to być niewłaściwym rozwiązaniem do wprowadzenia w kliniczny tok pracy. Wynik może nie dotrzeć do osoby, która go potrzebuje, może zostać przedstawiony w niewłaściwym momencie albo zmienić zachowanie osoby interpretującej badanie. Wynik użyteczny w populacji rozwojowej może w innym ośrodku powodować niemożliwą do opanowania liczbę alertów. Model może też pozostawać technicznie niezmieniony, podczas gdy zmieniają się skanery, protokoły, populacje, definicje kliniczne lub otaczające go oprogramowanie. Wdrożenie kliniczne nie jest zatem ostatnim polem do zaznaczenia po walidacji. Jest cyklem życia, w którym twierdzenie, system, ludzie i materiał dowodowy muszą pozostawać ze sobą zgodne.

Zwalidowany model nie jest jeszcze systemem klinicznym

Wąskie pytanie, na które odpowiada odłożony zbiór testowy, brzmi: czy określony model rozróżnia lub przewiduje w określonej populacji ocenowej i w warunkach tej oceny. Nawet wysokie AUROC samo w sobie nie wykazuje, że dodanie modelu do pracy radiologa poprawia interpretację, że wynik można pobrać i zrozumieć w konkretnym toku pracy ani że punkt operacyjny jest odpowiedni dla nowej populacji. Jeszcze mniej mówi o tym, jak osoby interpretujące reagują na błędne sugestie lub czy system pozostaje wiarygodny po zmianie otaczającego świata.

Słowo zwalidowany trzeba więc uzupełnić wskazaniem twierdzenia. Zamrożony test zewnętrzny może wspierać twierdzenie o możliwości przeniesienia w określonym zakresie. Nie staje się po cichu dowodem korzyści dla toku pracy, korzyści dla pacjenta, bezpieczeństwa, efektywności ani użyteczności klinicznej. Są to inne estymandy, które wymagają innych obserwacji. To samo rozróżnienie stosowano w całym rozdziale 10: obiekt może być technicznie poprawny, podczas gdy jego tożsamość, czas, ścieżka pobierania, sposób wyświetlania, proweniencja lub piecza nad nim są niewłaściwe dla zamierzonego użycia.

Lukę wdrożeniową najlepiej rozumieć jako zbiór pytań, które oddziałują na siebie, ale nie zlewają się w jedno. Jaką rolę ma odgrywać AI? Czy właściwym porównaniem jest model względem odniesienia, osoba interpretująca bez AI względem tej osoby z AI, czy tok pracy przed integracją i po niej? Jaki próg zmienia wynik w działanie i jakie częstość występowania, obciążenie pracą oraz konsekwencje błędów otaczają to działanie? Czy osoba interpretująca potrafi zauważyć i odrzucić błędną sugestię? Co można obserwować, zanim wyniki zaczną wpływać na opiekę, a co będzie monitorowane później? Kto odpowiada za aktualizacje, incydenty, przywracanie poprzedniej wersji i decyzję o dalszym użyciu? Żadna metryka zbioru testowego nie odpowiada na cały ten łańcuch.

Od wyniku modelu do decyzji w cyklu życia

Rozdział podąża za tym łańcuchem w kolejności, w jakiej często trzeba podejmować decyzje wdrożeniowe. Najpierw ustala zamierzoną rolę, a następnie oddziela działanie modelu samodzielnego od dowodów dotyczących osoby interpretującej z AI. Na wyraźnie ograniczonym przykładzie badania z udziałem osób interpretujących pokazuje, jak zachować zakres materiału dowodowego, po czym traktuje progi jako decyzje o punkcie operacyjnym, a nie przenośne właściwości modelu. Kolejny krok dotyczy systemu człowiek–model: błąd automatyzacji, liczba alertów, odciążenie poznawcze i wyjaśnienia mogą zmieniać mierzony efekt. Ocena etapowa i w trybie cieniowym łączy następnie dowody retrospektywne z lokalnym tokiem pracy, a monitorowanie, wersjonowanie i przywracanie poprzedniej wersji utrzymują walidację otwartą po uruchomieniu produkcyjnym. Końcowe sekcje łączą ten cykl życia z przeznaczeniem, granicą między badaniami a produktem, zarządzaniem i adopcją.

Ta sekwencja jest osią rozumowania, a nie uniwersalną instrukcją wdrażania. Lokalne zarządzanie, rola kliniczna, ryzyko błędu, dostępne dane referencyjne i odwracalność zmiany określają, które oceny są właściwe i w jakiej kolejności. Trwała zasada polega na wskazaniu, czego ma nauczyć każdy etap, oraz na nieużywaniu wyniku z jednego etapu jako substytutu dowodów z innego.

Granice tego rozdziału

Dyskusja zakłada znajomość pojęć walidacyjnych z rozdziału 7, pojęć toku pracy w obrazowaniu i transportu wyników z rozdziału 10 oraz dyscypliny przechodzenia od dowodów do twierdzeń z rozdziału 9. Stosuje te idee do przejścia od wyniku modelu do systemu ludzkiego i organizacyjnego. Omówienie przejścia od badań do produktu w dalszej części rozdziału jest ilustracyjnym wprowadzeniem ograniczonym do UE, a nie listą kontrolną zgodności regulacyjnej ani poradą prawną. Nie klasyfikuje żadnego rzeczywistego produktu, a żadna transformacja DICOM nie może rozstrzygnąć klasyfikacji prawnej ani przeznaczenia.

Pierwszą decyzją wdrożeniową nie jest zatem wybór raportowanej metryki. Jest nią określenie, co system ma robić, dla kogo i w którym momencie pracy. Ta rola wyznacza potrzebny dalej materiał dowodowy.

Rozróżnienia dotyczące raportowania i oceny wykorzystane w tym rozdziale opierają się orientacyjnie na TRIPOD+AI, PROBAST+AI i CLAIM 2024. Są to przewodniki dotyczące raportowania i oceny, a nie certyfikaty korzyści klinicznej.