Warstwa pomiarowa

Poprzednia sekcja opisała, jak cecha zależy od swoich bezpośrednich danych wejściowych. Szersze pytanie dotyczy miejsca tych danych między pacjentem a twierdzeniem klinicznym. Użyteczny łańcuch ma postać biological reality -> acquisition -> reconstruction -> region/segmentation -> geometry/preprocessing -> feature implementation -> measurement -> inference -> model -> claim or decision.

Każda strzałka oznacza przekształcenie albo etap interpretacji, a nie obietnicę, że następne ogniwo zachowa znaczenie poprzedniego. Rekonstrukcja może zmienić teksturę obrazu. Segmentacja może zmienić tkankę uwzględnioną w obliczeniu. Zmiana próbkowania i dyskretyzacja mogą zmienić relacje przestrzenne oraz relacje między intensywnościami. Implementacja przekształca tak przygotowane dane w zdefiniowaną liczbę. Liczba jest zatem artefaktem pomiarowym zadeklarowanego procesu, a nie wartością należącą do guza niezależnie od sposobu jego obserwacji.

Dlaczego granica warstwy ma znaczenie

Wynik modelu nie może naprawić nieokreślonej albo nieodpowiedniej warstwy pomiarowej. Jeśli wartości cech kodują rekonstrukcję, ośrodek, skaner, styl segmentacji albo przetwarzanie wstępne, model na dalszym etapie może nauczyć się tych sygnałów. Mogą one być systematyczne i silnie związane z wynikiem w jednym zbiorze danych, nawet jeśli nie reprezentują mechanizmu biologicznego, który badanie ma mierzyć. Wysokie AUROC albo C-index mogą zatem współistnieć z niską poprawnością pomiaru i słabym działaniem po zmianie składu danych wejściowych.

Możliwe skróty są konkretne. Ostra i gładka rekonstrukcja mogą wytwarzać różne wzorce tekstury. Ośrodek może być związany zarówno z protokołem skanera, jak i ze składem populacji pacjentów. Obrys ręczny i wygenerowany przez model mogą obejmować inne woksele graniczne. Druga zmiana próbkowania albo inna reguła podziału na przedziały mogą zmienić wartości przed ekstrakcją. Dwie wersje oprogramowania mogą udostępniać tę samą etykietę cechy, a jednocześnie stosować inne wartości domyślne lub konwencje agregacji. Żadnej z tych możliwości nie da się rozpoznać wyłącznie na podstawie końcowego wyniku.

Istotnym zastrzeżeniem jest to, że sygnał skanera albo ośrodka nie musi być automatycznie niebiologiczny. Ośrodek może kodować rzeczywistą różnicę populacyjną, ścieżkę opieki albo techniczne zakłócenie, a wyjaśnienia te mogą współistnieć. Pytanie pomiarowe brzmi, czy zamierzony estymand został wystarczająco dobrze wyodrębniony, aby twierdzenie nie opierało się po cichu na niekontrolowanej zmiennej zastępczej.

Poprawnie nazwij niepowodzenie

Trzech terminów często używa się tak, jakby opisywały ten sam problem. Tak nie jest. Rozróżnienie ma znaczenie, ponieważ sposoby naprawy są różne:

Sposób niepowodzenia	Co się wydarzyło	Typowa konsekwencja	Główna odpowiedź
Przeciek danych	Informacje niedostępne podczas ewaluacji dostały się do treningu lub wyboru modelu	Raportowana ewaluacja jest optymistyczna, ponieważ naruszono granicę odłożonych danych	Utrzymuj dopasowywane i wybierane etapy wewnątrz pętli walidacyjnej i zapobiegaj nakładaniu się osób
Zakłócenie lub uczenie się na skróty	Zmienna zakłócająca, która prawidłowo znajduje się w danych wejściowych, jest związana z wynikiem i używana jako zmienna zastępcza	Model może przewidywać w badaniu, opierając się na sygnale innym niż zamierzona biologia	Popraw plan badania, stratyfikację, charakterystykę pomiaru, korektę i testowanie zewnętrzne
Zmiana domeny	Rozkład danych wejściowych albo relacja istotna dla wdrożenia różni się od warunków opracowywania modelu	Skrót lub kalibracja wyuczone w jednym środowisku mogą nie przenieść się do innego	Testuj istotne zmiany i charakteryzuj przenoszalność, deklarując adaptację, jeśli ją zastosowano

Dopasowanie przekształcenia na całym zbiorze danych przed walidacją krzyżową jest przeciekiem, gdy dane odłożone wpływają na dopasowany stan albo wybór. Natomiast odcisk kernela obecny już w każdej wartości cechy nie jest przeciekiem tylko dlatego, że model go wykorzystuje. Jeśli odcisk ten koreluje z nasileniem choroby, jest potencjalnym skrótem lub czynnikiem zakłócającym: jego rolę przyczynową i przenoszalność trzeba zbadać, a nie wywnioskować z samej korelacji. Jeśli skład skanerów później się zmieni, ten sam problem ujawni się jako zmiana domeny. Etykiety wskazują różne miejsca niepowodzenia; nie należy stosować ich zamiennie jako ogólnych ostrzeżeń.

Cztery pytania rozdzielane przez łańcuch

Łańcuch rozdziela cztery pytania, które często kompresuje się do jednej miary działania. Po pierwsze, poprawność i stabilność pomiaru: czy liczba reprezentuje zamierzony cel i jak bardzo zmienia się, gdy cel albo akwizycja mają pozostać niezmienione? Po drugie, zależność: czy liczba jest związana z inną zmienną w badaniu? Po trzecie, predykcja: czy model wykorzystujący tę liczbę dyskryminuje lub jest skalibrowany dla określonego zadania? Po czwarte, użyteczność: czy wykorzystanie wyniku poprawia decyzję albo wynik kliniczny? Cecha może być związana z punktem końcowym, nie będąc stabilnym pomiarem zamierzonej biologii. Model może przewidywać dzięki skrótowi, nie ustalając biologii. Poprawna predykcja może nadal nie mieć użytecznej konsekwencji decyzyjnej.

Analiza zgodności i odporności dotyczy warstwy pomiarowej. Zależność statystyczna i miary predykcyjne odnoszą się do późniejszych pytań. Badania z udziałem czytelników obrazów mogą oceniać skuteczność diagnostyczną oraz niektóre aspekty zastosowania klinicznego, natomiast analizy decyzji lub wpływu dostarczają silniejszych dowodów dotyczących konsekwencji dla decyzji albo wyników klinicznych. Rozdzielenie pytań zapobiega przedstawianiu wyniku z jednej warstwy jako dowodu na wniosek dotyczący innej.

Ograniczone zastosowanie dotyczące wyłącznie pomiaru

Logika staje się namacalna w badaniu test-retest albo badaniu odporności na rekonstrukcję. Należy wykorzystać sparowane skany tych samych osób, utrzymać region, geometrię, przetwarzanie wstępne i implementację cechy bez zmian, a celowo zmieniać oś rekonstrukcji. Następnie trzeba obliczyć zgodność i jej niepewność oraz opisać, co się zmieniło. Nie należy dodawać do tego samego eksperymentu punktu końcowego dotyczącego przeżycia, etapu harmonizacji ani twierdzenia o wyborze cech, chyba że są to odrębne, uprzednio określone pytania.

Wartość dydaktyczna takiego planu wynika z rozdzielenia eksperymentalnego: słaba powtarzalność nie oznacza nieudanego badania, jeśli pytanie dotyczy tego, czy pomiar przetrwa zadeklarowane zaburzenie. Jest dowodem dotyczącym warstwy pomiarowej i informuje późniejsze badanie modelowe, czego nie można bezpiecznie traktować jako stabilne. Czytelnik może zrozumieć ten plan bez dostępu do plików projektu, skrótów kryptograficznych ani chronologii; dokładna tożsamość projektu i proweniencja należą do materiałów towarzyszących, a nie do warunków wstępnych zrozumienia argumentu.

Następna sekcja włącza implementację do tego kontraktu. Nazwa cechy jest użytecznym identyfikatorem, ale nie stanowi jeszcze definicji operacyjnej.

Źródła

• Zwanenburg A, Vallières M, Abdalah MA, et al. The Image Biomarker Standardisation Initiative. Radiology. 2020;295(2):328-338. doi:10.1148/radiol.2020191145, PMID 32154773.
• Kocak B, et al. CLEAR radiomics reporting checklist. Insights into Imaging. 2023;14:75. PMID 37142815, doi:10.1186/s13244-023-01415-8.
• Quantitative Imaging Biomarkers Alliance (QIBA), RSNA — oficjalne informacje QIBA.
• Collins GS, Moons KGM, Dhiman P, et al. TRIPOD+AI statement. BMJ. 2024;385:e078378. doi:10.1136/bmj-2023-078378.
• Bernett J, et al. Guiding questions to avoid data leakage in biological machine learning applications. Nature Methods. 2024;21:1444-1453. doi:10.1038/s41592-024-02362-y.