Metodologia badań — materiał referencyjny

Materiał referencyjny · Lista kontrolna czytania i projektowania badań oraz tabela zasobów. Wersje dydaktyczne znajdują się w rozdziale.

Zasoby według przeznaczenia (wybieraj według celu; łącz, gdy zakresy się pokrywają)

Zasób	Główna rola	Zakres i ograniczenia
CLAIM 2024	Wytyczne/lista kontrolna raportowania	Badania modeli AI w obrazowaniu medycznym w zakresie dokumentu; nie jest narzędziem punktowym ani narzędziem oceny ryzyka błędu systematycznego, a przeanalizowana aktualizacja z 2024 r. nie obejmuje radiomiki.
TRIPOD+AI	Wytyczne/lista kontrolna raportowania	Badania modeli predykcji klinicznej; kompletność raportowania nie oznacza niskiego ryzyka błędu systematycznego ani użyteczności klinicznej.
PROBAST+AI	Ocena jakości, ryzyka błędu systematycznego i stosowalności	Modele indywidualnej predykcji diagnostycznej/prognostycznej; nie jest standardem obliczania cech.
CLEAR	Wytyczne/lista kontrolna raportowania	Kliniczne badania radiomiczne; pozycje listy dokumentują, co zaraportowano, a nie czy ustalono jakość lub trafność.
METRICS (źródło)	Ocena/punktacja jakości metodologicznej	Metodologia radiomiki; ocena aspektów związanych z błędem systematycznym, a nie lista kontrolna raportowania ani gwarancja niskiego ryzyka błędu systematycznego lub użyteczności klinicznej.
IBSI 1/2	Standaryzacja obliczeń i definicje	Definicje przetwarzania i obliczania cech/filtrów oraz obliczenia referencyjne; nie służy do oceny ryzyka błędu systematycznego ani trafności klinicznej.
Wartości referencyjne	Referencyjne testy porównawcze obliczeń	Porównanie wyniku obliczenia z wartością referencyjną sprawdza obliczenie w ramach określonego kontraktu, a nie trafność jego zastosowania klinicznego.

CLAIM 2024, TRIPOD+AI i CLEAR dostarczają wytycznych/list kontrolnych raportowania w zakresie odpowiednich typów badań; przeanalizowana aktualizacja CLAIM z 2024 r. nie obejmuje radiomiki, dla której listą kontrolną raportowania jest tutaj CLEAR. PROBAST+AI służy do oceny jakości, ryzyka błędu systematycznego i stosowalności w odpowiednich modelach predykcyjnych, natomiast METRICS ocenia jakość metodologiczną w radiomice. IBSI 1/2 definiuje procesy obliczeniowe oraz definicje cech i filtrów, a wartości referencyjne służą do porównawczej weryfikacji obliczeń. Zasoby te uzupełniają się, lecz nie są zamiennikami, a żadna lista kontrolna ani punktacja sama w sobie nie dowodzi niskiego ryzyka błędu systematycznego, trafności naukowej, odtwarzalności ani użyteczności klinicznej. Wszystkie odnośniki znajdują się w zestawieniu standardów i materiałów referencyjnych.

Lista kontrolna czytania i projektowania badań

W odniesieniu do każdego punktu zapytaj: czy w badaniu to zrobiono, zrobiono dobrze i zaraportowano?

Pytanie i projekt — precyzyjne pytanie kliniczne; predykcja a diagnoza a rokowanie a segmentacja; badanie retrospektywne a prospektywne; dobór kohorty / kryteria włączenia i wyłączenia (błąd spektrum).

Jednostka i standard referencyjny — jednostka analizy (pacjent/zmiana/przekrój/skan); standard referencyjny i jego niezależność od danych wejściowych; pomiary powtarzane grupowane według pacjenta; błąd weryfikacji.

Próba i podziały — wielkość próby / liczba zdarzeń na zmienną; przeciek danych (pacjent/przekrój, przetwarzanie wstępne, wybór cech, hiperparametry, segmentacja); imputacja brakujących danych wewnątrz CV.

Terminologia testowania — wewnętrzne / czasowe / zewnętrzne (precyzyjnie); „walidacja” jest niejednoznaczna.

Jakość działania, bez upiększeń — zdolność dyskryminacyjna; kalibracja; użyteczność kliniczna / analiza krzywej decyzyjnej; niepewność / przedziały ufności; analiza podgrup określona z góry a analiza post hoc.

Przypadki szczególne — analiza przeżycia/cenzurowanie (założenia modelu Coxa, C-index, kalibracja, wartość przyrostowa ponad model bazowy); wielokrotne testowanie; odtwarzalność/otwarta nauka (czy zaraportowano binWidth/spacing/interpolation/preprocessing/model/code?).

Twierdzenia — czy twierdzenia wykraczają poza materiał dowodowy? „biomarker” a „cecha”; „możliwy do uogólnienia” a „przetestowany wewnętrznie w jednym ośrodku”; „użyteczny klinicznie” a „wysokie AUROC”.

Słownictwo sygnalizujące zbyt daleko idące twierdzenia

• „Biomarker” → niezwalidowana cecha.
• „Możliwy do uogólnienia” → sprawdź rodzaj testowania oraz zamrożony model a model ponownie wytrenowany.
• „Użyteczny klinicznie” → wymaga kalibracji + wpływu na decyzje.
• „Poddany walidacji” / „walidacja zewnętrzna” → sprawdź rodzaj testowania, zamrożone wagi, zamrożony próg.

Co zwykle idzie nie tak (w czytanych artykułach)

• Brak testu zewnętrznego; twierdzenie o „możliwości uogólniania” na podstawie danych z jednego ośrodka.
• Wybór cech / przetwarzanie wstępne dopasowane do kohorty poza CV (optymizm).
• Zaraportowane AUROC; brak kalibracji i wpływu na decyzje.
• „Biomarker” jako określenie niezwalidowanej cechy; brak raportowania binWidth/spacing (radiomika).
• Analizy podgrup o niewystarczającej mocy albo post hoc.
• Stosowanie CLAIM jako listy kontrolnej radiomiki (nie obejmuje radiomiki — stosuj CLEAR).

Powiązanie z TRACE-CT

Protokół eksperymentu w TRACE-CT ustala podział na poziomie pacjentów, zabrania etapów dopasowywanych do kohorty poza pętlą CV i rejestruje zmienne rekonstrukcji — to konkretny przykład projektu chroniącego przed przeciekiem danych; konkretne artefakty inwentaryzuje mapa nauki TRACE-CT. Wykorzystuj go jako przykład przeanalizowany krok po kroku podczas czytania artykułu, w którym takiego przykładu brakuje.

Materiał pogłębiony

• Ramy: CLAIM 2024, TRIPOD+AI, PROBAST+AI, CLEAR (+ CLEAR-E3 / METRICS), IBSI 1/2 — wszystkie w zestawieniu standardów i materiałów referencyjnych.
• Analizuj po jednym artykule z mapy literatury, korzystając z powyższej perspektywy.
• Projektowanie procesu adnotacji: projektując badanie z udziałem oceniających albo kampanię adnotacyjną, potok projektu — specyfikacja, wybór oceniających, zaślepienie, niezależne odczyty, zadeklarowana reguła rozstrzygania/konsensusu, pochodzenie — oraz zaraportowany wskaźnik rozbieżności są częścią definicji standardu referencyjnego, a nie metadanymi projektu. Oceniaj je w artykułach tak samo, niezależnie od tego, czy je opisują, czy pomijają.

Co należy zapamiętać (podsumowanie rozdziału)

1. Czytaj/projektuj w kolejności: pytanie → projekt → kohorta → jednostka → standard referencyjny → podziały → przeciek danych → rodzaj testowania → zdolność dyskryminacyjna → kalibracja → użyteczność → niepewność → twierdzenia.
2. Precyzyjnie posługuj się terminami testowanie wewnętrzne/zewnętrzne; „walidacja” jest niejednoznaczna.
3. Dobieraj ramy do rodzaju badania: TRIPOD+AI/PROBAST+AI (predykcja), CLAIM 2024 (model AI w obrazowaniu), CLEAR (radiomika — nie CLAIM), IBSI (obliczenia).
4. Odtwarzalność zależy od zaraportowania binWidth/spacing/preprocessing; brak tych informacji to sygnał ostrzegawczy. Wysoka zdolność dyskryminacyjna ≠ użyteczny model ≠ biomarker.