Modele bazowe i multimodalne

Na dziś · ~25 min · czytanie · energia: średnia · przygotowanie: brak

Modele bazowe, modele wizualno-językowe oraz modele obrazowania ogólnego przeznaczenia stanowią w średniej perspektywie podstawę infrastruktury segmentacyjnej i wspomaganej interpretacji. Celem jest tutaj rozeznanie i świadome czytanie publikacji, a nie implementacja: co jest rzeczywiście nowe, co pozostaje bez zmian i gdzie obecnie przebiega granica dowodów.

Punkt wyjścia: nakładające się opisy ogólności

Są to nakładające się opisy, a nie kolejne szczeble uniwersalnej skali dojrzałości. Jeden model może odpowiadać kilku opisom. Szerszy zakres nie dowodzi lepszych wyników ani większej użyteczności klinicznej. Należy ocenić konkretne zadanie, zakres treningu, adaptację, testowanie zewnętrzne, zmianę domeny, licencję i dostępność oraz występujące w danym zastosowaniu ryzyka dotyczące oparcia odpowiedzi w danych wejściowych, halucynacji i pochodzenia informacji.

• Model do konkretnego zadania: zakres zadania.
• Model wstępnie wytrenowany: historia treningu.
• Model bazowy: zakres treningu wstępnego i adaptacji.
• Model wizualno-językowy (VLM): połączenie modalności.
• Model ogólnego przeznaczenia: zamierzony zakres zadań.
• Przepływ pracy wykorzystujący narzędzia / agentowy przepływ pracy: organizacja pracy.

Pytania, które należy zadawać o każdą publikację dotyczącą tego ciągu, pozostają stałe: zakres danych uczących, które zadania wykonuje się w trybie zero-shot, a które po adaptacji, jakie przeprowadzono testowanie zewnętrzne, licencja/dostępność, okoliczności, w których model zawiódłby wskutek zmiany rozkładu danych między domenami, oraz właściwe dla danego zastosowania ryzyka dotyczące oparcia odpowiedzi w danych wejściowych, halucynacji i pochodzenia informacji.

Zweryfikowane przykłady (oznaczono status publikacji)

• TotalSegmentator (PMID 37795137, publikacja recenzowana) — działa operacyjnie już teraz; jest warstwą infrastruktury segmentacyjnej (lekcja 4).
• Merlin — wizualno-językowy model bazowy dla CT. Publikacja recenzowana: Nature 2026, doi:10.1038/s41586-026-10181-8, PMID 41781626 (VERIFIED; wcześniejszy preprint PMID 38978576, 2024). VLM 3D dla CT jamy brzusznej; zadania obejmują klasyfikację obserwacji radiologicznych w trybie zero-shot, klasyfikację fenotypów, generowanie opisów i segmentację 3D; walidacja wewnętrzna + duża walidacja zewnętrzna. Punkt odniesienia dla oceny modeli bazowych na dużą skalę.
• a2z-1 (Rajpurkar et al., arXiv:2412.12629, VERIFIED) — model ogólnego przeznaczenia dla CT jamy brzusznej i miednicy, walidacja zewnętrzna obejmująca wiele stanów chorobowych. Preprint — mocna metodyka walidacji zewnętrznej; należy wrócić do pracy po publikacji.
• OmniMRI (He et al., arXiv:2508.17524, VERIFIED) — ujednolicony wizualno-językowy model bazowy ogólnego przeznaczenia dla MRI (rekonstrukcja, segmentacja, wykrywanie, diagnostyka, generowanie opisów). Preprint (2025-08-24), MGH/Harvard.
• Paschali et al., “Foundation Models in Radiology: What, How, Why, and Why Not,” Radiology 2025;314(2):e240597, PMID 39903075 (VERIFIED) — materiał orientacyjny/przegląd, który warto przeczytać najpierw, aby poznać krajobraz i ograniczenia.
• ReCo (Tzanis & Klontzas, medRxiv 2026.07.14.26358025, VERIFIED preprint; github.com/eltzanis/ReCo) — samokonfigurujący się framework agentowy wykorzystujący serwery MCP, integrująca Orthanc + Merlin + TotalSegmentator + DosimeTron. Jest przykładem kierunku orkiestracji agentowej/MCP — na razie spekulatywnego z powodu braku mocnej walidacji klinicznej.

Cel: rozeznanie i świadome czytanie publikacji, a nie natychmiastowa implementacja. Czytając publikację o modelu bazowym, pytaj o zakres danych uczących, zadania wykonywane w trybie zero-shot i po adaptacji, testowanie zewnętrzne, licencję/dostępność oraz okoliczności, w których model zawiódłby wskutek zmiany rozkładu danych między domenami.

Co jest rzeczywiście nowe, a co nie

• Nowe — skala (jeden model, wiele zadań), transfer zero-shot do nowych obserwacji radiologicznych, powiązanie języka z obrazem (generowanie opisów, zapytania VLM) oraz orkiestracja wielu narzędzi przez agenta.
• Nienowe — zagrożenia swoiste dla dziedziny. Modele bazowe nadal podlegają zmianie rozkładu danych między domenami (rozdz. 7), zależności od rekonstrukcji (lekcja 5) oraz swoistej dla obrazowania dyscyplinie zapobiegania przeciekowi danych i prowadzenia oceny opisanej w całym rozdziale 7. Większy model nie jest zwolniony z kalibracji, testowania zewnętrznego ani rzetelnego raportowania.

Obecna granica dowodów

Większość modeli bazowych/modeli obrazowania ogólnego przeznaczenia opisują preprinty albo prace o ograniczonej walidacji zewnętrznej; dziedzina rozwija się szybciej niż proces recenzji naukowej. Twierdzenia o „modelu ogólnego przeznaczenia, który robi wszystko” traktuj jako pomoc w rozeznaniu, a nie dowód gotowości do wdrożenia. Najmocniejsze obecne przykłady (Merlin, publikacja recenzowana z dużą walidacją zewnętrzną) stanowią punkt odniesienia pokazujący, jak prowadzić ocenę na dużą skalę — czytaj je ze względu na metodykę oceny, a nie tylko efektowną listę zadań.

Zatrzymaj się i pomyśl — potem odsłoń odpowiedź

Preprint zapowiada „model bazowy ogólnego przeznaczenia do obrazowania medycznego” z dobrymi wynikami zero-shot na danych wewnętrznych i bez testu zewnętrznego. Które trzy pytania z listy kontrolnej tego rozdziału rozstrzygają o wiarygodności twierdzenia?

1. Zakres danych uczących — na jakich danych (i pochodzących od kogo) wytrenowano model i czy zbiór testowy „zero-shot” nie przecieka do tej puli danych uczących?
2. Testowanie zewnętrzne — czy przeprowadzono jakąkolwiek ocenę w niezależnym ośrodku/na niezależnym skanerze? (Tutaj: nie, więc twierdzenie opiera się wyłącznie na danych wewnętrznych — rozdz. 7.)
3. Zmiana rozkładu danych między domenami i obszar możliwych błędów — gdzie model mógłby zawieść (producent, modalność, rekonstrukcja) i czy uwzględniono zakotwiczenie w obrazie, halucynacje oraz pochodzenie informacji? Bez tego „ogólne przeznaczenie” jest aspiracją, a nie wykazaną zdolnością. Status preprintu oznacza konieczność ponownej oceny po recenzji naukowej.

Co zapamiętać

1. Są to nakładające się opisy: modele specyficzne dla zadania, wstępnie wytrenowane, bazowe, modele wizualno-językowe (VLM), modele ogólnego przeznaczenia oraz przepływy pracy wykorzystujące narzędzia lub agentowe. Szerszy zakres sam w sobie nie świadczy o lepszych wynikach klinicznych ani większej użyteczności.
2. Stałe pytania dotyczące każdej publikacji w tym ciągu: zakres danych, zero-shot a adaptacja, testowanie zewnętrzne, licencja, ograniczenia wynikające ze zmiany rozkładu danych między domenami.
3. Nowe = skala, transfer zero-shot, powiązanie języka z obrazem, orkiestracja. Nienowe = zmiana rozkładu danych między domenami, zależność od rekonstrukcji, dyscyplina zapobiegania przeciekom danych/oceny, kalibracja.
4. Większość opisują preprinty z ograniczoną walidacją zewnętrzną — czytaj je ze względu na metodykę oceny, a twierdzenia o „ogólnym przeznaczeniu” traktuj jako pomoc w rozeznaniu, nie dowód gotowości do wdrożenia.

Dalej: niezależnie od klasy modelu, jak oceniać go za pomocą więcej niż jednej metryki.