Studium przypadku: syntetyczne dane tabelaryczne

Generowanie nie jest imputacją

Imputacja uzupełnia brakujące pola osób już należących do kohorty. Generowanie syntetyczne tworzy nowe wiersze, których wszystkie pola powstają w modelu. Oba zadania mogą służyć innym estymandom i zawodzić na różne sposoby. Imputer można oceniać przez rekonstrukcję znanej zamaskowanej komórki; generator trzeba oceniać na podstawie tego, co zachowuje, co zniekształca, jak wiersze wykorzystuje dalszy model oraz czy odtwarza informacje, które nie powinny zostać ujawnione.

W badaniu augmentacji wiersz syntetyczny może zawierać wygenerowany wynik, aby dalszy model można było trenować na kompletnych wierszach. Jest to wybór projektowy, a nie dowód, że wygenerowany wynik jest pomiarem klinicznym. Wygenerowana tabela dziedziczy semantykę i zniekształcenia tabeli użytej do jej trenowania. Określenie „syntetyczny” opisuje sposób wytworzenia wiersza; nie jest gwarancją realizmu, użyteczności, prywatności ani trafności klinicznej.

Dwie datowane rodziny modeli

W przypadku M1-08 wykorzystano CTGAN i TabDDPM jako datowane, ilustracyjne implementacje dla tabeli klinicznej zawierającej dane różnych typów. CTGAN ujmuje generowanie jako problem kontradyktoryjny: generator proponuje wiersze, a dyskryminator odróżnia wiersze wygenerowane od rzeczywistych wierszy treningowych. Mechanizm warunkowy może podczas generowania zażądać kategorii, na przykład podgrupy. Publikacja opisująca algorytm przedstawia rozwiązania dla kolumn ciągłych i kategorialnych; konfiguracja przypadku pozostaje zastosowaniem swoistym dla projektu, a nie zaleceniem używania CTGAN dla każdej tabeli.

W tej ograniczonej konfiguracji CTGAN trenowano na treningowym zbiorze odniesienia obejmującym kompletne przypadki i zlecono mu wygenerowanie określonego niedoboru kobiet. Warunek był częścią mechanizmu generowania, więc żądana podgrupa została wbudowana w tę drogę, a nie wybrana po generowaniu. Dokładna liczba i skład danych treningowych należą do datowanego rekordu projektu.

Dyfuzja jest innym mechanizmem generowania

TabDDPM przedstawia generowanie tabelaryczne jako proces dyfuzji. Proces w przód dodaje szum do reprezentacji numerycznych i kategorialnych; wyuczony proces odwrotny odszumia dane, przechodząc od szumu do nowego wiersza. Nie jest to ta sama gra kontradyktoryjna co w CTGAN, a korzystny wynik jednej rodziny modeli nie ustanawia ogólnego rankingu między nimi.

Droga M1-08 wykorzystywała standardowy bezwarunkowy TabDDPM. Jej sposób tworzenia podgrupy różnił się zatem od drogi CTGAN: wiersze generowano bez warunku podgrupy, a następnie przeglądano w zamrożonej kolejności do chwili znalezienia wierszy z żądaną kategorią albo osiągnięcia zadeklarowanego limitu próbkowania. Jest to generowanie bezwarunkowe połączone z selekcją, a nie warunkowy TabDDPM. Rozróżnienie ma znaczenie, ponieważ selekcja zmienia uzysk i może zniekształcać skład zachowanych wierszy.

Nazwy obu modeli i ich implementacje źródłowe są szczegółami datowanymi. Stabilna lekcja polega na opisaniu mechanizmu generowania, warunkowania, selekcji i reguł filtrowania jakości na tyle dokładnie, aby czytelnik mógł ustalić, co rzeczywiście oceniono.

Generowanie warunkowe to nie generowanie z późniejszym filtrowaniem

Istnieją co najmniej dwa sposoby uzyskania większej liczby wierszy z podgrupy. Prawdziwie warunkowy generator otrzymuje warunek podgrupy jako część generowania. Generator bezwarunkowy może natomiast wytworzyć strumień wierszy i zachować pierwsze, które spełniają kryterium kategorii. Drugi sposób może być praktyczny, ale ma mierzalny uzysk, regułę zatrzymania i rozkład ukształtowany przez selekcję.

Filtrowanie jakości wygenerowanych wierszy po obejrzeniu ich w poszukiwaniu najbardziej wiarygodnych tworzyłoby kolejny etap selekcji. Jeśli celem jest ocena generatora, wybieranie wierszy na podstawie wierności sprawia, że wynik opisuje filtr, a nie generator. Protokół powinien określać, czy filtrowanie jest dozwolone, jak się je stosuje oraz czy każda metoda podlega tej samej regule.

Użyteczność ma więcej niż jedną warstwę

Użyteczność należy rozłożyć na elementy, zamiast sprowadzać do jednej liczby. W tym rozdziale jedna synteza rozdziela cztery pytania oceny, nie przedstawiając ich jako uniwersalnej taksonomii: wierność brzegowa porównuje rozkłady poszczególnych pól ciągłych i kategorialnych; zachowanie zależności porównuje relacje między polami, ponieważ zgodność każdego histogramu może współistnieć z zerwanymi asocjacjami; użyteczność w dalszym zadaniu dotyczy tego, czy model trenowany z wierszami syntetycznymi działa lepiej lub co najmniej porównywalnie na nietkniętych rzeczywistych osobach testowych niż model trenowany wyłącznie na danych rzeczywistych; ryzyko ujawnienia informacji dotyczy tego, czy proces generowania odtwarza informacje, które nie powinny zostać ujawnione. Przegląd zakresu autorstwa Kaabachi i wsp. przedstawia potrzebę wielowymiarowej oceny użyteczności i prywatności; zastosowany tutaj układ czterech części jest syntezą tego rozdziału, a nie uniwersalną taksonomią.

Ostatnie porównanie jest szczególnie ważne. Ocena dalszego modelu na wierszach syntetycznych może nagradzać generator za odtwarzanie własnych założeń. Nietknięta rzeczywista kohorta testowa odpowiada na pytanie, czy wygenerowane dane pomagają w rzeczywistym zadaniu. Porównanie musi również zapewnić modelom trenowanym wyłącznie na danych rzeczywistych i z augmentacją ten sam podział, reguły dopasowanego stanu, możliwości strojenia i głębokość raportowania.

W datowanym przypadku M1-08 rodziny te pozostały rozdzielone. Jego zagregowane pochodzenie zapisano w publicznym rekordzie projektu we wskazanym commicie; odnośnik dokumentuje pochodzenie tego ograniczonego przypadku, a nie stanowi ogólnego źródła dotyczącego prywatności, augmentacji ani trafności klinicznej. W dalszym porównaniu przeżycia użyto jednej zamrożonej rzeczywistej kohorty testowej. C-index referencyjnego modelu opartego wyłącznie na predyktorach klinicznych wynosił 0,789; przebiegi z augmentacją TabDDPM przyjmowały wartości od 0,743 do 0,817 dla zarejestrowanych seedów, przy nakładających się przedziałach i bez wykazanej poprawy. Są to ograniczone pomiary projektowe, a nie twierdzenie o augmentacji syntetycznej w ogólności.

W tym samym przypadku zachowano wyniki negatywne: żaden generator nie spełnił projektowego kryterium wierności opartego na KS, w tej konfiguracji nie wykazano warunkowego odwzorowania CTGAN, a wskaźniki ryzyka zapamiętywania były podwyższone dla TabDDPM w dwóch z trzech seedów. Raportowanie wszystkich zarejestrowanych seedów zamiast tylko najkorzystniejszego należy do granicy dowodowej.

Ryzyka nie wyprowadza się ze słowa „syntetyczne”

Generator trenowany na małej kohorcie może odtworzyć lub niemal odtworzyć wiersze treningowe. Ocena ryzyka stawia zatem inne pytania niż ocena wierności i użyteczności. Odległości do najbliższego sąsiada dla danych różnych typów mogą porównywać bliskość wierszy syntetycznych do treningowych z bliskością wydzielonych wierszy rzeczywistych do treningowych. Dokładne dopasowania i bliskie duplikaty można zliczać w ramach zadeklarowanej reprezentacji pól. Niemożliwe kombinacje, zniekształcenie podgrup i naruszenia schematu mogą ujawnić problemy strukturalne przed wykorzystaniem wiersza w dalszym zadaniu.

Są to wskaźniki ryzyka, a nie gwarancje prywatności ani odporności na formalny atak ujawniający informacje. Twierdzenie o prywatności wymaga zatem zadeklarowanego modelu zagrożeń i odpowiedniej analizy prywatności; same wskaźniki bliskości nie są gwarancjami. Wiersz może wyglądać realistycznie, nie będąc użytecznym, prywatnym ani prawidłowym klinicznie. I odwrotnie, generator unikający bliskich dopasowań może nadal tworzyć tabelę o błędnych zależnościach i małej użyteczności w dalszym zadaniu. Wierność, użyteczność i ryzyko muszą pozostać odrębnymi twierdzeniami z odrębnymi analizami.

Warstwa pomiarowa nadal rządzi tabelą

Generowanie syntetyczne nie usuwa potrzeby zdefiniowania generowanych zmiennych. Pole kliniczne jest pomiarem mającym czas, źródło, regułę kodowania i mechanizm powstawania braków. Pochodny punkt końcowy może być użyteczny w ograniczonym projekcie, nie stanowiąc natywnej semantyki źródłowego zbioru danych. Generator uczy się relacji zakodowanych w tabeli, w tym skrótów, artefaktów kodowania i błędów w tych definicjach.

Jest to tabelaryczna wersja argumentu o warstwie pomiarowej z rozdziału 5. Wiersza syntetycznego nie wolno łączyć z rzeczywistym pacjentem tak, jakby jego wygenerowany wynik był zaobserwowanym faktem. Jest to dodatkowy wynik modelu, którego zastosowanie musi określać projekt badania.

Co datowany przypadek może, a czego nie może wykazać

Przypadek M1-08 może pokazać zachowanie dwóch zadeklarowanych dróg generowania w ramach jednego schematu, jednego podziału, jednego celu augmentacji, jednej kohorty testowej dalszego zadania i skończonego zbioru seedów. Może pokazać, dlaczego generowanie warunkowe różni się od generowania z późniejszym filtrowaniem, dlaczego podobieństwo brzegowe nie wystarcza oraz dlaczego wskaźniki ryzyka należy raportować obok użyteczności.

Nie może wykazać, że dane syntetyczne są anonimowe z samej konstrukcji, że generator przeniesie się do innej kohorty ani że negatywny wynik augmentacji dotyczy każdego modelu i każdej tabeli. Nie może również zastąpić badania walidacji klinicznej. Zmierzony zakres C-index i wskaźniki ryzyka pozostają właściwościami datowanego porównania, a nie uniwersalnymi progami ani gwarancjami.

Jak czytać twierdzenie o danych syntetycznych

Samodzielną ocenę można przeprowadzić bez wierszy pacjentów i prywatnych plików projektu. Należy zidentyfikować treningowy zbiór odniesienia i wydzieloną rzeczywistą kohortę; ustalić, czy generowanie było warunkowe, bezwarunkowe, filtrowane lub poddane selekcji jakościowej; rozdzielić analizy brzegowe, zależności, dalszego zadania i ryzyka; oraz sprawdzić, czy test w dalszym zadaniu pozostał rzeczywisty i nietknięty. Następnie trzeba zapytać, które seedy, niepowodzenia, reguły zatrzymania i wyniki negatywne zaraportowano.

Ta metoda czytania przenosi centralną granicę rozdziału do szybko zmieniającego się obszaru narzędzi. Nazwy algorytmów będą się starzeć, ale estymand, granica dopasowanego stanu, test na danych rzeczywistych i zakres twierdzenia pozostaną możliwe do sprawdzenia. Następny rozdział zaczyna się tam, gdzie kończy się ten: zwalidowana procedura statystyczna nadal zależy od obrazów jako pomiarów pozyskanych, umiejscowionych i swoistych dla modalności. Temat wejścia modelu uwzględniającego pomiar podejmuje rozdział o sztucznej inteligencji w obrazowaniu medycznym.

Źródła

• Xu L, Skoularidou M, Cuesta-Infante A, Veeramachaneni K. Modeling Tabular Data using Conditional GAN. NeurIPS 2019. arXiv:1907.00503.
• Kotelnikov A, Baranchuk D, Rubachev I, Babenko A. TabDDPM: Modelling Tabular Data with Diffusion Models. ICML 2023, PMLR 202:17564-17579. arXiv:2209.15421 / PMLR.
• Kaabachi B, Despraz J, Meurers T, et al. A scoping review of privacy and utility metrics in medical synthetic data. NPJ Digital Medicine. 2025;8:60. doi:10.1038/s41746-024-01359-3, PMCID PMC11772694.