Studium przypadku: brakujące dane i imputacja

Brakująca wartość jest częścią problemu, a nie tylko pustym miejscem

Tabela kliniczna może zawierać obserwowaną osobę, dla której nie zarejestrowano jednego pola, albo całkowicie pomijać daną osobę. Są to różne źródła niepewności. Brakująca wartość histologii dotyczy pola i procesu, w wyniku którego jej nie zapisano. Nieobecna osoba dotyczy konstrukcji kohorty i selekcji. Uzupełnienie pierwszego problemu nie naprawia drugiego.

Mechanizm powstawania braków opisuje się zwykle trzema etykietami. Przy MCAR występowanie braków nie jest powiązane z wartościami obserwowanymi ani nieobserwowanymi w ramach przyjętego modelu. Przy MAR może zależeć od zmiennych, które zaobserwowano. Przy MNAR zależy częściowo od nieobserwowanej wartości lub innego nieobserwowanego procesu. Są to założenia dotyczące sposobu powstania danych, a nie etykiety, których prawdziwość może samodzielnie udowodnić zaobserwowana tabela. Zaobserwowany predyktor braków stanowi dowód przeciwko MCAR w odniesieniu do tego predyktora i jest zgodny z MAR; brak takiego predyktora nie dowodzi MCAR ani nie wyklucza MNAR.

Mechanizm i metoda imputacji są odrębnymi decyzjami. Przy odpowiednich warunkach wiążących mechanizm powstawania braków z modelem analizy analiza kompletnych przypadków może szacować określony estymand bez obciążenia, lecz samo MCAR nie jest ogólną gwarancją dla każdej analizy. Analiza kompletnych przypadków odrzuca obserwacje i zmniejsza precyzję. Imputacja średnią lub modą przypisuje jedną wartość wielu różnym osobom i może zniekształcać wariancję, kowariancję oraz niepewność, nawet gdy mechanizm powstawania braków jest niegroźny. Przy MAR zmienne obserwowane mogą wspierać warunkowy model imputacji, lecz założenie pozostaje argumentem modelowym. Przy MNAR sam model imputacji nie identyfikuje brakujących wartości; potrzebna jest analiza wrażliwości lub inny projekt zbierania danych.

Sztuczne maskowanie mierzy inną wielkość

Naturalnie brakujące komórki nie mają zaobserwowanej wartości prawdziwej, z którą można porównać wartość uzupełnioną. Ograniczone porównanie metod może zatem rozpocząć się od komórek obserwowanych, ukryć ich zadeklarowany podzbiór i porównać wartości imputowane z wartościami pierwotnymi. Ocenia to rekonstrukcję w ramach mechanizmu sztucznego maskowania. Nie dowodzi, że ta sama metoda jest poprawna dla naturalnego mechanizmu powstawania braków.

Projekt ma cztery ważne zabezpieczenia. Po pierwsze, należy osobno scharakteryzować naturalne braki, zamiast traktować je jak wartość prawdziwą. Po drugie, maskować tylko obserwowane komórki predyktorów według zadeklarowanego schematu. Po trzecie, stosować te same zamrożone maski dla każdej metody, aby wszystkie metody miały te same cele. Po czwarte, obliczać wyniki wyłącznie w zamaskowanych komórkach o znanych wartościach pierwotnych. Wyniki, pola obserwacji kontrolnej i identyfikatory nie powinny stawać się wejściami imputera tylko dlatego, że poprawiają wynik rekonstrukcji; dostępność zmiennej pomocniczej w czasie wdrożenia trzeba zadeklarować przed dopasowaniem.

Sztuczne maskowanie jest więc narzędziem oceny. Jego wynik odpowiada estymandowi porównania metod: jak kandydujące imputery zachowują się przy tych maskach, polach, regułach podziału i miarach punktacji? Nie jest oszacowaniem nieobserwowanej prawdy klinicznej dla naturalnie niekompletnych wierszy.

Drabina metod utrzymuje model odniesienia w polu widzenia

Prosty imputer oparty na medianie lub modzie jest użytecznym modelem odniesienia, gdy dopasowuje się go wyłącznie na danych treningowych. Nie oznacza to, że uzupełniona wartość jest prawdziwą wartością dla danej osoby, a zniekształcenie zmienności jest jednym z powodów rozważania pełniejszych metod. Zaawansowany imputer, który w zadeklarowanej ocenie nie poprawia wyniku względem tego modelu odniesienia, nie uzasadnił swojej złożoności.

Imputer predykcyjny modeluje jedno niekompletne pole na podstawie pozostałych dozwolonych pól. Projekt może używać osobnego modelu dla każdego pola docelowego i osobno obsługiwać cele ciągłe oraz kategorialne. Dokładny algorytm, konfiguracja i dostępność predyktorów należą do kontraktu danego projektu; nie są uniwersalnymi właściwościami imputacji.

Imputacja wielokrotna ma inny cel niż wytworzenie jednej wygodnej tabeli. W ramach równań łańcuchowych dla każdej niekompletnej zmiennej określa się model warunkowy, zmienne aktualizuje się w kolejnych przebiegach, a wiele kompletnych zbiorów danych reprezentuje niepewność brakujących wartości. Następnie analiza łączy oszacowania z tych zbiorów, uwzględniając zmienność wewnątrz imputacji i między imputacjami. Jednej kompletnej tabeli nie można nazwać pełną imputacją wielokrotną tylko dlatego, że modele warunkowe zastosowano do niej cyklicznie.

Rozróżnienie to ma znaczenie w opisanym niżej datowanym przypadku. W projekcie zastosowano udokumentowane jednotabelowe przybliżenie równań łańcuchowych, oparte na imputerze iteracyjnym i bayesowskim modelu liniowym, a nie wiele kompletnych zbiorów danych z połączonym wnioskowaniem. Nazwanie tego przybliżenia kanonicznym MICE przeceniałoby możliwości jego sposobu uwzględnienia niepewności.

Imputacja nie odtwarza wartości prawdziwej

Wartość imputowana jest wynikiem modelu uwarunkowanym przez zaobserwowane pola i założenia o brakach. Nie jest pomiarem uzyskanym z opóźnieniem. Średnia warunkowa może być rozsądną predykcją dla jednego zadania, a słabą reprezentacją osoby, której wartości brakowało z nieobserwowanego powodu. Kliniczna warstwa pomiarowa nadal ma znaczenie: przed imputacją należy określić, co reprezentuje każde pole, kiedy było dostępne, jak je zmierzono oraz czy środowisko wdrożeniowe miałoby je do dyspozycji w tym samym momencie.

Imputacja może również zmienić dalszy estymand. Model trenowany na tabeli, z której usunięto brakujące wartości, odpowiada na pytanie dotyczące kompletnych przypadków. Model trenowany po pojedynczej imputacji odpowiada na pytanie dotyczące przekształconej tabeli. Analiza z imputacją wielokrotną może przenieść niepewność imputacji do docelowego oszacowania, lecz tylko wtedy, gdy procedura imputacji i łączenia odpowiada analizie docelowej.

Podziały i dopasowane stany nadają porównaniu znaczenie

Imputer jest częścią potoku predykcyjnego. Reguła podziału i grupowania musi odpowiadać celowi. Gdy powtarzane rekordy należą do tej samej osoby lub innego skupienia, a twierdzenie dotyczy nowych osób lub skupień, podział na część rozwojową, walidacyjną i testową należy przeprowadzić na poziomie tego skupienia. Porównanie wewnątrz osoby może wykorzystywać inny projekt grupowania, ale trzeba go podać wprost, zamiast ukrywać pod określeniem „na poziomie osoby”. Każdy imputer dopasowuje się na dozwolonych danych treningowych, po czym stosuje do wierszy walidacyjnych lub testowych. Mediana obliczona w całej kohorcie albo imputer predykcyjny trenowany na wierszach testowych pozwala danym do oceny kształtować wartości podlegające ocenie.

Ta sama reguła informacyjna dotyczy generowania masek, wyboru hiperparametrów, wyboru cech i każdego późniejszego modelu przeżycia lub klasyfikacji. Wynik i identyfikatory wyklucza się z wejść imputera, chyba że estymand i moment wdrożenia jawnie zapewniają ich dostępność. Szczegóły przynależności mogą pozostać prywatne, jeśli zagregowane pochodzenie podziału i masek jest zarejestrowane wystarczająco dokładnie, by umożliwić audyt projektu.

Co zmierzono w datowanym przypadku M1-07

Przypadek M1-07 Plan B zachowano jako datowane, ograniczone porównanie metod. Jego zagregowane pochodzenie zapisano w publicznym rekordzie projektu we wskazanym commicie; odnośnik ten dokumentuje pochodzenie przypadku, a nie stanowi dowodu dla ogólnego twierdzenia klinicznego. Tabela NSCLC-Radiogenomics zawierała 144 osoby, 51 zaobserwowanych zgonów i 93 wyniki cenzurowane oraz dwa ciągłe i pięć kategorialnych pól predyktorów. Zamrożony podział na poziomie osób przypisał 101 osób do zbioru treningowego, 22 do walidacyjnego i 21 do testowego. W ocenie maskowano obserwowane komórki predyktorów na poziomie 10%, 20% i 30% zgodnie z konstrukcją MCAR oraz w jednym scenariuszu zależnym od obserwowanej zmiennej, wykorzystując zadeklarowane prawdopodobieństwa zależne od płci. Te same maski stosowano we wszystkich metodach i seedach.

Porównanie obejmowało medianę/modę, jednotabelowe przybliżenie równań łańcuchowych i imputację predykcyjną osobną dla każdej zmiennej docelowej. Rekord projektu podaje, że ukończono bez niepowodzeń 60 z 60 zaplanowanych przebiegów; w ramach zamrożonego projektu obliczano miary rekonstrukcji dla wydzielonych zamaskowanych komórek i podsumowania zachowania zależności. Liczby te ustalają, co wykonano i porównano w tym projekcie. Nie ustalają trafności klinicznej, nie dowodzą naturalnego mechanizmu powstawania braków ani nie wskazują metody najlepszej dla każdej tabeli klinicznej.

Co przypadek może, a czego nie może wykazać

Przypadek może pokazać, jak zachowywały się kandydujące metody, gdy te same znane komórki były sztucznie ukrywane przy podziale na poziomie osób i zadeklarowanym schemacie wejściowym. Może ujawnić, czy pozorna przewaga metody zależy od scenariusza maskowania, typu pola, seedu lub miary zależności. Może również uwidocznić rozróżnienie między jednotabelowym przybliżeniem a kanoniczną imputacją wielokrotną.

Nie może zmienić sztucznie zamaskowanych komórek w zweryfikowaną próbę naturalnie brakujących wartości. Nie może sprawdzić prawdziwości MAR ani MNAR wyłącznie na podstawie zaobserwowanej tabeli. Nie może zmienić imputowanego pola klinicznego w bezpośredni pomiar ani nadać dalszemu modelowi trafności klinicznej bez odrębnego projektu dotyczącego wyniku i przenoszenia.

Ważny wynik negatywny ma charakter metodologiczny, a nie retoryczny: uzupełniona tabela nie jest dowodem, że problem brakujących danych zniknął. Czytelnik powinien móc odtworzyć założenia dotyczące braków, cele masek, granicę podziału, stan imputera i dalsze zastosowanie bez otwierania wiersza pacjenta ani polegania na wewnętrznej chronologii projektu.

Przypadek ten wynika zatem bezpośrednio z sekcji rozpoczynającej od protokołu. Kolejne pytanie zmienia zadanie: co oznacza generowanie kompletnych wierszy syntetycznych zamiast uzupełniania pól istniejących osób i jak oddzielić użyteczność od ryzyka?

Źródła

• van Buuren S, Groothuis-Oudshoorn K. mice: Multivariate Imputation by Chained Equations in R. Journal of Statistical Software. 2011;45(3):1-67. doi:10.18637/jss.v045.i03.
• Austin PC, White IR, Lee DS, van Buuren S. Missing Data in Clinical Research: A Tutorial on Multiple Imputation. Canadian Journal of Cardiology. 2021;37:1322-1331. doi:10.1016/j.cjca.2020.11.010; PMC8499698.
• Prokhorenkova L, et al. CatBoost: unbiased boosting with categorical features. NeurIPS 2018. arXiv:1706.09516.