A statistical evaluation of uncertainty disentanglement methods

Abstract

Die Zerlegung prädiktiver Unsicherheit in eine aleatorische Komponente für die nicht reduzierbare Variabilität des datengenerierenden Prozesses und eine epistemische Komponente für den reduzierbaren Wissensmangel des Modells gilt im maschinellen Lernen inzwischen als Standard. Zugleich mehren sich theoretische und empirische Zweifel, ob die gebräuchlichen Formeln diese Trennung tatsächlich leisten. Die Evidenz stammt bislang fast nur aus der Klassifikation auf komplexen Benchmarkdaten, in denen sich die Unsicherheitsquellen nicht gezielt manipulieren lassen und keine Referenzgröße für epistemische Unsicherheit vorliegt. Die Arbeit untersucht die Trennung daher in kontrollierten Simulationen mit Schwerpunkt auf Regression. Vier datengenerierende Prozesse (linear und sinusförmig, jeweils homoskedastisch und heteroskedastisch) werden mit fünf gezielten Experimenten kombiniert: Variation des Rauschniveaus, Skalierung des Stichprobenumfangs, Extrapolation außerhalb des Trainingsbereichs, lokale Unterabtastung sowie das Auslassen einer relevanten Kovariablen. Das Verhalten einer idealen Zerlegung wird jeweils vorab hergeleitet und dem beobachteten gegenübergestellt. Verglichen werden MC Dropout, Deep Ensembles, ein über NUTS geschätztes bayesianisches neuronales Netz und BAMLSS, jeweils unter varianz- und entropiebasierter Zerlegung; ein Klassifikationsteil ergänzt die Analyse. Das Ergebnis ist überwiegend negativ. Wechselseitige Kontamination beider Komponenten ist die Regel, und die deutlichsten Fehlschläge treten dort auf, wo gezielt epistemische Unsicherheit erzeugt wird. Bei ausgelassener Kovariable bleibt die epistemische Schätzung nahezu unverändert, während die aleatorische Komponente den Verzerrungsterm aufnimmt: Das Modell deutet die eigene systematische Unwissenheit als inhärentes Rauschen um. Die Befunde verweisen weniger auf die Approximationsgüte der Posteriorverteilung als auf strukturelle und definitorische Grenzen der Zerlegungen selbst.