Forschende ohne Ausbildung in mathematischen Disziplinen sind in der Regel wenig vertraut mit der Bedeutung von Zufall (Randomness) und Unsicherheit (Uncertainty). Diese beiden Phänomene nehmen in jeder Forschung und Analyse eine zentrale Stellung ein. Zufall, Unsicherheit und Kausalität (Ursache-Wirkungs-Beziehungen) zu verstehen, ist entscheidend für alle, die Ereignisse in einem System (z. B. dem menschlichen Körper) verstehen wollen.
Ein deterministisches System ist ein System, in dem sich Prozesse mit hoher Präzision vorhersagen lassen. Das System kann biologischer, physikalischer, ökonomischer oder chemischer Natur sein. Viele Prozesse, die wir auf den ersten Blick als zufällig wahrnehmen, sind tatsächlich deterministisch. Das Werfen eines Würfels ist ein solches Beispiel. Es ist möglich, mit hoher Präzision vorherzusagen, welche Zahl der Würfel zeigt, wenn man Informationen über Bewegungsrichtung und Geschwindigkeit des Würfels im Moment des Wurfs hat. Um Daten analysieren und Ereignisse in einem System verstehen zu können, müssen wir wissen, welche Mechanismen das System beeinflussen.
All models are wrong. Some are useful.
John Tukey
Dieses Problem ist in der medizinischen Forschung offensichtlich. Wer klinische Vorhersagemodelle prüft, weiß, dass selbst die fortschrittlichsten Modelle große Schwächen haben und bei einem beträchtlichen Anteil der Patientinnen und Patienten Krankheitsfälle nicht erkennen. Ein Beispiel, an dem dies deutlich wird, ist die Vorhersage des Herzstillstands. Derzeit gibt es kein Vorhersagemodell, das mit hoher Präzision vorhersagen kann, ob man in Zukunft einen Herzstillstand erleiden wird. Der Grund dafür ist, dass biologische Prozesse stochastisch sind, d. h., es gibt einen Zufallsprozess, der das System beeinflusst. Im Beispiel der Vorhersage des Herzstillstands kann eine Person einige Zeit nach Anwendung des Vorhersagemodells an Diabetes, Bluthochdruck und einem Herzinfarkt erkranken; dann gilt die getroffene Vorhersage nicht mehr (die Person hat nun ein höheres Risiko für einen Herzstillstand). Ein weiteres Beispiel ist die Gerinnungsfähigkeit des Blutes, die je nach inneren (z. B. Stress) und äußeren (z. B. Abgase) Umständen von einer Minute zur nächsten variieren kann. Biologische Systeme sind äußerst komplex und schwer vorherzusagen, mit Ausnahme monogener Erkrankungen (d. h. Erkrankungen, bei denen das Vorliegen einer Mutation in der Regel zur Krankheitsentstehung führt).
Die meisten verwendeten Vorhersagemodelle berechnen die Unsicherheit des Modells. Die Unsicherheit wird üblicherweise als Error (Epsilon, ε) bezeichnet, der quantifiziert, wie groß die Differenz zwischen vorhergesagten und beobachteten Werten ist.
Es gibt viele Gründe dafür, dass Vorhersagemodelle unsicher sind, zum Beispiel:
- Biologische Systeme sind komplex, mit inneren und äußeren stochastischen Elementen.
- Unsicherheit in den Daten (Messfehler, fehlende Daten [Missing Data] usw.).
- Das Modell ist suboptimal.
Error, Bias und Varianz (Variance)
Der Error ist somit der Vorhersagefehler des Modells, also die Differenz zwischen dem vom Modell vorhergesagten Wert und dem tatsächlichen (beobachteten) Wert. Ein gutes Modell erzeugt einen kleinen Error und vice versa. Ein Teil des Errors lässt sich nicht reduzieren, nämlich der Teil, der durch fehlende Variablen und Daten erklärt wird. Der reduzierbare Teil des Errors lässt sich in Bias und Varianz (engl. Variance) unterteilen.
Ein gutes Modell lernt den Zusammenhang in den Trainingsdaten (die das Modell während des Trainings „gesehen“ hat) und sagt in den Testdaten (die das Modell während des Trainings nicht „gesehen“ hat) mit hoher Präzision vorher. Hoher Bias ist oft die Folge davon, dass das Modell zu simpel ist und die Zusammenhänge in den Daten nicht erfasst. Das führt zu Underfitting, d. h., das Modell kann weder in den Trainingsdaten noch in den Testdaten gut vorhersagen. Manche Modelltypen sind äußerst flexibel (insbesondere Machine Learning) und können sehr komplex werden, sodass sie in den Trainingsdaten perfekt vorhersagen (niedriger Bias). Leider sagen diese Modelle in den Testdaten schlechter vorher, was bedeutet, dass die Varianz hoch ist (Overfitting).
Das Gleichgewicht zwischen Bias und Varianz ist ein grundlegendes Problem. Modelle mit niedrigem Bias (d. h. Modelle, die die Trainingsdaten gut lernen) lassen sich schwerer auf Testdaten generalisieren und weisen daher eine hohe Varianz auf. Wer mit Vorhersagemodellen gearbeitet hat, weiß, dass Maßnahmen, die den Bias verringern, häufig zu einer erhöhten Varianz führen.
Bias und Varianz werden ausbalanciert, indem die Parameter des Modells mithilfe von Resampling (z. B. Kreuzvalidierung ) geschätzt werden.