Strategien zur Erstellung von Prädiktionsmodellen

Strategien zur Entwicklung statistischer Modelle für Prädiktion, Effektschätzung und Hypothesentests

Dieses Kapitel stellt Strategien und Methoden zur Entwicklung eines Prädiktionsmodells vor. Unter einem Prädiktionsmodell verstehen wir alle Methoden, deren Ziel es ist, Zusammenhänge zwischen mehreren Variablen zu beleuchten, um eine Vorhersage zu treffen. Außerdem besprechen wir Strategien, um mithilfe statistischer Modelle Effekte (meist Assoziationen) zu schätzen und Hypothesen zu testen.

Wahl des Prädiktionsmodells

Es gibt eine große Zahl mehr oder weniger fortgeschrittener Modelle, um Zusammenhänge zwischen Variablen zu untersuchen. Die klassische Statistik wird von Regressionsmodellen dominiert (beispielsweise lineare Regression, logistische Regression, Cox-Regression usw.). Diese sind für strukturierte Daten (Daten mit Werten in tabellarischer Form $$\ast engl\ast \mathrm{.}\ast tabulardata,structureddata\ast$$engl. tabular data, structured data) häufig völlig ausreichend. In den letzten Jahren hat sich Machine Learning hinsichtlich der prädiktiven Leistung der klassischen Regressionsanalyse als überlegen erwiesen. Im Gegenzug bietet Machine Learning nicht die leicht interpretierbaren Parameter, die eine Regressionsanalyse liefert (z. B. Odds Ratio, Hazard Ratio, Koeffizienten usw.). Bei der Analyse unstrukturierter Daten (Fotografien, Bilder, Videos) dominieren Machine Learning und Deep Learning. Drei wichtige Grundprinzipien sind zu beachten:

1. Welches Modell für Ihre Daten am besten ist, bleibt unbekannt, bis ein formaler Vergleich verschiedener Modelle durchgeführt wurde (siehe Modelle vergleichen und auswählen).
2. Man sollte das beste einfachste Modell wählen, es sei denn, das Ziel ist maximale prädiktive Leistung; dann muss man unabhängig von der Komplexität das beste Modell wählen.
3. Ist das Ziel die Schätzung der Stärke von Zusammenhängen (statt Prädiktion), sind einfache Modelle mit leicht interpretierbaren Parametern vorzuziehen (beispielsweise Regressionsanalysen).

Definition der Zielgröße (Y)

Die Zielgröße sollte stets sinnvoll und für die Forschungsfrage relevant sein. Meist ist die Zielgröße leicht zu definieren, es gibt jedoch Situationen, in denen das knifflig ist. Die Wahl der Zielgröße beeinflusst mehrere Aspekte einer Studie. Einer davon ist der Umfang der Studienpopulation. Im Allgemeinen ist eine kleinere Studienpopulation erforderlich (um Unterschiede zwischen Gruppen nachzuweisen), wenn die Zielgröße stetig ist (beispielsweise Körpergewicht, Einkommen usw.). Das ist attraktiv, wenn die Studie eine Datenerhebung erfordert, die kostspielig ist. In Untersuchungen, in denen die Zeit bis zu einem Ereignis gemessen wird (beispielsweise die Zeit bis zu einem Herzinfarkt oder bis ein Hauskredit getilgt ist), sind in der Regel größere Studienpopulationen nötig, um Unterschiede zu entdecken. Das gilt nur mit Einschränkungen, soll aber verdeutlichen, dass die Zielgröße den Umfang der Studienpopulation beeinflussen kann.

Eine weitere häufig aufkommende Frage ist, ob stetige Zielgrößen kategorisiert werden sollen oder nicht. Es kann verlockend sein, stetige Variablen zu kategorisieren, weil dies oft zu stärkeren Assoziationen führt. Vergleichen Sie beispielsweise, wie stark das Herzinfarktrisiko steigt, wenn eine Person 1 kg an Körpergewicht zunimmt, mit dem Fall, dass die Person von Normalgewicht zu Übergewicht wechselt: Der letztgenannte Vergleich ergibt stärkere Assoziationen, weshalb Forschende dazu neigen, sowohl stetige Prädiktoren als auch stetige Zielgrößen zu kategorisieren. Natürlich kann es gute Gründe geben, stetige Variablen zu kategorisieren, doch zahlreiche Experten raten dringend davon ab, weil man dabei bewusst Information verwirft (eine stetige Variable ist informativer als ihre kategorisierte Variante). Unabhängig von der Situation sollte die Zielgröße stets sinnvoll sein und die Forschungsfrage beleuchten.

Variablenselektion

Variablenselektion bedeutet, dass man festlegt, welche Variablen in das Modell aufgenommen werden. Ein Modell sollte ausreichend viele Variablen enthalten, aber nicht mehr. Überflüssige Variablen können Rauschen einbringen, das die Präzision des Modells verringert. In vielen Zusammenhängen ist unbekannt, welche Variablen überflüssig sind; dann müssen alle aufgenommen werden, um die überflüssigen Variablen zu identifizieren und auszuschließen. Methoden der Variablenselektion werden im Kapitel Variablenselektion behandelt.

Modellspezifikation

Bei manchen Modellen ist es notwendig, die Struktur des Modells zu spezifizieren. Das häufigste Beispiel sind Regressionsanalysen, die eine manuelle Spezifikation des Modells erfordern. Im Folgenden erstellen wir eine lineare Regression, in der wir den BMI anhand von vier Prädiktoren vorhersagen.

lm(bmi ~ age + sex + income + education, data=my_data)

Dies ist ein Modell ohne Interaktionen, und alle Prädiktoren werden linear modelliert. Mit der Funktion rcs() können wir eine Variable nichtlinear (flexibler) modellieren lassen, und mit dem Multiplikationszeichen (*) erzeugen wir Interaktionen zwischen Variablen. Wir erlauben der Variablen age, im Zusammenhang mit dem BMI maximal 4 Variationen aufzuweisen, indem wir rcs(age, 4) schreiben:

lm(bmi ~ rcs(age, 4) + sex + income*education, data=my_data)

Dies ist ein anderes Modell, obwohl Zielgröße und Prädiktoren dieselben sind. Sie erkennen schnell, dass sich weitere Interaktionen und nichtlineare Zusammenhänge einführen lassen; es gibt also eine sehr große Zahl von Modellen, die man ausprobieren kann.

Dies ist einer der Gründe, warum Machine Learning attraktiv ist, denn diese Modelle erfordern keine Spezifikation in der oben beschriebenen Weise.

Wahl der Analysemethode: Hypothesentest, Regressionsanalyse oder Machine Learning

Angenommen, wir untersuchen den Zusammenhang zwischen Alkoholkonsum und Krebs. Dazu verfügen wir über eine Studienpopulation mit 500 Krebsfällen und 500 Personen ohne Krebs. Für diese 1000 Personen liegen Informationen zu etwa 50 Variablen vor, die ihre Gesundheit, Lebensgewohnheiten usw. vor einer etwaigen Krebsdiagnose charakterisieren. Eine dieser Variablen ist der Alkoholkonsum, eine stetige Variable (Anzahl der Gläser, die die Person pro Monat trinkt). Die Forschungsfrage lautet: Gibt es einen Zusammenhang zwischen Alkoholkonsum und Kolonkarzinom?

Auch wenn es verschiedene Methoden gibt, die Frage zu beantworten, sollte man stets von einer Hypothese ausgehen. Statistische Modelle, die P-Werte, Koeffizienten und Konfidenzintervalle liefern, gehen immer von einer Nullhypothese ($H_0$) aus, die besagt, dass es keinen Unterschied im Alkoholkonsum zwischen den Gruppen gibt.

$H_0: μ_1 = μ_2$

$μ_1 =$ Alkoholkonsum bei den Krebsfällen

$μ_2 =$ Alkoholkonsum bei den Kontrollen

Die Nullhypothese lässt sich mit einer der folgenden Alternativen untersuchen:

1. Ein statistischer Test: Ist der Alkoholkonsum eine stetige, normalverteilte Variable, kann ein t-Test klären, ob der Konsum in beiden Gruppen gleich ist. Ein t-Test liefert uns einen P-Wert (eine Wahrscheinlichkeit) dafür, dass die Nullhypothese korrekt ist. Ist der P-Wert sehr klein (<0,05), verwerfen wir die Nullhypothese und nehmen stattdessen an, dass ein Unterschied zwischen den Gruppen besteht. Statistische Tests sind meist einfach und beruhen auf wenigen Annahmen.
2. Regression: Ein Regressionsmodell bietet größere Möglichkeiten, die Assoziation zwischen Alkoholkonsum und Krebs zu beschreiben. Ist die Zielgröße (Y) Krebs (ja/nein), kann beispielsweise eine logistische Regression klären, ob Alkohol ein statistisch signifikanter Prädiktor für Krebs ist. Zusätzlich zum P-Wert erhalten wir Koeffizienten (die Richtung, Form und Stärke der Assoziation beschreiben) sowie ein Konfidenzintervall (das beschreibt, wo die wahre Assoziation mit einer gewissen Sicherheit liegt). Ein Regressionsmodell ermöglicht es außerdem, das Krebsrisiko für neue Personen in der Zukunft vorherzusagen.

Unabhängig davon, welche Methode wir wählen, wird das Ergebnis, bezogen auf die Forschungsfrage, dasselbe sein. Der t-Test ist äquivalent zu einer linearen Regression mit einem Prädiktor. Dieselbe Analogie gilt für mehrere andere Hypothesentests und Regressionsmodelle; sie sind eng miteinander verwandt.

Man sollte stets Einfachheit anstreben, ohne dabei wertvolle Information zu verlieren. Bei der Wahl zwischen einfachen Tests und Regressionsmodellen ist daher eine sorgfältige Abwägung nötig. Statistische Tests sind einfach und beruhen auf wenigen Annahmen, liefern aber begrenzte Information. Regressionsmodelle sind komplizierter, beruhen auf mehr Annahmen und erfordern einen größeren Arbeitsaufwand. Im Gegenzug liefert die Regressionsanalyse mehr Information und die Möglichkeit, Prädiktionen (Vorhersagen) zu erstellen.

Regressionsmodelle lassen sich also zum Testen von Hypothesen verwenden, und in dieser Hinsicht bestehen viele Ähnlichkeiten mit gewöhnlichen statistischen Tests. Das bedeutet auch, dass mehrere Fallstricke, die bei statistischen Tests auftreten, auch bei der Regressionsanalyse beachtet werden müssen. So wie man davon abrät, auf der Jagd nach statistischer Signifikanz zu viele Nullhypothesen zu testen, sollte man auch in einem Prädiktionsmodell nicht zu viele Prädiktoren testen (wenn das Ziel die Identifikation von Assoziationen ist).

Der Stichprobenumfang (sample size) ist sowohl für statistische Tests als auch für Regressionsmodelle von Bedeutung. Die Anforderungen an den Stichprobenumfang sind für statistische Tests (z. B. t-Test) und Regressionsmodelle (z. B. lineare Regression) gleich hoch.

Regressionsanalyse für Prädiktion oder Effektschätzung

Oben wurde die Regressionsanalyse zum Testen einer Nullhypothese besprochen. Hier geht es um die Verwendung der Regressionsanalyse, um Prädiktionsmodelle zu erstellen oder den Effekt (die Stärke der Assoziation) eines Prädiktors ($X$) auf eine Zielgröße ($Y$) zu schätzen. Beachten Sie, dass der Begriff Effekt eigentlich irreführend ist, da er kausal klingt, klassische Regressionsmodelle jedoch keine kausalen Analysen sind (siehe Kausale Inferenz). Dennoch wird häufig die Bezeichnung Effektschätzung verwendet.

Effektschätzung: Den Effekt (die Assoziation) eines oder mehrerer Prädiktoren schätzen

Eine Effektschätzung wird vorgenommen, wenn ein oder mehrere Prädiktoren ($X$) von besonderem Interesse sind, um den Zusammenhang zwischen dem Prädiktor bzw. den Prädiktoren und der Zielgröße ($Y$) zu charakterisieren. Es ist möglich, ein Regressionsmodell zu erstellen, das nur die Zielgröße ($Y$) und den Prädiktor ($X$) enthält. Meist nimmt man jedoch weitere Kovariaten auf, um für diese zu adjustieren. Die Adjustierung für Kovariaten verringert Confounding.

Variablenselektion (Wahl der Kovariaten) und Modellspezifikation sollten von einem Experten auf dem Fachgebiet vorgenommen werden. So lässt sich sicherstellen, dass das Modell die Kovariaten enthält, die nötig sind, um den Effekt des interessierenden Prädiktors so gut wie möglich zu quantifizieren. Modelle zur Effektschätzung können somit auf Grundlage von subject matter knowledge (Harrell) spezifiziert werden. Es ist kein komplizierter Algorithmus erforderlich, um Variablen zu selektieren oder das Modell zu spezifizieren.

Die folgende Abbildung zeigt, welche Schritte zur Effektschätzung gehören.

graph LR;
Datainsamling("Datenerhebung") --> Y("Prädiktoren (X)<br> und Zielgröße (Y) definieren") --> M("Modell wählen und spezifizieren<br> z. B. logistische Regression") --> Analysera("Analysieren") --> Rapportera("Berichten")

Prädiktion: $Y$ vorhersagen

In der oben beschriebenen fiktiven Krebsstudie lagen Informationen zu etwa 50 Variablen vor. Wahrscheinlich lassen sich mehrere, aber nicht alle davon nutzen, um das Krebsrisiko vorherzusagen. Ist das Ziel, vorherzusagen, wer an Krebs erkranken wird, dann ist Prädiktion der Zweck des Regressionsmodells. Modelle, die für Prädiktionen verwendet werden sollen, erfordern mehr Sorgfalt als Modelle, die für die Effektschätzung gedacht sind. Die folgende Abbildung veranschaulicht die Schritte, die zu diesen Modellen gehören.

graph TD;
Datainsamling("Datenerhebung") --> Y("Prädiktoren (X)<br> und Zielgröße (Y) definieren") -->
M(Kandidatenmodelle für den Vergleich wählen) & R("Festlegen, wie die Modelle verglichen werden") --> X("Für jedes Modell festlegen, ob/wie Prädiktoren transformiert oder selektiert werden") --> C(Modelle vergleichen) --> Eval(Endergebnis evaluieren) --> Pars("Prüfen, ob ein Parsimonious Model gleich gut ist") --> Rapportera("Berichten")

Die meisten Prädiktionsmodelle sollen von vielen Anwendern genutzt werden; daher sollte das Modell zuverlässig sein, eine hohe Präzision aufweisen und zudem sparsam (engl. parsimonious) hinsichtlich der Anzahl der Prädiktoren im Modell sein. Je mehr Prädiktoren (und je schwerer zugänglich diese sind), desto weniger nützlich ist das Modell.

Dasselbe Regressionsmodell lässt sich sowohl für Prädiktion als auch für Effektschätzung verwenden. Ein Regressionsmodell schätzt stets den Effekt der Prädiktoren (β, die Koeffizienten), und ebenso kann man mit einem fertigen Modell stets Vorhersagen treffen (auch wenn es nicht speziell für die Prädiktion entwickelt wurde).

Machine Learning: Ensemble-Methoden und Deep Learning

In den letzten Jahren hat die Regressionsanalyse harte Konkurrenz durch Machine Learning (ML) bekommen, bei dem verschiedene Algorithmen eingesetzt werden, um Daten zu entschlüsseln. Heute wird Machine Learning in allen Branchen sehr intensiv genutzt, von der Medizin bis zur Fertigungsindustrie. Auf Kaggle (www.kaggle.com) treten viele der weltbesten Analytiker gegeneinander an, um Prädiktionsprobleme zu lösen. Die Preisgelder sind hoch, und praktisch alle Wettbewerbe werden mit Machine Learning gewonnen. Machine Learning ist ein Teilgebiet der künstlichen Intelligenz (KI).

Mehrere der populärsten Methoden des Machine Learning ahmen die menschliche Vorgehensweise bei der Entscheidungsfindung nach. Die ersten populären Methoden des Machine Learning waren baumbasierte Modelle (tree-based methods). Sie sind konzeptionell leicht zu verstehen und eine Voraussetzung für das Verständnis komplizierterer Algorithmen. Die folgende Abbildung veranschaulicht (konzeptionell), wie ein baumbasierter Algorithmus Daten in kleinere Portionen partitioniert (aufteilt).

graph TD;
Alla(Alle Beobachtungen) --> Men(Männer) & Wom(Frauen)
Men --> MS1("Adipositas") & MS2("Normalgewichtig")
Wom --> WS1("Adipositas") & WS2("Normalgewichtig")
MS1 --> A(Treibt Sport) & B(Treibt keinen Sport)
MS2 --> C(Treibt Sport) & D(Treibt keinen Sport)
WS1 --> E(Treibt Sport) & F(Treibt keinen Sport)
WS2 --> G(Treibt Sport) & H(Treibt keinen Sport)
B --> D1(Diabetes)
D --> D2(Diabetes)
F --> D3(Diabetes)
H --> D4(Diabetes)
A --> F1(Gesund)
C --> F2(Gesund)
E --> F3(Gesund)
G --> F4(Gesund)

Die populärsten baumbasierten Algorithmen sind Random Forest, Gradient Boosting und Extreme Gradient Boosting. Diese Methoden können sowohl stetige als auch kategoriale Zielgrößen ($Y$) vorhersagen. Die Prädiktoren können ebenfalls stetig und/oder kategorial sein. Baumbasierte Methoden lassen sich also in denselben Situationen einsetzen wie die Regressionsanalyse. Baumbasierte Methoden verwenden Algorithmen, die Daten partitionieren. Partitionierung bedeutet, dass der ursprüngliche Datensatz anhand von Kriterien, die der Algorithmus identifiziert, in immer kleinere Gruppen aufgeteilt wird. Hier ein einfaches Beispiel dafür, wie Daten partitioniert werden können:

Erläuterung zur obigen Abbildung

1. Der Algorithmus beginnt damit, die Population nach Geschlecht aufzuteilen, sodass Männer und Frauen in getrennte Gruppen gelangen.
2. Anschließend teilt der Algorithmus die Gruppen nach Körpergewicht ein.
3. Danach unterscheidet der Algorithmus zwischen Beobachtungen, die Sport treiben, und solchen, die keinen Sport treiben.
4. Der Algorithmus sagt vorher, ob der Teilnehmer Diabetes hat oder nicht, je nachdem, wo er sich im Baum befindet.

Das obige Diagramm wird auch decision tree (Entscheidungsbaum) genannt. Diese Technik ist heute weitaus ausgefeilter als hier dargestellt. Die meisten Methoden funktionieren so, dass sie viele (oft Tausende) Bäume erstellen und jeden Baum als schwaches Prädiktionsmodell nutzen, das zusammen mit allen anderen Bäumen Vorhersagen mit sehr hoher Präzision erzeugt. Die Verfahren zur Konstruktion der Bäume und zur Partitionierung der Daten unterscheiden sich zwischen den Modellen.

Die Bäume können als Prädiktionsmodelle dienen, weil eine neue Beobachtung bzw. Person (die nicht an der Konstruktion der Bäume beteiligt war) durch alle Bäume geführt werden kann. Das Modell kann dann, je nachdem, wo die Person in den verschiedenen Bäumen landet, das wahrscheinliche Ergebnis ($Y$) für die Beobachtung bzw. Person vorhersagen.

Methoden, bei denen viele Bäume konstruiert werden, heißen Ensemble-Methoden (ensemble methods).

Die allermeisten Methoden des Machine Learning eignen sich hervorragend, um (1) $Y$ vorherzusagen und (2) zu beschreiben, wie stark der Zusammenhang zwischen X und Y ist. Was Letzteres betrifft, werden leider keine einfachen Maße erzeugt, die sich wie Odds Ratios, Hazard Ratios usw. darstellen lassen.

Einer der größten Vorteile baumbasierter Methoden ist, dass wir keine Annahmen über die Variablen und ihren Zusammenhang mit $Y$ treffen und das Modell nicht manuell spezifizieren müssen. Es gibt Algorithmen, die automatisch nach dem optimalen Modell suchen.

Weitere Überlegungen zu Prädiktionsmodellen

Ist das Ziel sinnvoll?

Bei Regressionsanalysen, deren Zweck die Schätzung des Effekts des Prädiktors $X$ ist, sollte es tatsächlich sinnvoll sein, den Effekt von $X$ zu schätzen. Den Effekt des LDL-Cholesterins auf das Risiko eines akuten Myokardinfarkts zu schätzen, mag heute sinnlos erscheinen, da bereits Zehntausende Artikel zu dieser Fragestellung veröffentlicht wurden. Trotzdem erscheinen solche Artikel regelmäßig. Stellen Sie sicher, dass das Ziel des Prädiktionsmodells sinnvoll ist.

Sind alle wichtigen Prädiktoren verfügbar?

Wichtig ist auch, sich zu vergewissern, dass man über alle wichtigen Prädiktoren verfügt. In einer Studie, die für einen bestimmten Zweck konzipiert und durchgeführt wurde, ist das selten ein Problem. Nicht selten versucht man jedoch, viele Fragestellungen mit denselben Daten zu beantworten, und dann kann dieses Problem auftreten. Fehlen Prädiktoren, die für die Zielgröße wichtig sind, wird man wahrscheinlich kein gutes Modell erstellen.

Hat die Studie ausreichende Power?

Es ist wichtig, dass die Datenmenge (Anzahl der Beobachtungen) ausreicht, um das Modell zu trainieren und zu testen. Das Modell wird häufig mit etwa 70 bis 80 % der Beobachtungen trainiert, sodass 20 bis 30 % zum Testen bzw. Validieren des Modells verbleiben. Indem wir das Modell nicht mit denselben Daten testen, mit denen es trainiert wurde, stellen wir sicher, dass die Präzision nicht überschätzt wird. Von einem Modell ist eine sehr gute Präzision in den Daten zu erwarten, mit denen es trainiert wurde, und eine schlechtere Präzision in Daten, die es zuvor nicht gesehen hat.

Sind interne und externe Validität gegeben?

Es ist grundlegend, dass die für die Analyse verwendete Population repräsentativ für die Population ist, über die man Aussagen treffen möchte. Will man Aussagen über den Behandlungseffekt von Statinen treffen und untersucht eine Population mit einem Durchschnittsalter von 65 Jahren, sollte man sich grundsätzlich nicht zum Effekt bei 40-Jährigen äußern.

• Interne Validität bedeutet, dass die Studie misst, was sie messen sollte.
• Externe Validität bedeutet, dass die Ergebnisse der Studie auf andere Beobachtungen bzw. Personen, die nicht an der Studie teilgenommen haben, extrapoliert (übertragen) werden können.

The parsimonious model

Ist das Ziel, ein Modell für die Prädiktion zu erstellen, sollte man sich vergewissern, dass die Variablen im endgültigen Modell leicht verfügbar sind. Je mehr und je teurere (in der Erhebung) Prädiktoren ein Modell enthält, desto weniger wird es genutzt werden. Die englische Bezeichnung the parsimonious model lässt sich mit das sparsame Modell übersetzen und meint ein Modell mit so wenigen Prädiktoren wie möglich.

Welche Risikodimensionen sind verfügbar?

Die Berücksichtigung von Risikodimensionen ist wichtig, um Aussagen über das Risiko eines Ereignisses treffen zu können. Risiko ist meist ein multifaktorielles Phänomen, und es ist wünschenswert, dass mehrere Dimensionen des Risikos in ein Risikomodell eingehen. Ein Modell, das ausschließlich Biomarker enthält, ist daher wahrscheinlich unzureichend. Die folgenden Dimensionen können in der klinischen Forschung als wichtig für das Risiko eines Ereignisses gelten (Iezzoni, 2006):

• Alter und Geschlecht: Diese Variablen sind praktisch immer starke Prädiktoren und sollten stets in ein Risikomodell aufgenommen werden.
• Relevante Biomarker.
• Variablen, die den unmittelbaren (akuten) Gesundheitszustand beschreiben.
• Variablen, die Erkrankungen und Risikofaktoren der Person beschreiben.
• Variablen, die die körperliche Verfassung und Leistungsfähigkeit der Person beschreiben.
• Psychischer, kognitiver und psychosozialer Status.
• Variablen, die die ethnische, sozioökonomische und kulturelle Zugehörigkeit beschreiben.
• Quality of Life.
• Die Einstellung des Patienten zu Krankheit und Gesundheit.

Über alle diese Dimensionen zu verfügen, ist eine Seltenheit; meist muss man sich mit weniger Dimensionen begnügen.

Literatur

1. Regression Modeling Strategies: With Applications to Linear Models, Logistic and Ordinal Regression, and Survival Analysis von Frank Harrell. Springer 2015.
2. Applied Predictive Modeling von Max Kuhn und Kjell Johnson. Springer 2016.
3. Survival Analysis: A Self-Learning Text, Third Edition. David Kleinbaum. Springer 2012.