Parametrische und nichtparametrische Modelle

Parametrische vs. nichtparametrische Modelle

Was ist ein Parameter?

Prädiktionsmodelle untersuchen den Zusammenhang $Y=f(x)$, das heißt, das Outcome ($Y$) ist eine Funktion der Prädiktoren ($x$).

Die Funktion, die $Y$ auf Grundlage von $x$ schätzt, ist unbekannt und muss berechnet werden. Es gibt eine Vielzahl von Algorithmen, um die Funktion zu finden, die den Zusammenhang $Y=f(x)$ am besten beschreibt. Die Algorithmen berechnen die Funktion mithilfe von Parametern. Dies wird nun an einem linearen Regressionsmodell veranschaulicht, in dem das Gewicht anhand von Alter und Geschlecht vorhergesagt wird:

$Y_{Gewicht} = \beta_{Alter} + \beta_{Geschlecht} + Fehler$

In diesem Modell gibt es drei Parameter ($\beta_{Alter}, \beta_{Geschlecht}, Fehler$), die geschätzt werden müssen. Die Anzahl der Parameter hängt nicht von der Anzahl der Beobachtungen in den Daten ab. Mehr Beobachtungen führen weder zu mehr noch zu weniger Parametern, die Anzahl der Parameter ist also fest.

Parameter sind erforderlich, um Vorhersagen zu treffen. Parameter werden anhand der Trainingsdaten berechnet (der Daten, mit denen das Modell lernt). Beispiele für Parameter aus verschiedenen Modelltypen zeigt die folgende Tabelle.

Tabelle 1.

In parametrischen Modellen ist die Anzahl der Parameter fest und hängt nicht von der Anzahl der Beobachtungen ab. In einem nichtparametrischen Modell steigt die Anzahl der Parameter mit der Anzahl der Beobachtungen in den Trainingsdaten. Nichtparametrische Modelle sind beispielsweise Neural Networks (NN), Random Forest (RF), Gradient Boosting (GBM) und Extreme Gradient Boosting (XGB).

Die Berechnung nichtparametrischer Modelle kann daher deutlich länger dauern (es muss eine größere Anzahl von Parametern geschätzt werden), dafür können sie aber eine wesentlich höhere Präzision als ein parametrisches Modell erreichen.