Learning: Supervised und Unsupervised Learning

Es gibt mindestens zwei große Felder der Datenanalyse: die klassische Statistik und das Machine Learning (maschinelles Lernen). Die klassische Statistik wurde von Mathematikern geprägt, während Ingenieure und Softwareentwickler im Machine Learning eine wichtige Rolle gespielt haben. Die Ziele von Machine Learning und klassischer Statistik sind jedoch dieselben, nämlich:

1. Daten beschreiben
2. Zusammenhänge und Beziehungen zwischen Variablen erklären
3. Eine Variable anhand der Werte anderer Variablen prädizieren (vorhersagen)

Die Strategien zum Beschreiben, Erklären und Prädizieren unterscheiden sich jedoch zwischen Machine Learning und klassischer Statistik. Das bedeutet, dass sich die Methoden (Algorithmen) unterscheiden, auch wenn es viele Gemeinsamkeiten gibt und bestimmte Methoden und Algorithmen in beiden Feldern vorkommen. Es bringt keinen Nutzen, die klassische Statistik vom Machine Learning zu trennen, und die meisten Analytiker verwenden Methoden aus beiden Bereichen. Da sich Machine Learning und klassische Statistik einigermaßen getrennt voneinander entwickelt haben, gibt es terminologische Unterschiede, die in der folgenden Tabelle erläutert werden.

Heute wird der Begriff Learning (Lernen) für Berechnungen und Algorithmen verwendet, die Daten erkunden. Die folgende Abbildung zeigt, wie sich Learning einteilen lässt. Die wichtigste Unterscheidung ist die zwischen Supervised Learning und Unsupervised Learning. Ob Learning supervised oder unsupervised ist, hängt davon ab, ob es eine Zielgröße ($Y$) gibt, die das Lernen steuert.

graph LR
    A[Learning] --> |Y vorhanden| S(Supervised learning);
    S --> |Y ist stetig| R(Regression);
    S --> |Y ist kategorial| C(Classification);
    R --> RE(Linear Regression<br/>Support Vector Machine<br/>Random forest<br/>Gradient boosting<br/>Neural networks);
    C --> CE(Logistic Regression<br/>Random forest<br/>Gradient boosting<br/>Neural networks);

    A[Learning] --> |Y nicht vorhanden| U(Unsupervised learning);
    U --> |Verborgene Strukturen entdecken| X(Clusteranalyse) --> KE(K-means clustering<br/>Hierarchical Clustering);
    U --> |Zusammenhänge untersuchen| Y(Assoziationsanalyse) --> AP(Assoziationsanalyse);
    U --> |Komplexität reduzieren| Z(Dimensionality reduction) --> DE(Principal Component Analysis);

Supervised Learning (SL)

Beim Supervised Learning gibt es eine Zielgröße ($Y$), die die Algorithmen steuert; diese können anschließend verwendet werden, um $Y$ zu prädizieren (vorherzusagen). Im Supervised Learning wird untersucht, wie $Y$ mit einer oder mehreren Variablen ($X$) zusammenhängt. Ziel ist es, den Wert von Y bei gegebenen Werten der zugehörigen Variablen ($X_1$, $X_2$, $X_3$, $X_n$) zu prädizieren. Mit einem Algorithmus können wir berechnen, wie $X_1$, $X_2$, $X_3$, $X_n$ usw. mit $Y$ zusammenhängen, und zudem ein Prädiktionsmodell erstellen, um $Y$ bei gegebenen Werten von $X_1$, $X_2$, $X_3$, $X_n$ vorherzusagen.

Beispiel 1: Eine Analyse, in der das Risiko, an Diabetes zu erkranken (Y), als Funktion von Alter (X1), Geschlecht (X2) und BMI (X3) untersucht wird.

Beispiel 2: Eine Analyse, in der das Jahreseinkommen (Y) als Funktion von Alter (X1), Ausbildung (X2) und Beruf (X3) untersucht wird.

*In der klassischen Statistik wird der Begriff Regression für Modelle verwendet, die sowohl stetige als auch kategoriale Y prädizieren.

Beispiele für Algorithmen im Supervised Learning: lineare Regression, logistische Regression, Cox-Regression, Random Forest, Deep Learning, Gradient Boosting usw.

Supervised Learning lässt sich in Regression und Klassifikation unterteilen.

Classification (Klassifikation)

Klassifikation bedeutet, dass man eine kategoriale Zielgröße prädiziert. Beispiele für solche Zielgrößen sind:

• Tod (ja/nein)
• Diabetes (ja/nein)
• Insolvenz (ja/nein)
• Gewichtskategorie (Normalgewicht, Übergewicht, Adipositas)

Regression

Der Begriff Regression ist etwas verwirrend: Die klassische Statistik umfasst eine lange Reihe von Regressionsmodellen, mit denen sich sowohl stetige als auch kategoriale Zielgrößen prädizieren lassen. Im Machine Learning bezeichnet der Begriff dagegen Modelle, die stetige Zielgrößen (numerische Werte) prädizieren. Beispiele dafür sind:

• Alter (Jahre)
• Gewicht (kg)
• Einkommen (kr)
• Preis (kr)

Unsupervised Learning (UL)

Unsupervised Learning erfasst Muster in Daten, ohne eine Zielgröße (Y) zu berücksichtigen. Unsupervised Learning bedeutet also, dass der Algorithmus Strukturen in den Daten identifiziert. Es ist nicht nötig, Informationen über Y zu erheben, was nicht selten dazu führt, dass sehr viele Daten zur Analyse vorliegen.

Beispiel 1: Stellen Sie sich eine Studie mit Tausenden von Menschen vor, in der Lebensstil, Ernährungsgewohnheiten, Bewegungsgewohnheiten und ihre Risikofaktoren für Herz-Kreislauf-Erkrankungen erfasst werden. Mit Unsupervised Learning lassen sich Gruppen oder Cluster (engl. cluster) von Personen identifizieren, die sich hinsichtlich dieser Variablen ähneln.

Es gibt folgende Arten von Unsupervised Learning:

• Clusteranalyse (cluster analysis): Mit der Clusteranalyse lassen sich verborgene Muster und Gruppen in Daten entdecken.
• Assoziation: Reine Assoziationsanalysen untersuchen, wie Variablen miteinander zusammenhängen.
• Dimensionsreduktion (dimensionality reduction): Bei der Dimensionality Reduction werden Algorithmen eingesetzt, um überflüssige Informationen aus den Daten zu entfernen. Das kann beispielsweise bedeuten, dass die Anzahl der Variablen in einem Datensatz reduziert wird, indem Variablen identifiziert werden, die nichts beitragen. Es kann auch bedeuten, dass die Variablen im Datensatz durch neue, weniger zahlreiche Variablen ersetzt werden, die aus diesen Daten abgeleitet wurden.