Effizientes Screening von Data Frames

Araz Rawshani

Inzwischen gibt es mehrere Packages, mit denen sich Daten schnell explorieren lassen. Das Package DataExplorer wurde entwickelt, um fertige Berichte oder Teile davon zu erstellen. Es gibt mehrere ähnliche Packages, doch DataExplorer ist gut dokumentiert und umfasst die wichtigsten Methoden. Installieren und laden Sie zunächst das Package:

install.packages("DataExplorer")
library(DataExplorer)

DataExplorer kann einen formatierten Bericht erstellen, der als PDF-Datei auf der Festplatte gespeichert wird. Dazu dient die Funktion create_report() mit den Argumenten output_file (Name der Datei, die auf der Festplatte gespeichert wird), report_title (Titel des Berichts) und dem optionalen Argument y. Das Argument y wird nur angegeben, wenn die deskriptiven Auswertungen nach einer Variablen stratifiziert werden sollen. Im folgenden Code wird der Bericht nach der Spalte death stratifiziert, die angibt, ob der Patient während der Studie verstorben ist.

rhc %>%
  create_report(
    output_file="rapportfilens namn",
    report_title= "titel på rapporten",
    y="death"
  )

Anschließend befindet sich die Datei (im HTML-Format) in Ihrem Working Directory. Wenn Sie nicht wissen, wo Ihr Working Directory liegt, geben Sie den Befehl getwd() ein, der Ihr Working Directory zurückgibt (wahrscheinlich ist es derselbe Ordner, in dem sich Ihr R-Skript befindet). Der Anfang der Datei sieht folgendermaßen aus:

Browser mit dem Anfang des DataExplorer-Berichts: Inhaltsverzeichnis und Tabelle mit Basisstatistiken des Datensatzes

Im Folgenden zeigen wir, wie sich einzelne Komponenten des Berichts erzeugen lassen, um die Daten zu explorieren.

Beginnen Sie mit einer Gesamtbeschreibung der Daten:

introduce(rhc)

rows	columns	discrete_columns	continuous_columns	all_missing_columns	total_missing_values	complete_rows
5735	63	21	42	0	13873	49

plot_intro(rhc)

Balkendiagramm aus plot_intro mit dem Anteil diskreter und stetiger Spalten, vollständiger Zeilen und fehlender Beobachtungen

plot_missing(rhc)

Horizontales Balkendiagramm aus plot_missing mit dem Anteil fehlender Werte je Variable, farblich kodiert als Good, OK und Bad

## Häufigkeiten stratifiziert nach einer Variablen
plot_bar(rhc, by = "death", nrow=20, ncol=4)

Gestapelte Balkendiagramme aus plot_bar mit den Häufigkeiten aller kategorialen Variablen, aufgeteilt nach death Yes und No

## Histogramme aller stetigen Variablen anzeigen
plot_histogram(rhc)

Raster von Histogrammen aus plot_histogram, eines für jede stetige Variable im Datensatz rhc

## Dichtekurven für alle stetigen Variablen
plot_density(rhc, ncol=3, nrow=10)

Raster von Dichtekurven aus plot_density, eine für jede stetige Variable im Datensatz rhc

## QQ-Plots für alle stetigen Variablen
plot_qq(rhc, ncol=3, nrow=10)

Raster von QQ-Plots aus plot_qq, die jede stetige Variable mit der Normalverteilung vergleichen

## QQ-Plots stratifiziert nach einer Spalte
plot_qq(rhc, by = "death", ncol=3, nrow=10)

Raster von QQ-Plots aus plot_qq für stetige Variablen, getrennt für death Yes und No

## Korrelationsmatrizen
plot_correlation(rhc)

Korrelationsmatrix aus plot_correlation als Heatmap über alle Variablen, Farbskala von -1 bis 1

## Bivariate Verteilung stratifiziert nach einer Spalte
plot_boxplot(rhc, by = "death")

Raster von Boxplots aus plot_boxplot, die jede stetige Variable aufgeteilt nach death Yes und No zeigen

## Scatterplot `price` with all other continuous features
plot_scatterplot(split_columns(rhc)$continuous,
                 by = "age",
                 sampled_rows = 100L,
                 ncol=3, nrow=20)

Raster von Streudiagrammen aus plot_scatterplot mit jeder stetigen Variablen gegen das Alter

## Visualize principal component analysis
plot_prcomp(rhc, maxcat = 8L)

Balkendiagramm aus plot_prcomp mit der relativen Gewichtung der Variablen in den Hauptkomponenten PC1 bis PC18