Statistische Signifikanz ist ein Begriff, der in der Forschung verwendet wird, um zu beschreiben, wie wahrscheinlich es ist, dass ein in den Daten beobachteter Unterschied oder Zusammenhang real ist und nicht bloß auf Zufall beruht. Ist ein Unterschied oder ein Zusammenhang statistisch signifikant, kann man sagen, dass sich der Unterschied oder der Zusammenhang nicht durch den Zufall erklären lässt, und daher ist es wahrscheinlich, dass der Unterschied oder der Zusammenhang real ist.
Die statistische Signifikanz wird herangezogen, um zu beurteilen, ob das Ergebnis einer Studie bedeutsam ist oder nicht. Ist das Ergebnis statistisch signifikant, lassen sich Schlussfolgerungen darüber ziehen, ob ein realer Unterschied zwischen verschiedenen Gruppen besteht oder ob ein Zusammenhang zwischen Variablen real ist.
Um zu beurteilen, ob ein Unterschied oder ein Zusammenhang statistisch signifikant ist, verwendet man den p-Wert. Der p-Wert ist ein Maß dafür, wie wahrscheinlich es ist, dass die Beobachtung auf Zufall beruht, und er wird berechnet, indem man das Ergebnis der Studie mit dem vergleicht, was man erwarten würde, wenn alle Voraussetzungen der Studie zutreffen. Der p-Wert ist eine Prozentangabe und gibt an, wie wahrscheinlich es ist, dass die Nullhypothese zutrifft. Die Nullhypothese besagt, dass kein Unterschied bzw. kein Zusammenhang besteht. In der Regel verwendet man eine Grenze von 5 %, um zu entscheiden, ob ein Befund statistisch signifikant ist. Liegt der p-Wert unter 5 %, bedeutet dies, dass eine sehr geringe Wahrscheinlichkeit (<5 %) besteht, dass die Beobachtung auf Zufall beruht, und sie ist daher statistisch signifikant (somit wird die Nullhypothese verworfen). Liegt der p-Wert bei 5 % oder darüber (≥5 %), kann die Beobachtung auf Zufall beruhen, und daher wird die Nullhypothese beibehalten.
Beispiel: Angenommen, man führt eine Studie durch, um zu untersuchen, ob eine Korrelation zwischen dem Frühstücken und besseren Leistungen in einer Schulprüfung besteht. Man erhebt Daten von 100 Schülerinnen und Schülern und vergleicht die Prüfungsergebnisse derjenigen, die frühstücken, mit denen derjenigen, die dies nicht tun. Nach der Analyse der Daten stellt man fest, dass die Schülerinnen und Schüler, die frühstücken, in der Prüfung deutlich besser abschneiden als diejenigen, die nicht frühstücken. Anschließend berechnet man den p-Wert, um zu prüfen, ob das Ergebnis statistisch signifikant ist. Liegt der p-Wert unter 5 %, kann man sagen, dass eine statistisch signifikante Korrelation zwischen dem Frühstücken und besseren Prüfungsleistungen besteht.
Nullhypothese
Die Nullhypothese ist die Hypothese, die in einer statistischen Analyse untersucht wird und besagt, dass weder ein Unterschied noch eine Korrelation zwischen den untersuchten Variablen besteht. Die Nullhypothese dient als Ausgangspunkt, um zu beurteilen, ob ein statistisch signifikanter Unterschied oder eine statistisch signifikante Korrelation zwischen den Variablen besteht, und man versucht nachzuweisen, dass die Nullhypothese falsch ist, indem man Daten erhebt und statistische Tests durchführt.
Die Nullhypothese wird mit bezeichnet. Die Alternativhypothese besagt, dass ein Unterschied zwischen den Gruppen besteht, und wird mit bezeichnet.
Beispiel: Angenommen, man möchte untersuchen, ob eine Korrelation zwischen dem Frühstücken und besseren Leistungen in einer Schulprüfung besteht. Die Nullhypothese lässt sich in diesem Beispiel folgendermaßen formulieren: "Es besteht keine Korrelation zwischen dem Frühstücken und besseren Leistungen in einer Schulprüfung." Man erhebt Daten von 100 Schülerinnen und Schülern und führt statistische Tests durch, um zu beurteilen, ob die Nullhypothese zutrifft oder nicht. Findet man eine statistisch signifikante Korrelation zwischen dem Frühstücken und besseren Prüfungsleistungen, kann man die Nullhypothese verwerfen und sagen, dass eine reale Korrelation zwischen den beiden Variablen besteht.
Multiples Testen
Multiples Testen, auch "multiple comparisons" oder "multiple testing" genannt, bedeutet, dass man mehrere statistische Tests an denselben Daten durchführt, um zu untersuchen, ob Unterschiede oder Korrelationen zwischen verschiedenen Variablen bestehen. Beim multiplen Testen steigt das Risiko sogenannter falsch-positiver Ergebnisse, das heißt, dass man fälschlicherweise einen signifikanten Unterschied oder eine signifikante Korrelation zwischen den Variablen feststellt, obwohl keine besteht.
Es gibt verschiedene Gründe, weshalb multiples Testen ein Problem sein kann. Ein Grund ist, dass man häufig viele verschiedene Verhältnisse oder Zusammenhänge in ein und derselben Studie untersuchen möchte, und dadurch steigt das Risiko, auf falsch-positive Ergebnisse zu stoßen. Ein weiteres Problem besteht darin, dass man dazu verleitet werden kann, Ergebnisse als statistisch signifikant zu interpretieren, nur weil man viele Tests durchgeführt hat, obwohl das Ergebnis eigentlich nicht signifikant ist.
Um das Problem des multiplen Testens zu vermeiden, gibt es verschiedene Verfahren, die man anwenden kann, zum Beispiel die Bonferroni-Korrektur und die False Discovery Rate (FDR). Diese Verfahren dienen dazu, die Schwelle für den p-Wert zu verschärfen, sodass das Risiko falsch-positiver Ergebnisse sinkt. Es ist wichtig, sich beim multiplen Testen des Risikos falsch-positiver Ergebnisse bewusst zu sein und geeignete Verfahren anzuwenden, um dieses Problem zu handhaben.