Autor des Abschnitts: Danielle J. Navarro and David R. Foxcroft

Was bedeutet Wahrscheinlichkeit?

Beginnen wir mit der ersten dieser Fragen. Was ist „Wahrscheinlichkeit“? Es mag Sie vielleicht überraschen, aber während sich Statistiker und Mathematiker (größtenteils) einig sind, was die Regeln der Wahrscheinlichkeit sind, besteht weitaus weniger Einigkeit darüber, was das Wort wirklich bedeutet. Das erscheint seltsam, weil wir alle sehr vertraut mit Wörtern wie „Zufall“, „wahrscheinlich“, „möglich“ und „wahrscheinlich“ sind. Es scheint daher nicht so, als ob die Antwort auf diese Frage sehr schwierig sein sollte. Aber wenn Sie diese Erfahrung schon einmal im wirklichen Leben gemacht haben, gehen Sie vielleicht mit dem Gefühl aus dem Gespräch, dass Sie es nicht ganz richtig verstanden haben, und dass sich (wie bei vielen alltäglichen Begriffen) herausstellt, dass Sie nicht wirklich wissen, worum es eigentlich geht.

Ich werde es also versuchen. Nehmen wir an, ich möchte auf ein Fußballspiel zwischen zwei Roboterteams wetten, Arduino Arsenal und C Milan. Nachdem ich darüber nachgedacht habe, entscheide ich, dass die Wahrscheinlichkeit, dass Arduino Arsenal gewinnt, bei 80 % liegt. Was will ich damit sagen? Hier sind drei Möglichkeiten:

Da es sich um Roboterteams handelt, kann ich sie immer wieder spielen lassen, und wenn ich das täte, würde Arduino Arsenal im Durchschnitt 8 von 10 Spielen gewinnen.
Für jedes beliebige Spiel würde ich zustimmen, dass eine Wette auf dieses Spiel nur dann „fair” ist, wenn eine $1-Wette auf C Milan eine $5-Auszahlung ergibt (d. h. ich bekomme meine $1 zurück plus eine $4-Belohnung für die Richtigkeit), ebenso wie eine $4-Wette auf Arduino Arsenal (d. h. meine $4-Wette plus eine $1-Belohnung).
Mein subjektiver „Glaube“ oder meine „Zuversicht“ an einen Sieg von Arduino Arsenal ist also viermal so stark wie mein Glaube an einen Sieg von C Milan.

Jede dieser Möglichkeiten erscheint sinnvoll. Sie sind jedoch nicht identisch, und nicht jeder Statistiker würde sie alle gutheißen. Der Grund dafür ist, dass es verschiedene statistische Ideologien gibt (ja, wirklich!), und je nachdem, welcher man angehört, könnte man sagen, dass einige dieser Aussagen sinnlos oder irrelevant sind. In diesem Abschnitt gebe ich eine kurze Einführung in die beiden wichtigsten Ansätze, die in der Literatur existieren. Dies sind keineswegs die einzigen Ansätze, aber es sind die beiden wichtigsten.

Die frequentistische Sichtweise

Der erste der beiden Hauptansätze zur Wahrscheinlichkeit, der in der Statistik dominanter ist, wird als frequentistische Sichtweise bezeichnet und definiert die Wahrscheinlichkeit als eine langfristige Häufigkeit. Nehmen wir an, wir würden versuchen, eine „normale“ Münze immer wieder zu werfen. Per Definition ist dies eine Münze, die P(K) = 0,5 hat. Was könnten wir beobachten? Eine Möglichkeit ist, dass die ersten 20 Würfe wie folgt aussehen könnten:

T,H,H,H,H,T,T,H,H,H,H,T,H,H,T,T,T,T,T,H

In diesem Fall ergaben 11 dieser 20 Münzwürfe (55 %) Kopf. Nehmen wir nun an, dass ich die Anzahl der Kopf-Würfe (die ich N_Knenne), die ich bei den ersten N Münzwürfen gesehen habe, laufend notiere und den Anteil der Köpfe N_K / N jedes Mal berechne. Hier ist das Ergebnis (ich habe wirklich Münzen geworfen, um diese Daten zu produzieren!):

Anzahl der Würfe	1	2	3	4	5	6	7	8	9	10
Anzahl der Seite „Kopf“	0	1	2	3	4	4	4	5	6	7
Anteil	0.00	0.50	0.67	0.75	0.80	0.67	0.57	0.63	0.67	0.70

Anzahl der Würfe	11	12	13	14	15	16	17	18	19	20
Anzahl der Seite „Kopf“	8	8	9	10	10	10	10	10	10	11
Anteil	0.73	0.67	0.69	0.71	0.67	0.63	0.59	0.56	0.53	0.55

Beachten Sie, dass zu Beginn der Sequenz der Anteil der Kopf-Würfe stark schwankt und bei 0,00 beginnt und bis auf 0,80 ansteigt. Später hat man den Eindruck, dass sich die Schwankungen etwas abschwächen und immer mehr Werte tatsächlich ziemlich nahe an der „richtigen“ Antwort von 0,50 liegen. Dies ist die frequentistische Definition der Wahrscheinlichkeit in Kurzform. Wirft man eine „normale“ Münze immer wieder, so konvergiert der Anteil der Köpfe bei N mit zunehmender Größe (gegen unendlich, N → ∞) auf 50 %. Es gibt einige technische Feinheiten, um die sich die Mathematiker kümmern, aber qualitativ gesehen ist das die Art und Weise, wie die Frequentisten die Wahrscheinlichkeit definieren. Leider verfüge ich weder über eine unendliche Anzahl von Münzen noch über die unendliche Geduld, die erforderlich ist, um eine Münze unendlich oft zu werfen. Aber ich habe einen Computer, und Computer eignen sich hervorragend für sinnlose, sich wiederholende Aufgaben. Also habe ich meinen Computer gebeten, das 1000-malige Werfen einer Münze zu simulieren und dann ein Bild davon gezeichnet, was mit dem Verhältnis N_K / N passiert, wenn N zunimmt. Ich habe es sogar viermal gemacht, nur um sicherzugehen, dass das Ergebnis nicht reiner Zufall war. Die Ergebnisse sind in Abb. 43 dargestellt. Wie Sie sehen können, hört der Anteil der beobachteten Kopf-Würfe schließlich auf zu schwanken und pendelt sich ein. Die Zahl, bei der sie sich schließlich einpendelt, ist die „wahre“ Wahrscheinlichkeit für Kopf.

Veranschaulichung der Funktionsweise der frequentistischen Wahrscheinlichkeitsrechnung — Abb. 43 Illustration der Funktionsweise der frequentistischen Wahrscheinlichkeitsrechnung: Wenn man eine „normale“ Münze immer und immer wieder wirft, pendelt sich der Anteil der Kopf-Würfe, die man beobachtet, ein und konvergiert gegen die „wahre“ Wahrscheinlichkeit von 0,5. Jedes Feld zeigt vier verschiedene simulierte Experimente. In jedem Fall tun wir so, als ob wir 1000 Mal eine Münze geworfen hätten, und verfolgen den Anteil der Würfe, die Kopf waren, im Laufe der Zeit. Obwohl keine dieser Sequenzen tatsächlich mit einem exakten Wert von 0,5 endete, hätten sie es getan, wenn wir das Experiment auf eine unendliche Anzahl von Münzwürfen ausgedehnt hätten.

Die frequentistische Definition der Wahrscheinlichkeit hat einige wünschenswerte Eigenschaften. Erstens ist sie objektiv: Die Wahrscheinlichkeit eines Ereignisses ist notwendigerweise in der Welt verankert. Wahrscheinlichkeitsaussagen sind nur dann sinnvoll, wenn sie sich auf (eine Abfolge von) Ereignissen beziehen, die im physikalischen Universum stattfinden.[1] Zweitens ist sie eindeutig: Zwei Personen, die dieselbe Abfolge von Ereignissen beobachten und versuchen, die Wahrscheinlichkeit eines Ereignisses zu berechnen, müssen unweigerlich auf dieselbe Antwort kommen.

Sie hat jedoch auch unerwünschte Eigenschaften. Erstens gibt es in der physischen Welt keine unendlichen Folgen. Nehmen wir an, Sie nehmen eine Münze aus Ihrer Tasche und beginnen, sie zu werfen. Jedes Mal, wenn sie landet, schlägt sie auf dem Boden auf. Bei jedem Aufprall wird die Münze ein wenig abgenutzt. Irgendwann ist die Münze zerstört. Man könnte sich also fragen, ob es wirklich sinnvoll ist, so zu tun, als sei eine „unendliche“ Folge von Münzwürfen überhaupt ein sinnvolles Konzept oder ein objektives Konzept. Wir können nicht sagen, dass eine „unendliche Folge“ von Ereignissen im physikalischen Universum eine reale Sache ist, weil das physikalische Universum keine unendlichen Dinge zulässt. Wichtiger ist, dass die frequentistische Definition einen engen Anwendungsbereich hat. Es gibt viele Dinge, denen wir Menschen in der Alltagssprache gerne eine Wahrscheinlichkeit zuordnen, die sich aber (selbst in der Theorie) nicht auf eine hypothetische Abfolge von Ereignissen übertragen lassen. Wenn zum Beispiel ein Meteorologe im Fernsehen sagt: „Die Wahrscheinlichkeit, dass es am 2. November 2048 in Adelaide regnet, beträgt 60 %“, dann akzeptieren wir Menschen das gerne. Aber es ist nicht klar, wie man dies in frequentistischen Begriffen definieren kann. Es gibt nur eine Stadt Adelaide, und nur einen 2. November 2048. Es gibt hier keine unendliche Folge von Ereignissen, sondern nur ein einmaliges Ereignis. Die frequentistische Wahrscheinlichkeitsrechnung verbietet es uns, Wahrscheinlichkeitsaussagen über ein einzelnes Ereignis zu machen. Aus der Sicht der Frequentisten wird es entweder morgen regnen oder nicht. Es gibt keine „Wahrscheinlichkeit“, die einem einzelnen, nicht wiederholbaren Ereignis zugeordnet werden kann. Nun gibt es aber einige sehr clevere Tricks, mit denen Anhänger der frequentistischen Sichtweise dies umgehen können. Eine Möglichkeit ist, dass der Meteorologe etwas meint wie: „Es gibt eine Kategorie von Tagen, für die ich eine Regenwahrscheinlichkeit von 60 % vorhersage, und wenn wir nur die Tage betrachten, für die ich diese Vorhersage mache, dann wird es an 60 % dieser Tage tatsächlich regnen“. Es ist sehr seltsam und kontraintuitiv, so darüber zu denken, aber man sieht, dass Vielleser dies manchmal tun. Und wird später in diesem Buch wieder auftauchen (siehe Schätzen eines Konfidenzintervalls).

Die Bayessche Sichtweise

Die Bayessche Sichtweise der Wahrscheinlichkeit wird oft als subjektivistische Sichtweise bezeichnet, und obwohl ihre Anhänger innerhalb der Statistiker immer noch in der Minderzahl sind, hat sie in den letzten Jahrzehnten stetig an Bedeutung gewonnen. Es gibt viele Ausprägungen der Bayesschen Sichtweise, so dass es schwierig ist, genau zu sagen, was „die“ Bayessche Sichtweise ist. Die gängigste Art, über subjektive Wahrscheinlichkeit nachzudenken, besteht darin, die Wahrscheinlichkeit eines Ereignisses als den Grad des Glaubens zu definieren, den ein intelligenter und rationaler Akteur der Wahrheit dieses Ereignisses beimisst. Aus dieser Perspektive existieren Wahrscheinlichkeiten nicht in der Welt, sondern eher in den Gedanken und Annahmen von Menschen und anderen intelligenten Wesen.

Damit dieser Ansatz funktioniert, brauchen wir jedoch eine Möglichkeit, den „Grad des Glaubens“ zu operationalisieren. Eine Möglichkeit, dies zu tun, besteht darin, es als „rationales Glücksspiel“ zu formalisieren, obwohl es viele andere Möglichkeiten gibt. Angenommen, ich glaube, dass es morgen mit einer Wahrscheinlichkeit von 60 % regnen wird. Wenn mir jemand eine Wette anbietet, dass ich 5 Dollar gewinne, wenn es morgen regnet, aber 5 Dollar verliere, wenn es nicht regnet, dann ist das aus meiner Sicht eine ziemlich gute Wette. Wenn ich hingegen glaube, dass die Wahrscheinlichkeit, dass es regnet, nur 40 % beträgt, dann ist es eine schlechte Wette, die ich nicht eingehen sollte. Wir können also den Begriff der „subjektiven Wahrscheinlichkeit“ dahingehend operationalisieren, welche Wetten ich zu akzeptieren bereit bin.

Was sind die Vor- und Nachteile der Bayesschen Sichtweise? Der Hauptvorteil besteht darin, dass man jedem beliebigen Ereignis Wahrscheinlichkeiten zuordnen kann. Man muss sich nicht auf die Ereignisse beschränken, die wiederholbar sind. Der größte Nachteil (für viele Menschen) ist, dass wir nicht rein objektiv sein können. Wenn wir eine Wahrscheinlichkeit angeben, müssen wir eine Person benennen, die den entsprechenden Grad an Überzeugung hat. Dieses Wesen kann ein Mensch, ein Außerirdischer, ein Roboter oder sogar ein Statistiker sein. Aber es muss ein intelligentes Wesen da draußen geben, das an Dinge glaubt. Viele Menschen empfinden dies als unangenehm, da es die Wahrscheinlichkeit als willkürlich erscheinen lässt. Die Bayessche Sichtweise setzt zwar voraus, dass der betreffende Akteur rational ist (d. h. den Regeln der Wahrscheinlichkeit gehorcht), aber er erlaubt es jedem, seine eigenen Überzeugungen zu haben. Ich kann glauben, dass die Münze „normal“ ist, Sie müssen es nicht, obwohl wir beide rational sind. Die frequentistische Sichtweise lässt es nicht zu, dass zwei Beobachter demselben Ereignis unterschiedliche Wahrscheinlichkeiten zuschreiben. Wenn das passiert, muss mindestens einer von ihnen falsch liegen. Die Bayessche Sichtweise verhindert dies nicht. Zwei Beobachter mit unterschiedlichem Hintergrundwissen können legitimerweise unterschiedliche Überzeugungen über ein und dasselbe Ereignis haben. Kurz gesagt, während die frequentistische Sichtweise manchmal als zu eng angesehen wird (sie verbietet viele Dinge, denen wir Wahrscheinlichkeiten zuordnen wollen), wird die Bayessche Sichtweise manchmal als zu breit angesehen (sie erlaubt zu viele Unterschiede zwischen Beobachtern).

Was ist der Unterschied? Und wer hat Recht?

Nachdem Sie nun beide Ansichten unabhängig voneinander gesehen haben, ist es sinnvoll, sie miteinander zu vergleichen. Gehen Sie zurück zu dem hypothetischen Roboterfußballspiel vom Anfang des Abschnitts. Was denken Sie, würden ein Frequentist und ein Bayesianer zu diesen drei Aussagen sagen? Welche Aussage würde ein Frequentist als die richtige Definition von Wahrscheinlichkeit bezeichnen? Für welche würde sich ein Bayesianer entscheiden? Würden einige dieser Aussagen für einen Frequentisten oder einen Bayesianer bedeutungslos sein? Wenn Sie die beiden Perspektiven verstanden haben, sollten Sie eine Vorstellung davon haben, wie Sie diese Fragen beantworten können.

Okay, vorausgesetzt, Sie verstehen den Unterschied, dann fragen Sie sich vielleicht, welche von beiden Sichtweisen richtig ist? Ehrlich gesagt, weiß ich nicht, ob es eine „richtige“ Antwort gibt. Soweit ich das beurteilen kann, gibt es nichts mathematisch Falsches an der Art und Weise, wie Frequentisten über Ereignisfolgen denken, und es gibt nichts mathematisch Falsches an der Art und Weise, wie Bayesianer die Überzeugungen eines rationalen Akteurs definieren. Wenn man ins Detail geht, stimmen Bayesianer und Frequentisten sogar in vielen Dingen überein. Viele frequentistische Methoden führen zu Entscheidungen, die nach Ansicht der Bayesianer auch ein rationaler Akteur treffen würde. Und viele Bayessche Methoden haben sehr gute frequentistische Eigenschaften.

In den meisten Fällen bin ich pragmatisch und verwende daher jede statistische Methode, der ich vertraue. Wie sich herausstellt, bevorzuge ich deshalb aus Gründen, die ich gegen Ende des Buches erläutern werde, Bayessche Methoden. Aber ich bin nicht grundsätzlich gegen frequentistische Methoden. Nicht jeder ist ganz so entspannt. Denken Sie zum Beispiel an Sir Ronald Fisher, eine der herausragenden Persönlichkeiten der Statistik und ein vehementer Gegner aller Bayesschen Methoden: Er bezeichnet in seiner Abhandlung über die mathematischen Grundlagen der Statistik die Bayessche Wahrscheinlichkeit als „einen undurchdringlichen Dschungel, der den Fortschritt in Richtung Präzision der statistischen Konzepte aufhält“ (Fisher, 1922b). Oder der Psychologe Paul Meehl, der darauf hinweist, dass das Vertrauen in frequentistische Methoden einen „potenten, aber unfruchtbaren intellektuellen Wüstling, der auf seinem fröhlichen Weg eine lange Reihe von geschändeten Jungfrauen, aber keinen lebensfähigen wissenschaftlichen Nachwuchs hinterlässt“, ausmachen kann (Meehl, 1967 ; S. 114). Die Geschichte der Statistik kann, wie Sie sich denken können, recht unterhaltsam sein.

Ich persönlich bevorzuge zwar die Bayessche Sichtweise, doch die meisten statistischen Analysen basieren auf der frequentistischen Sichtweise. Meine Überlegungen sind pragmatisch. Das Ziel dieses Buches ist es, in etwa das gleiche Gebiet abzudecken wie ein typischer Statistikkurs im Grundstudium der Psychologie. Wenn Sie die statistischen Werkzeuge verstehen wollen, die von den meisten Psychologen verwendet werden, brauchen Sie ein gutes Verständnis der frequentistischen Methoden. Ich verspreche Ihnen, dass dies keine vergebliche Mühe ist. Selbst wenn Sie am Ende zur Bayesschen Sichtweise wechseln wollen, sollten Sie zumindest ein Buch über die „orthodoxe“ frequentistische Sichtweise lesen. Außerdem werde ich die Bayessche Sichtweise nicht völlig ignorieren. Von Zeit zu Zeit werde ich einige Kommentare aus Bayesscher Sicht hinzufügen, und ich werde das Thema in Kapitel Bayessche Statistik noch einmal vertiefen.