Stichproben & Verzerrung

Um zu wissen, ob eine Suppe salzig genug ist, musst du nicht den ganzen Topf leer essen. Ein Löffel reicht, vorausgesetzt, du hast vorher gut umgerührt. Genau nach diesem Prinzip funktionieren Wahlprognosen, Qualitätskontrollen und Medikamentenstudien: Ein kleiner, gut gewählter Teil verrät erstaunlich viel über das Ganze. Der Haken steckt im Umrühren.

Warum nicht einfach alle fragen?

Alle Menschen eines Landes zu befragen ist teuer, langsam und oft schlicht unmöglich. Deshalb zieht man eine Stichprobe: eine kleine Auswahl aus der Gesamtheit, für die man sich interessiert. Erstaunlicherweise braucht eine gute Stichprobe gar nicht riesig zu sein. Schon rund tausend zufällig ausgewählte Personen liefern für ein ganzes Land brauchbare Schätzungen, ob es 8 Millionen Einwohner hat oder 80. Entscheidend ist nicht, wie groß die Stichprobe ist, sondern wie sie zustande kommt.

Die Kraft des Zufalls

Die Goldregel heißt Zufallsstichprobe: Jedes Mitglied der Gesamtheit muss die gleiche Chance haben, ausgewählt zu werden. Der Zufall ist hier kein Feind, sondern der beste Verbündete, denn er bevorzugt niemanden. Stell dir einen Beutel voller Murmeln in zwei Farben vor. Ziehst du blind und gut gemischt einige Murmeln heraus, spiegelt deine Handvoll ungefähr das Mischverhältnis im ganzen Beutel wider. Kleine Abweichungen bleiben, sie werden aber mit wachsender Stichprobe immer kleiner und lassen sich sogar berechnen: Bei tausend zufällig Befragten weicht die Schätzung meist um höchstens etwa 3 Prozentpunkte vom wahren Wert ab.

Systematische Verzerrung

Gefährlich wird es, wenn die Auswahl nicht zufällig ist, sondern bestimmte Gruppen systematisch bevorzugt oder ausschließt. Eine Online-Umfrage erreicht nur Menschen, die online sind, und wer freiwillig teilnimmt, hat oft eine besonders starke Meinung. Eine Umfrage zur Fahrradfreundlichkeit, die nur am Radweg durchgeführt wird, übertreibt den Anteil der Radfahrenden gewaltig. Solche Verzerrungen verschwinden nicht durch mehr Daten: Eine riesige, schiefe Stichprobe ist schlechter als eine kleine, saubere. Genau daran ist 1936 eine berühmte US-Wahlprognose gescheitert: Eine Zeitschrift wertete mehr als 2 Millionen zurückgeschickte Stimmkarten aus und sagte trotzdem den falschen Sieger voraus. Ihre Adressen stammten aus Telefonbüchern und Autoregistern und führten mitten in der Wirtschaftskrise vor allem zu wohlhabenden Haushalten.

Die Flugzeuge, die zurückkamen

Das berühmteste Beispiel für eine unsichtbare Verzerrung stammt aus dem Zweiten Weltkrieg. Zurückkehrende Bomber wurden auf Einschusslöcher untersucht, und die meisten Treffer fanden sich an Rumpf und Flügeln. Der naheliegende Plan: genau dort mehr Panzerung. Der Statistiker Abraham Wald widersprach: Untersucht wurden ja nur die Maschinen, die es zurückgeschafft hatten. Flugzeuge mit Treffern an Motor oder Cockpit tauchten in den Daten kaum auf, weil sie abgestürzt waren. Verstärkt werden müssen also gerade die Stellen mit wenigen Löchern. Dieser Denkfehler heißt Überlebenden-Verzerrung: Wir sehen nur die Fälle, die es bis in die Daten geschafft haben.