Sonntagsfrage & Co. - was Sie über Wahlumfragen wissen müssen
Was ist eine Fehlergrenze? Was bedeutet eigentlich repräsentativ? Und wie kann ich an einer Umfrage teilnehmen? Die wichtigsten Fragen und Antworten zu Meinungsumfragen im Überblick.
- Wie funktioniert eine Wahlumfrage?
- Was heißt Fehlergrenze (Schwankungsbreite)?
- Warum wird die Fehlergrenze nicht genannt?
- Was heißt eigentlich repräsentativ?
- Welche Korrekturen werden vorgenommen?
- Wieso kommen andere Institute zu anderen Ergebnissen?
- Warum werden rund 1.000 Menschen befragt?
- Was ist die Sonntagsfrage?
- Handelt es sich bei der Sonntagsfrage um eine Wahlprognose?
- Warum werden keine kleinen Parteien genannt?
- Warum liegen die Umfragen manchmal komplett daneben?
- Beeinflussen Umfragen das Wahlverhalten/die Wahlergebnisse?
- Wie werden die Umfrage-Teilnehmer ausgewählt?
- Wie viele Menschen lehnen eine Teilnahme an den Umfragen ab?
- Welche Gruppe bereitet den Instituten die größten Probleme?
- Warum werden die Teilnehmer telefonisch befragt?
- Warum rufen die Meinungsforscher nicht häufiger auf Handys an?
- Gibt es auch reine Online-Befragungen?
- Wie kann ich an einer Befragung teilnehmen?
- Warum veröffentlicht die ARD keine Umfragen kurz vor der Wahl?
- Warum werden die hr-Umfragen immer von infratest dimap durchgeführt?
- Welche anderen Institute gibt es noch?
Wie funktioniert eine Wahlumfrage?
Das Ziel einer Umfrage ist es, aus den Antworten einer relativ kleinen Gruppe von Menschen (der so genannten Stichprobe), die telefonisch oder übers Internet befragt werden, auf den tatsächlichen Wert in einer deutlich größeren Gruppe (der so genannten Grundgesamtheit) zu schließen. Dieser Wert ist in der Regel nicht bekannt, denn dazu müssten ja alle Mitglieder der jeweiligen Grundgesamtheit einzeln befragt werden. Im Falle der Wahlsonntagsfrage wären das rund 61 Millionen Wahlberechtigte in Deutschland. Daher ziehen die Meinungsforscher eine Stichprobe und befragen diese. Sofern bestimmte statistische Kriterien berücksichtigt werden, kommen die Ergebnisse der Stichprobe dem "wahren Wert" schon relativ nahe.
Allerdings: Keine Stichprobe ist perfekt, denn sie kann immer nur ein Abbild der Grundgesamtheit sein. Wenn die Meinungsforscher zehn Stichproben ziehen und befragen, erhalten sie sehr wahrscheinlich zehn verschiedene Ergebnisse. Bei 100 Stichproben sind es 100 verschiedene Ergebnisse usw. Die Ergebnisse können mal über oder mal unter dem "wahren Wert" liegen, und manchmal treffen sie ihn vielleicht sogar genau. Sofern die Stichproben repräsentativ sind, verteilen sich am Ende alle Ergebnisse mit einer sehr großen Wahrscheinlichkeit in einem bestimmten Bereich um den "wahren Wert". Diesen Bereich nennt man Fehlergrenze.
Was heißt Fehlergrenze (Schwankungsbreite)?
Die Fehlergrenze, auch Fehlertoleranz oder Schwankungsbreite genannt, wird mit Hilfe eines Plus/Minus-Wertes angegeben, zum Beispiel +/- 3 Prozent. Wie groß die Fehlergrenze ist, hängt von bestimmten Faktoren ab: vor allem von der Größe der Stichprobe und dem Anteilswert des untersuchten Gegenstandes. Bei der Wahlsonntagsfrage werden in der Regel 1.000 Menschen nach ihrer Wahlabsicht befragt. Angenommen in dieser Stichprobe wird ein Anteilswert von 40 Prozent für die CDU gemessen. Dann wäre es sehr unwahrscheinlich, dass der "wahre Wert" der CDU in der Wählerschaft tatsächlich exakt 40 Prozent beträgt, womöglich liegt er leicht darüber oder darunter.
Allerdings lässt sich bei einer repräsentativen Stichprobe dieser Größe mit einer sehr großen Wahrscheinlichkeit (von 95%, um genau zu sein) aussagen, dass der wahre Wert der CDU in einem Bereich von +/- drei Prozent um den gemessenen Wert liegt - also irgendwo zwischen 37 und 43 Prozent. Wenn der gemessene Anteilswert kleiner ist, schrumpft auch die Fehlergrenze. Bei einer Partei, die in der Stichprobe auf 5 Prozent kommt, beträgt er +/- 1,4 Prozent. Der wahre Wert der Partei liegt also irgendwo zwischen 3,6 und 6,4 Prozent.
Warum wird die Fehlergrenze nicht genannt?
Die Fehlergrenze wird in den meisten Fällen genannt. hessenschau.de weist im Hessentrend, genau wie auch tagesschau.de im Deutschlandtrend, stets auf die Fehlergrenzen hin. Meistens befindet sich der Hinweis zusammen mit anderen Hinweisen zur Umfrage in einer Infobox am Ende der Meldung. In der Kommunikation sind diese Schwankungsbreiten der Ergebnisse jedoch schwierig. Eine Überschrift in der Art "CDU sinkt auf Wert zwischen 35 und 41 Prozent" wäre schwer vermittelbar. Medien und Institute beschränken sich daher meist darauf, den Mittelwert der Fehlertoleranz zu nennen, weisen aber in der Regel auf die Fehlergrenze hin. Eine Umfrage, die den Hinweis weglässt, ist nicht seriös.
Was heißt eigentlich repräsentativ?
Repräsentativ bedeutet, dass die Zusammensetzung der Stichprobe möglichst nah an die Zusammensetzung der Grundgesamtheit herankommen soll. Wenn in der gesamten Wählerschaft beispielsweise der Anteil an Menschen über 65 Jahren 20 Prozent beträgt, sollte dies auch in der Stichprobe so sein. Ähnliches gilt für das Verhältnis von Frauen und Männern, Ost- und Westdeutschen oder bei der Verteilung von Bildung und Einkommen. Dies gelingt am ehesten, wenn die Stichprobenauswahl zufällig geschieht, also ohne verzerrende Einflüsse. In der Theorie sollte jedes Mitglied der Grundgesamtheit, also etwa jeder Wahlberechtigte, die exakt gleich Chance haben, in die Stichprobe zu gelangen. Ist diese Voraussetzung erfüllt, gilt die Stichprobe als repräsentativ.
Welche Korrekturen werden vorgenommen?
Keine Stichprobe ist perfekt. Neben den oben genannten Fehlergrenzen enthalten Stichproben häufig auch so genannte systematische Fehler, die durch Verzerrungen entstehen. Diese Verzerrungen haben verschiedene Gründe: Zum Beispiel sind junge Menschen schlechter erreichbar, unter anderem weil sie oft nicht über ein Festnetztelefon verfügen. Frauen verweigern häufiger die Teilnahme an Umfragen als Männer. Und Anhänger rechter Parteien trauen sich möglicherweise im Gespräch nicht, ihre Parteipräferenz zuzugeben. Wie groß diese systematischen Fehler sind, ist unbekannt. Die Meinungsforscher versuchen aber, sie durch Korrekturen, so genannte Gewichtungen, zu minimieren. Im Wesentlichen sind drei Arten der Gewichtung üblich: die soziostrukturelle Gewichtung, die Haushaltsgewichtung und die Recall-Frage. Es gibt aber auch noch andere Möglichkeiten. Was genau die Institute machen, behalten sie für sich.
Wieso kommen andere Institute zu anderen Ergebnissen?
Da sind zum einen die üblichen Fehlergrenzen, die alle Stichproben von sich aus haben. Hinzu kommt, dass die Umfrageinstitute die Rohdaten, die bei den Befragungen entstehen, zusätzlich durch verschiedene Gewichtungen korrigieren. Was dabei herauskommen kann, hat die New York Times vor der US-Wahl 2016 eindrücklich demonstriert. Sie gab die Rohdaten einer Befragung an vier renommierte Meinungsforschungsinstitute, die die Daten nach ihren üblichen Kriterien bearbeiten sollten. Am Ende kamen die Institute zu vier völlig unterschiedlichen Ergebnissen: In drei Fällen lag Hillary Clinton unterschiedlich stark vorn, in einem Fall Donald Trump.
Was ist die Sonntagsfrage?
Die Sonntagsfrage oder auch Wahlsonntagssfrage wird auch als Wahlabsichtsfrage bezeichnet. Sie ist das wichtigste Instrument bei politischen Umfragen und bekommt meistens die mit Abstand größte Aufmerksamkeit. Der genaue Wortlaut der Frage lautet in der Regel so oder ähnlich: "Welche Partei würden Sie wählen, wenn am kommenden Sonntag Bundestagswahl wäre?" Die Sonntagsfrage soll die Wahlabsicht der Befragten messen - sie stellt aber keine Prognose für einen Wahlausgang dar, auch wenn sie fälschlicherweise häufig so interpretiert wird.
Handelt es sich bei der Sonntagsfrage um eine Wahlprognose?
Nein. Die Meinungsforscher betonen immer deutlich, dass es sich eben nicht um eine Prognose, sondern um eine Momentaufnahme zum Zeitpunkt X handelt. Infratest dimap beispielsweise schreibt auf seiner Webseite: "Die Sonntagsfrage misst aktuelle Wahlneigungen und nicht tatsächliches Wahlverhalten. (...) Rückschlüsse auf den Wahlausgang sind damit nur bedingt möglich."
Warum werden rund 1.000 Menschen befragt?
Bei einer Stichprobe dieser Größe liegen die Fehlergrenzen je nach Anteilswert zwischen 1,4 und 3,1 Prozent. Bei einer größeren Stichprobe verringern sich die Fehlergrenzen. Um die Fehlergrenzen zu halbieren, muss die Stichprobe aber gleich vervierfacht werden. In einer Stichprobe von 4.000 Befragten läge der "wahre Wert" einer mit 40 Prozent gemessenen Partei also irgendwo zwischen 38,5 und 41,5 Prozent. Während sich der Erkenntnisgewinn in Grenzen hält, ist die Zahl der Befragten sehr deutlich gewachsen - und damit auch die Kosten der Meinungsforscher und ihrer Auftraggeber. Die meisten Umfrageinstitute begnügen sich daher mit einer Stichprobe von 1.000 Menschen. Die Anzahl von rund 1.000 Befragten hat sich bei Meinungsumfragen als Quasi-Standard etabliert.
Warum werden keine kleinen Parteien genannt?
Ihr Anteil in der Stichprobe ist zu gering, um einen validen Wert in der Umfrage zu bekommen. Sie werden daher unter "Sonstige" zusammengefasst
Warum liegen die Umfragen manchmal komplett daneben?
Zum einen, weil immer die Schwankungsbreiten mitgedacht werden müssen. Zum anderen, weil es sich eben nicht um eine Prognose, sondern nur um eine Umfrage zum Zeitpunkt X handelt. In den letzten Tagen vor der Wahl können aktuelle Ereignisse die Wahlentscheidung noch einmal beeinflussen. Damit zusammen hängt auch, dass der Anteil der unentschlossenen Wähler, die sich erst kurz vor dem Wahltag oder sogar erst in der Wahlkabine für eine Partei entscheiden, in den letzten Jahren immer größer geworden ist. Man spricht in diesem Zusammenhang von "Volatilität" der Wählerinnen und Wähler.
Beeinflussen Umfragen das Wahlverhalten/die Wahlergebnisse?
Ja, das tun sie. Da sind sich die Forscher relativ sicher. Unklar ist aber, wie stark der Einfluss von Umfragen ist. Ereignisse aus den vergangenen Jahren legen einen nicht unerheblichen Einfluss nah. Zwei Beispiele von 2013: Vor der Wahl in Niedersachsen lag die FDP in allen Umfragen zwischen 4 und 5 Prozent und drohte, an der Fünfprozenthürde zu scheitern - am Ende landete die FDP bei stolzen 9,9 Prozent, der Koalitionspartner CDU erlitt hingegen herbe Verluste. Die Vermutung liegt nah, dass viele CDU-Wähler, die weiterhin Schwarz-Gelb haben wollten, "Leihstimmen" für die FDP vergaben. Ganz anders gestaltete sich die Situation wenige Monate später zur Bundestagswahl: In allen Umfragen, die zwei bis drei Tage vor dem Wahltag veröffentlicht wurden, lag die FDP zwischen 5 und 6 Prozent, der Einzug in den Bundestag erschien realistisch. Ein Leihstimmen-Effekt blieb schließlich aus; am Wahltag scheiterte die Partei mit 4,8 Prozent am Einzug in den Bundestag.
Wie werden die Umfrage-Teilnehmer ausgewählt?
Entscheidend ist der Zufall. Es gibt verschiedene Verfahren, nach denen die Teilnehmer ausgewählt werden. In der bis heute häufigsten Befragungsmethode - der Telefon-Umfrage - erfolgt die Auswahl in der Regel in einem zweistufigen Verfahren. Weil nicht alle Telefonnummern irgendwo zentral gespeichert sind (immer weniger Menschen veröffentlichen ihre Nummer in Telefonbüchern), werden die gewählten Nummern von einem Computer per Zufallsauswahl ermittelt. Innerhalb des Haushaltes folgt eine weitere Zufallsauswahl: Häufig befragen die Institute z.B. diejenige Person, die als nächstes Geburtstag hat. So sollen weitere Verzerrungen verhindert werden.
Bei Online-Befragungen werden die Befragten aus einem sehr großen Pool an potentiellen Befragten ausgewählt, einem sogenannten Online-Panel. Diese Panels können viele tausend, womöglich hunderttausende Mitglieder haben. Die Teilnehmer der Befragung werden dann vom Computer per Zufallsauswahl bestimmt. Viele Institute setzen bei ihren Befragungen auf eine Mischung aus Telefon- und Online-Erhebungen, den so genannten Mixed Mode.
Wie viele Menschen lehnen eine Teilnahme an den Umfragen ab?
Das ist das große Geheimnis der Meinungsforscher. Ihr Anteil wurde in den vergangenen Jahren aber immer größer. Verschiedene Studien legen nahe, dass nur zwischen 10 und 30 Prozent aller Befragten bei einer telefonischen Umfrage auch bereit sind, Antworten zu geben. Das heißt für die Meinungsforscher: Um am Ende auf eine Zahl von rund 1.000 Teilnehmern zu kommen, müssen viele tausend Anrufe getätigt werden. Die Meinungsforschungsinstitute setzen daher zunehmend auf Online-Befragungen, häufig in einer Mischform aus Telefon- und Online-Erhebungen.
Welche Gruppe bereitet den Instituten die größten Probleme?
Ein großes Problem ist, dass immer mehr Menschen die Teilnahme an einer Umfrage ablehnen. Die Gründe dafür können vielfältig sein: Misstrauen, Zeitmangel, Übersättigung von Umfragen. Zudem erreichen die Meinungsforscher immer größere Teile der Gesellschaft erst gar nicht - vor allem deswegen, weil immer mehr Menschen kein Festnetztelefon besitzen. Darüber laufen aber immer noch die meisten Befragungen (auch wenn Online-Erhebungen zunehmend an Bedeutung gewinnen). Das betrifft insbesondere jüngere Menschen.
Warum werden die Teilnehmer telefonisch befragt?
Telefonische Befragungen haben sich in der Vergangenheit als günstiges und zuverlässiges Instrument erwiesen. Persönliche Befragungen (unter vier Augen) sind wesentlich teurer, da die Befrager durch das gesamte Bundesgebiet reisen und viele Personen ansprechen müssen. Zudem sind viele Menschen bei persönlichen Befragungen möglicherweise eingeschüchtert und antworten nicht wahrheitsgemäß, z.B. wenn sie rechte Parteien bevorzugen ("Phänomen der Sozialen Erwünschtheit"). Telefon-Umfragen stellen die Meinungsforscher seit einigen Jahren aber vor immer größere Probleme - denn immer weniger Menschen, gerade jüngere, verfügen über ein Festnetztelefon. Die Institute setzen daher zunehmend auf Online-Befragungen.
Warum rufen die Meinungsforscher nicht häufiger auf Handys an?
Neben Kostengründen ist ein ganz anderer Punkt entscheidend: Um ein möglichst repräsentatives Ergebnis zu erzielen, rufen die Institute Teilnehmer im ganzen Land an. Dies lässt sich über die Auswahl von Vorwahl-Bezirken relativ leicht steuern. Handys dagegen haben aber keine regionalen Vorwahlen und erschweren dadurch die Arbeit der Meinungsforscher, was gerade bei Umfragen für bestimmte Bundesländer ein Problem ist. Hinzu kommt: Auf Handys ist die Ablehnungsquote noch höher, da die Angerufenen häufiger in ungünstigen Situationen erwischt werden, z.B. auf der Arbeit oder unterwegs.
Gibt es auch reine Online-Befragungen?
Ja, reine Online-Befragungen sind seit einigen Jahren zunehmend auf dem Vormarsch. Die Institute Civey oder YouGov setzen beispielsweise auf diese Methode. Dabei füllen die Teilnehmer online Fragebögen aus. Um teilnehmen zu können, muss man sich vorher registrieren und Angaben zu seiner Person machen. Damit können die Institute Verzerrungen in den Antworten nachträglich gewichten. Die Zuverlässigkeit von Online-Umfragen ist in der Wissenschaft umstritten. Ein gewichtiges Argument dafür sind allerdings die deutlich geringeren Kosten.
Wie kann ich an einer Befragung teilnehmen?
Das lässt sich - zumindest bei Telefon-Befragungen - nicht beeinflussen. Menschen, die über ein Festnetztelefon oder ein Handy verfügen, könnten theoretisch jederzeit befragt werden - sofern es der Zufall will. Bei Online-Erhebungen kommt es darauf an, welches Panel die Institute nutzen. Infratest dimap greift beispielsweise auf ein Panel von 150.000 Mitgliedern zurück, die aus dem Kunden-Bonussystem Payback rekrutiert werden. Die Teilnehmer der jeweiligen Umfrage werden per Zufall aus diesem Panel ausgewählt.
Warum veröffentlicht die ARD keine Umfragen kurz vor der Wahl?
Der Einfluss von Umfragen auf die Entscheidung von Wählern soll so gering wie möglich sein. Umfragen, die kurz vor dem Wahltag veröffentlicht werden, könnten dies ändern. Diese Haltung war lange Jahre allgemeiner Konsens unter Meinungsforschern und Medien. In den vergangenen Jahren ist aber eine Reihe von Medien ausgeschert und veröffentlichen noch wenige Tage vor einer Wahl oder sogar am Wahltag noch Umfragen.
Warum werden die hr-Umfragen immer von infratest dimap durchgeführt?
Um regelmäßige und zuverlässige Umfragen zu gewährleisten, sind Vertrauen und eine eingespielte Zusammenarbeit wichtig. Der hr setzt dabei - wie im Übrigen die gesamte ARD - auf die Dienste von infratest dimap. Der Vertrag mit dem Institut wird alle paar Jahre neu verhandelt.
Welche anderen Institute gibt es noch?
Eine ganze Menge. Das ZDF zum Beispiel arbeitet seit Jahren mit der Forschungsgruppe Wahlen zusammen. Weitere bekannte Institute sind Allensbach, Emnid, Forsa, GMS oder INSA.