Die Weisheit der Wachen

Wofür unsere Umfragen repräsentativ sind

Immer wieder weden wir gefragt, für wen oder was unsere Umfragen eigentlich repräsentativ seien. In diesem Artikel fragen wir, was Repräsentativität bedeutet, und kommen zum Schluss: Unsere Umfragen bieten ein Abbild des Meinungsspektrums jener Menschen, die wach und interessiert am Zeitgeschehen teilnehmen.

Schon wieder kritisiert ein Journalist unsere letzte Umfrage zum Selbst-Bewusstsein von 50plus als „nicht repräsentativ“. Womit er meint begründet zu haben, er müsse die Ergebnisse nicht zur Kenntnis nehmen. Ihm und anderen sei empfohlen, sich etwas vertiefter mit diesem Begriff auseinanderzusetzen:

Repräsentativ kommt von repräsentieren. Etwas repräsentiert etwas anderes, das heisst, stellt es dar, bildet es ab. Im Falle von Umfragen bildet eine repräsentative Stichprobe jeweils eine Gesamtheit ab. Am schönsten wäre es natürlich immer, man könnte diese Gesamtheit fragen, also jede und jeden Einzelnen, aber das geht natürlich nicht, weshalb man nur einen Ausschnitt, eben die Stichprobe, fragt. Je besser diese Auswahl das Ganze abbildet, desto repräsentativer ist die Stichprobe. 

So weit, so klar. Fragt sich nur, was eigentlich die abzubildende Gesamtheit ist. Betrachten wir dafür eine gute alte Schweizer Volksabstimmung. Wie schon der Name sagt, bildet hier das Volk die Gesamtheit, und die Sieger sprechen denn auch ganz unmissverständlich davon, das Volk habe in ihrem Sinne entschieden. Nun könnte man sich natürlich darüber unterhalten, ob die Gesamtheit der stimmberechtigten Schweizerinnen und Schweizer wirklich „das Volk“ sei, oder ob die hier lebenden Menschen mit ausländischem Pass nicht auch dazu gehören würden, doch selbst wenn wir die Gesamtheit auf die Stimmberechtigten eingrenzen, hat keineswegs das Volk als Ganzes entschieden.

Denn obwohl es in der Schweiz wirklich sehr leicht ist abzustimmen, nehmen im Durchschnitt nur rund vierzig Prozent diese Möglichkeit auch tatsächlich wahr. Und trotzdem käme es auch den Verlierern nie in den Sinn zu sagen, es hätte ja gar nicht das Volk entschieden, sondern nur eine Minderheit davon, und ob diese Mindeheit repräsentativ für das ganze Volk sei, wäre doch völlig unklar. Nein, die abstimmende Minderheit wird völlig selbstverständlich als repräsentativ für die Gesamtheit des Volkes betrachtet. 

Worin nun unterscheidet sich diese abstimmende Minderheit vom Rest des Volkes? Sicher in einem Punkt: Sie ist interessierter und engagierter. Auf diese wachen Zeitgenossen kommt es an, denn sie entscheiden.

Nun gibt es zwar bei Umfragen nichts zu entscheiden, und die Teilnahme daran ist weniger leicht zugänglich als bei einer Volksabstimmung. Und doch gibt es Parallelen: Wo es um Meinungsbildung geht, spielen immer die interessierten und engagierten, also die wachen Zeitgenossen, die Hauptrolle. Sie nehmen Ideen früher auf als andere, und sie sorgen für deren Ausbreitung. Ich habe diese gesellschaftliche Minderheit mal „Bewusstseins-Elite“ genannt und dafür ordentlich Prügel bezogen. Deshalb spreche ich heute lieber vom „gesellschaftlichen Sauerteig“. Gemeint ist immer jene Minderheit von Menschen, die sich für ein Thema besonders interessieren und engagieren und deshalb im Prozess der kollektiven Meinungsbildung eine zentrale Rolle spielen. 

Wenn man sich für das Meinungsbild zu einem bestimmten Thema interessiert, wen fragt man da besser? Jemanden, der keine Ahnung hat, oder jemanden, der sich für das Thema so sehr interessiert, dass er dazu seine Meinung freiwillig abgibt? Die Frage ist natürlich rhetorischer Natur. Und trotzdem geistert immer noch die Vorstellung herum, man müsse zu jedem Thema alle fragen, nur das sei repräsentativ. Wenn mich also ein Marktforscher anruft, um meine Meinung zu einem neuen Automodell zu erfahren, bloss weil ich zur Gesamtheit der Führerscheinbesitzer gehöre, dann handelt er in diesem Sinne repräsentativ. Dass ich von Autos nun wirklich keine Ahnung habe, stört ihn nicht, meine vielleicht dann doch widerwillig abgegeben Meinung zählt in der Endauswertung genau gleich viel wie jene eines ausgewiesenen Autokenners.

Uns dagegen stört das. Wir wollen nur Meinungsäusserungen von Menschen, die freiwillig an einer Umfrage teilnehmen, weil sie sich für das Thema interessieren – und weil sie gehört werden wollen. Deshalb ziehen wir auch keine Stichprobe aus irgendeiner Adressdatei und sprechen dann die ausgewählten Personen gezielt an, wie es in klassisch „repräsentativen“ Studien geschieht, sondern wir schalten unsere Umfragen ins Netz und laden alle Interessierten ein, daran teilzunehmen. „To whom it may concern“ – für jene, die eine Resonanz empfinden. So erreichen wir natürlich nicht alle potenziellen Teilnehmenden, aber doch so viele, dass an unseren beiden letzten gemeinsam mit der terzStiftung durchgeführten Umfragen jeweils über 500 Menschen einen anspruchsvollen und einige Zeit beanspruchenden Fragebogen vollständig ausgefüllt haben.

Womit wir beim Fetisch Zahl wären. Viele glauben ja, Repräsentativität hänge von der Anzahl der Befragten ab, weshalb sie zum Beispiel Teilnehmerzahlen von unter tausend für nicht repräsentativ halten. Dabei weiss jeder Statistikschüler, dass eine steigende Befragtenzahl das Fehlerrisiko vermindert, nicht aber beseitigt. Selbst wenn man alles haargenau nach Lehrbuch macht, kann die Stichprobe ein etwas anderes Bild zeigen als die Gesamtheit. Ganz zu schweigen davon, dass dieser Fehler in Einzelfällen sogar beträchtlich sein kann; das mit der Repräsentativität ist also auch im klassischen Bereich eine ziemlich komplizierte Geschichte. Wozu noch kommt, dass es auch bei streng repräsentativen Stichproben immer schwieriger wird, alle ausgewählten Personen zu erreichen. Für Telefonumfragen etwa fällt die zunehmende Schar jener aus, die nur noch übers Handy telefonieren und deshalb in kenem Telefonbuch stehen.

Der langen Rede kurzer Sinn: Die Zahl der Teilnehmenden ist kein Qualitätskriterium. Entscheidender ist die Frage, wie gut die Teilnehmenden das Meinungsspektrum der Gesamtheit, in unserem Fall definiert als „wache Zeitgenossen“, abbilden. Und dafür haben wir einen handfesten empirischen Beleg. In zahlreichen Umfragen haben wir jeweils das Meinungsbild der ersten fünfzig oder hundert Teilnehmenden mit jenem aller Teilnehmer verglichen. Und dabei immer wieder bestätigt gefunden, dass die Unterschiede minimal sind. Das heisst: Ein noch etwas grobes, aber schon sehr zuverlässiges Meinungsbild lässt sich bereits aus fünfzig oder hundert Teilnehmenden heraus lesen. Womit die Wahrscheinlichkeit gross ist, dass sich daran auch bei Tausenden von Teilnehmenen nichts mehr ändern würde.

Diese innere Stabilität der Stichprobe ist ein überzeugendes Indiz dafür, dass die Ergebnisse unserer Umfragen tatsächlich zuverlässig das Meinungsspektrum der wachen Zeitgenossen spiegeln. Am Meinungsbild würde sich vielleicht etwas ändern, wenn wir mit Gewalt auch jenen eine Meinung entlocken würden, die gar keine haben, doch wenn wir mehr wache Zeitgenossen fragen würden, blieben die Ergebnisse unverändert.

Unsere Umfragen sind also repräsentativ für eine bestimmte Bevölkerungsgruppe, nämlich für die wachen Zeitgenossen. Deren Meinung erscheint uns wertvoll, denn sie prägt die zukünftigen Entwicklungen. Und deshalb wollen wir diesen Erfahrungsschatz mit unseren Umfragen erschliessen. Wir glauben nicht an die Weisheit der Massen. Wohl aber an die Weisheit der Wachen.