Wissen: Umfrage gestalten

Umfragen sind in vielen Wissenschaften eine der wichtigsten Datenquellen. Vor allem sozialwissenschaftliche Disziplinen nutzen die Ergebnisse von Befragungen. Damit die Ergebnisse aber hohe Aussagekraft besitzen, muss schon bei der Erstellung einiges beachtet werden.

Befragung ist nicht gleich Befragung

Wer von Umfragen spricht, meint üblicherweise große, nach statistischen Qualitätsstandards erstellte Erhebungen. Es gibt aber auch Sonderfälle. Für sogenannte „Qualitative Befragungen“ gelten andere Regeln. Sie sind deutlich weniger standardisiert und erfordern weder eine Zufallsauswahl noch große Fallzahlen. Allerdings eigenen sie sich vor allem für die Theoriebildung, Vor- und Begleituntersuchungen und weniger für das Testen von Hypothesen.

Voraussetzungen für eine Befragung

Üblicherweise steht am Anfang eine These, die anhand der Befragung überprüft werden soll, beispielsweise „Die Mehrheit der deutschen Wahlberechtigten ist gegen die Wiedereinführung der D-Mark“. Oft wird aber nicht die Hypothese selbst getestet, sondern man versucht die Nullhypothese zu widerlegen, also das Gegenteil der eigentlichen Aussage. In diesem Fall lautete die Nullhypothese „Die Mehrheit der deutschen Wahlberechtigten will die Wiedereinführung der D-Mark“.

Damit die Ergebnisse einer Umfrage statistische verwertbar sind, müssen mehrere Qualitätskriterien erfüllt sein. Die wichtigsten sind:

• Große Fallzahlen
• Repräsentative Stichprobe
• Keine Lenkung des Befragten
• Verständliche Fragen

Was soll untersucht werden

Zunächst muss sich der Forscher überlegen, wen er eigentlich befragen will, wer also die Grundgesamtheit bildet. Grundgesamtheit nennt man die Gruppe, für die eine Aussage getroffen werden soll. Wer also die politische Einstellung der wahlberechtigten Deutschen erforscht, für den gehören fast alle deutsche Staatsbürger über 18 zur Grundgesamtheit. Meist kann nicht die gesamte Zielgruppe befragt werden, sondern nur ein Teil davon, die Teilgesamtheit.

Aber nicht immer ist die Festlegung so einfach. Eine Firma will beispielsweise die Zufriedenheit mit ihrer Kantine untersuchen lassen. Wer soll dabei die Grundgesamtheit bilden? Alle Mitarbeiter? Dann dürften auch jene mitreden, die dort seit Jahren nicht mehr gegessen haben. Oder nur die, die auch in der Kantine essen? Dann fallen all jene raus, die unzufrieden mit dem Angebot sind und deshalb das Betriebsrestaurant meiden. In der Praxis ist deshalb neben guter Planung auch kluge Auswertung und Interpretation nötig.

Was heißt Repräsentativität?

An vielen Ergebnissen der psychologischen Forschung wurde in den vergangenen Jahren heftige Kritik geübt. Ihre Aussagen ließen sich nicht auf die gesamte Bevölkerung verallgemeinern, sondern gälte nur für Psychologiestudenten. Denn der Einfachheit halber hatte man die Probanden für Experimente und Befragungen einfach aus der Studierendenschaft rekrutiert.

An diesem Beispiel wird deutlich, was das Ziel einer guten Umfrage sein sollte. Ihre Ergebnisse sollten sich auf die gesamte Grundgesamtheit verallgemeinern lassen.

Einfach haben es Forscher natürlich, wenn sie eine kleine Gruppe untersuchen wollen. Wer die Arbeitszufriedenheit in einem mittelgroßen Betrieb untersuchen will, kann einfach alle Mitarbeiter befragen. Sollen Aussagen getroffen werden, die für alle Deutschen oder gar alle Menschen gelten, muss anders vorgegangen werden. Dann ist eine Stichprobe unerlässlich.

Die Auswahl der Befragten

Der erste Schlüssel liegt schon bei der Auswahl der Befragten. Wenn keine Vollerhebung möglich ist, ist eine Zufallsauswahl der zweitbeste Weg. Statistische Ämter befragen beispielsweise im Rahmen des Mikrozensus regelmäßig 1,0 Promille der Bevölkerung, also jeden 1.000 Bürger. Die Auswahl erfolgt weitgehend nach Zufall über die Melderegister.

Wegen des Datenschutzes ist der Zugriff auf die Daten der Einwohnerämter aber fast nur den statistischen Ämtern möglich. Sollten einem Großkonzern Mitarbeiter befragt werden, kann die Personalabteilung bei der Auswahl helfen.

Wer in der Fußgängerzone Passanten befragt, erhält dagegen ebenso wenige eine repräsentative Auswahl wie jener, der am Schwarzen Brett der Uni einen Aufruf aushängt. An einem Werktag wird man auf den Straßen beispielsweise wenig Arbeitnehmer finden, dafür sind Arbeitslose, Rentner und andere Nichterwerbspersonen überrepräsentiert.

Eine Möglichkeit besteht darin, Auswahl zu steuern. Etwa indem man festlegt, dass 50 Prozent der Befragten Männer und 50 Prozent Frauen sein müssen und dass die Alters- und Bildungsstruktur jener der Bevölkerung entspricht.

Ausreichende Zahl

Wichtig ist dabei auch eine ausreichende Zahl an Fragebögen. Je kleiner sie ist, desto größer ist die Gefahr, dass der Zufall seine Hand im Spiel hat. Das kann jeder leicht mit einer Münze nachvollziehen. Wer zehnmal eine deutsche 1-Euro-Münze mit Adler oder Zahl wirft, der würde fünfmal Kopf und fünfmal Zahl erwarten. Doch der Zufall kann hier schnell einen Strich durch die Rechnung machen. In immerhin 8,8 Prozent der Fälle dürfte ein Bild, also Adler oder Zahl, mindestens achtmal auftauchen. Mit einer Wahrscheinlichkeit von 0,2 Prozent wird man sogar zehnmal Adler oder zehnmal Zahl werfen. Wer nur fünfmal wirft, erhält sogar in rund 6,3 Prozent der Fälle immer das gleiche Bild, schon wer 20 Mal wirft dagegen nur in 0,0002 Prozent. Mehr Befragte senken also die Gefahr von zufälligen Verzerrungen drastisch.

Der Fragebogen

Oft unterschätzt wird die Bedeutung des Fragebogens. Dabei gibt es auch hier ein paar grundlegende Regeln, sowohl für den Aufbau als auch für die Gestaltung der Fragen. Viele Experten raten, die wichtigsten Fragen im zweiten Drittel zu stellen. Dann ist der Befragte schon etwas „warm geworden“, aber meist noch nicht mit seiner Geduld am Ende.

Biographische Angaben, etwa zu Alter und Geschlecht, werden gerne zum Schluss gestellt. Dann hat der Befragte oft die Lust verloren und will möglichst schnell antworten. Bei Daten zu Alter, Geschlecht und Wohnort muss niemand lange überlegen.

Oft können solche Angaben aber auch als Filterfragen dienen. Wer nur Einwohner einer bestimmten Stadt befragen will, muss das natürlich am Beginn erheben. Dann können Bewohner anderer Gemeinden gleich aussortiert werden.

Überhaupt sind Filterfragen oft hilfreich. Wer zuerst die Frage stellt „ Sind sie beruflich selbständig“ kann sich bei einem „Nein“ alle Folgefragen zum Thema Selbständigkeit sparen.

Etwas anderes sollten Befrager dagegen vermeiden, nämlich die Untersuchten mit dem Aufbau zu lenken. Wer zuerst fragt: „Ist ihnen Umweltschutz wichtig“ wird bei der Frage „Welche Partei würden Sie wählen, wenn am Sonntag Bundestagswahl wäre“ mehr Antworten für Parteien mit starkem Fokus auf ökologische Themen provozieren.

Die Fragen

Natürlich dürfen auch die Fragen nicht lenkend sein. Verboten sind Aussagen wie „Sind sie nicht auch der Meinung, dass…“ oder „Viele Deutsche wollen mehr… – Sie auch?“. Auch wertende Begriffe wie „Gerechtigkeit“ sollten sparsam eingesetzt werden.

Wichtig ist natürlich, dass die Fragen klar formuliert sind. Wer wissen will, wie viele Deutsche gerne die D-Mark wieder einführen würden, darf nicht fragen: „Wünschen Sie sich die D-Mark zurück“. Dann antworten auch jene mit Ja, die die Einführung des Euro für falsch halten, aber keine erneute Währungsreform wollen.

Selbstverständlich muss die Sprache klar sein, dazu gehören:

• keine langen Sätze,
• keine Schachtelsätze,
• keine doppelte Verneinung wie „Wollen sie keine Abschaffung des Euro“,
• wenig Fachbegriffe,
• keine Dialekte oder Soziolekte.

Die Befragung

Eine Umfrage kann schriftlich, online oder mündlich erfolgen. Eine Befragung durch einen Interviewer erlaubt direkte Rückfragen und motiviert den Befragten, auch bis zum Ende durchzuhalten. Gerade bei heiklen Themen aber kann diese Form aber auch verfälschend sein. Wer gibt schon gerne zu, dass er oder sie regelmäßig den Partner betrügt?

Dabei spielt auch die Person des Befragten eine Rolle. Ein junger Mann wird einer älteren Frau gegenüber nicht gerne Fragen zu seinen Sexualpraktiken berichten wollen und umgekehrt. Ein Mittelweg kann eine schriftliche Befragung sein, bei der der Befrager in der Nähe bleibt, die Antworten aber nicht überwacht.

Fazit

Eine gute Befragung will gut vorbereitet sein. Das ist aber noch lange nicht alles. Auswertung und Interpretation sind weitere wichtige Bausteine. Moderne Technik hilft dabei, sie ersetzt aber nicht das kritische Mitdenken und eine fundierte Interpretation.

Interesse geweckt? Für viele Statistiker-Blog Leser ist das sicher alter Kaffee. Wer aber noch Einsteiger ist und mehr erfahren will, für den bieten Statistik-Nachhilfe.de und Mentorium zahlreiche Kurse in Statistik sowie Schulungen für den Einsatz von Statistik-Software wie SPSS, SAS oder R. Der Anbieter achtet darauf, dass alle Trainer nicht nur fachlich qualifiziert sind, sondern auch gut erklären können.