Umfragen sind wegen ihrer leichten Umsetzbarkeit in vielen studentischen Arbeiten beliebt. Liegen keine Daten für eine Sekundäranalyse vor, liegt die Durchführung einer eigenen Umfrage für eine empirische Arbeit auch nahe. Je nach Studienfach fällt das Vorwissen über Umfragemethodik aber sehr unterschiedlich aus. Dieser Artikel hilft dabei, die häufigsten Fehler in der Planung und Durchführung von standardisierten Umfragen zu vermeiden.
Fehler I
Erst die Umfrage durchführen, dann Literatur studieren
Eine studentische Arbeit beginnt oft mit einem diffusen Interesse an einem Thema oder einer Forschungsfrage. Besonders dann, wenn man annimmt, sich mit einem Thema auszukennen, oder Dozentinnen und Dozenten nur wenig Hilfestellung bieten, besteht die Versuchung, einen Fragebogen aus dem Bauch heraus zu formulieren. Dabei wird übersehen, dass die Fragebogenerstellung sich eng an formulierten Hypothesen und am Forschungsstand orientieren muss. Andernfalls besteht die Gefahr, sich zu verrennen und viele Daten zu erheben, die entweder unbrauchbar oder für die Forschungsfrage irrelevant sind. Ärgerliche Fehler können also mit einem geplanten Vorgehen vermieden werden. Im Artikel zur Fragebogenerstellung wird dieses Thema ausführlicher behandelt.
Fehler II
Suggestivfragen und Unterstellungen
Zu einem durchdachten Fragebogen gehört es, weder Suggestivfragen zu stellen noch Vorannahmen über die Befragten zu treffen. Die Gründe liegen auf der Hand. Das Ziel besteht grundsätzlich darin, eine möglichst unverzerrte und valide Messung zu erhalten. Suggestivfragen lenken Befragte dagegen in eine bestimmte Richtung und können sogar unerwünschte emotionale Reaktionen hervorrufen. Ein Beispiel für eine Suggestivfrage ist folgendes Item:
„Der Klimawandel begünstigt Naturkatastrophen und vernichtet Lebensgrundlagen. Halten Sie zusätzliche Massnahmen zur Bekämpfung der Klimakrise für notwendig?“
Einer befragten Person, die den Klimawandel für ein untergeordnetes Problem hält, wird es angesichts der Frageformulierung schwerfallen, eine wahrheitsgemässe Antwort zu geben. Eine neutralere Frageformulierung zur Erhebung valider Messungen wäre z. B.:
„In der Öffentlichkeit wird das Thema Klimawandel viel diskutiert. Halten Sie zusätzliche Massnahmen zur Bekämpfung der Klimakrise für notwendig?“
Fehler III
Mehrere Dimensionen in einer Frage erfassen
Eine wichtige Grundregel der Frageformulierung lautet, niemals mehrere Dimensionen oder Sachverhalte innerhalb einer Frage zu erfassen. Der Grund dafür liegt in der gewünschten Validität der Messung. So zielt jedes Item im Fragebogen auf ein theoretisches Konstrukt, das gemessen werden soll. Bringt man nun mehrere Dimensionen in einer Frage unter, lässt sich kaum nachvollziehen, auf welches der Konstrukte sich die Antwort bezieht. Fragen, die mehrere Dimensionen enthalten, sind häufig an Konjunktionen wie „und“ bzw. „oder“ zu erkennen. Stattdessen sollte man die Dimensionen in einer Abfolge mehrerer Items erfassen.
Fehler IV
Unvollständige Antwortausprägungen
Eine standardisierte Umfrage zeichnet sich dadurch aus, dass die Befragten ihre Antwort nicht frei formulieren können, sondern zwischen vorgegebenen Optionen wählen müssen. Können sich befragte Personen in keiner der Antwortvorgaben verorten, werden sie entweder zu einer Antwort gedrängt, die nicht der Wahrheit entspricht, oder sie ignorieren die Frage. Beides würde die Datenqualität negativ beeinflussen. Fragt man Befragte beispielsweise nach ihrem Familienstand und bietet ausschliesslich die Antwortvorgaben „ledig“ und „verheiratet“ an, finden sich wesentliche Personengruppen darin nicht wieder. Konkret müssen weitere Vorgaben wie „geschieden“ oder „verwitwet“ mit aufgenommen werden, um alle denkbaren Möglichkeiten zu erfassen. Nach dem ersten Entwurf eines Fragebogens helfen Pretests dabei, solche noch fehlenden Antwortausprägungen zu identifizieren.
Fehler V
Signifikante Ergebnisse erzwingen
Studierende wollen in ihren Umfragedaten häufig signifikante Zusammenhänge zwischen verschiedenen Variablen finden. Dieses Ziel scheint zunächst verständlich, schliesslich erwartet man meist eine Bestätigung der Hypothese, in die meist einige Vorarbeit investiert wurde. Zur Formulierung einer Hypothese gehört jedoch auch die Formulierung einer Alternativ- oder Nullhypothese, die als Gegenstück zur Hypothese den vermuteten Zusammenhang verneint. Wissenschaftliches Arbeiten erfordert daher auch, im Zweifelsfall die Alternativ- oder Nullhypothese zu bestätigen und mögliche Gründe hierfür reflektiert zu diskutieren. Keinesfalls sollten statistisch signifikante Ergebnisse erzwungen oder gar Daten manipuliert werden.
Fehler VI
Das Rad neu erfinden – Sekundäranalyse
Nur selten ist eine empirische Forschungsfrage so innovativ, dass noch keinerlei Daten über das Thema erhoben wurden. Eine Umfrage wird teilweise auch dann durchgeführt, wenn bereits Daten für eine Sekundäranalyse zur Verfügung stehen. Solche Sekundärdaten sind besonders deshalb wertvoll, weil sie repräsentative Schlüsse für ganze Bevölkerungen erlauben. Eine mit grossen Bevölkerungsumfragen vergleichbare Stichprobenauswahl lässt sich schliesslich in studentischen Arbeiten nicht realisieren. Eine Recherche nach bereits vorhandenen Daten kann sich daher lohnen. Neben Umfragedaten sind auch andere Datensätze für wissenschaftliche Analysen geeignet, so z. B. Statistiken der Vereinten Nationen oder der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD). Die entsprechenden Daten stehen häufig kostenlos für Sekundäranalysen zur Verfügung.
Fehler VII
Repräsentativität unterstellen
Für eine Beurteilung der Repräsentativität einer Untersuchung gleichen viele Studierende die Kennzahlen der Stichprobe mit denen der Grundgesamtheit ab. So wird Repräsentativität unterstellt, wenn der Anteil von Frauen und Männern und die Altersverteilung entsprechend der Grundgesamtheit ausfallen. Diese Vorgehensweise wird aber nur den Anforderungen einer Quotenstichprobe gerecht. Die Umfrageforschung ist allerdings gespalten über die Frage, ob eine Quotenstichprobe repräsentativen Ansprüchen genügt. Um Probleme zu vermeiden, sollte der Repräsentativitätsbegriff wohlüberlegt verwendet werden. Im Ratgeber zu Stichprobenziehung und Repräsentativität wird dieses Thema ausführlicher behandelt.
Fehler IIX
Ungebräuchliche oder mehrdeutige Fachbegriffe verwenden
Ungebräuchliche Fachbegriffe bergen zum einen die Gefahr, dass Befragte ihn gar nicht erst verstehen. Kaum jemand wird sich die Mühe machen, einen Begriff nachschlagen, um mit der Bearbeitung einer Umfrage voranzukommen. Eine andere negative Konsequenz könnte sich aus einer abweichenden Interpretation eines Begriffs über die Befragten hinweg ergeben. Dies würde schliesslich dazu führen, dass nicht das eine gewünschte Konstrukt gemessen wird, sondern mindestens zwei verschiedene. Anhand des Datensatzes lässt sich dies nicht mehr nachvollziehen, sodass die Daten dann unbrauchbar sind. Banale Beispiele für mehrdeutige Begriffe, die je nach Kontext spezifiziert werden müssen, sind „Promotion“ oder „Verhütung“. Mehrdeutigkeit hängt aber nicht nur von der Verwendung bestimmter Begriffe ab, sondern auch von der Frageformulierung insgesamt. Auch dieses Problem kann mit Pretests aufgedeckt werden.
Fehler IX
Fehlerhafte Programmierung des Fragebogens
Auch nach Fertigstellung des Fragebogens besteht die Gefahr von vermeidbaren Fehlern. So bietet es sich z. B. bei Fragen mit zahlreichen Antwortvorgaben an, diese durch eine zweistufige Frage zu verringern. Zudem enthält eine Umfrage häufig Items, die nicht für alle Befragten relevant sind. In diesem Fall kann eine Filterführung sicherstellen, dass teilnehmende Personen ausschliesslich für sie relevante Fragen erhalten. So wird die Teilnahmebereitschaft einer Person tendenziell sinken, wenn sie die Anzahl ihrer Kinder angeben soll, nachdem sie in einer vorangegangenen Frage bereits Kinderlosigkeit berichtet hat. Bei Filterfragen werden also Sprungregeln definiert, die die Befragten in Abhängigkeit ihrer Antworten auf relevante Folgefragen lenken. Sind diese Sprungregeln fehlerhaft programmiert, führt das im schlimmsten Fall zu unbrauchbaren Daten. Der Fehler kann vermieden werden, indem Fragebogen und Filterführung an einigen Personen getestet und die resultierenden Daten auf Plausibilität geprüft werden.
Fehler X
Zu langer Fragebogen
Wer schon einmal eine Umfrage durchgeführt hat, kennt die Herausforderung der Gewinnung von Personen für die Befragung. Wenn sich eine Person dann zur Teilnahme entschieden hat, sollte alles unternommen werden, damit sie den Fragebogen bis zum Ende bearbeitet. Abgesehen von der Gewissenhaftigkeit der Erstellung des gesamten Erhebungsinstruments kommt es dabei auch auf seine Länge an. Kaum jemand ist motiviert oder kann es sich im Alltag erlauben, eine einstündige Umfrage zu bearbeiten. Mit Ausnahme von Themen, die die Zielgruppe der Umfrage besonders interessieren, sollte die Bearbeitungsdauer daher keinesfalls 30 Minuten überschreiten. Pretests können vor der eigentlichen Erhebung klären, ob diese Zeitspanne überschritten wird. Ausnahmen könnten beispielsweise junge Eltern sein, die zum Thema Kinder befragt werden.
Weiterführende Literatur:
De Leeuw, E. D., Hox, J., Dillman, D. (Hrsg.) (2012). International Handbook of Survey Methodology. New York/London: Taylor & Francis.
Dillman, D. A., Smyth, J. D., Christian, L. M. (2014). Internet, phone, mail, and mixed-mode surveys: the tailored design method. New Jersey: John Wiley & Sons.
Lietz, P. (2010). Research into questionnaire design: A summary of the literature. International journal of market research, 52(2), 249–272.
Schnell, R. (2019). Survey-Interviews. Wiesbaden: Springer.
