Qualitative und quantitative Pretests zur Qualitätssicherung eines Fragebogens

Vielfach wird angenommen, dass ein Fragebogen von einer Person allein entwickelt werden kann. In beinahe allen Fällen ergibt sich jedoch nach Abschluss der Fragebogenentwicklung, auf die wir in einem anderen Artikel näher eingehen, unerwartetes Verbesserungspotenzial. Das gilt vor allem dann, wenn Fragebogen oder Items selbst entwickelt wurden. Um Ansätze für die Optimierung eines Fragebogens zu gewinnen, führt man vor der Erhebung an einer grösseren Stichprobe Pretests an einigen Testpersonen durch. In diesem Artikel geht es zunächst um die Ziele von Pretests. Zusätzlich werden beispielhaft einige qualitative und quantitative Pretest-Ansätze vorgestellt, die grösstenteils auch in einer studentischen Arbeit umsetzbar sind.

Wozu Pretests?

Pretests dienen grundsätzlich dazu, Probleme bei der Bearbeitung des Fragebogens aufzudecken. Befragte könnten z. B. Probleme beim Verständnis einer Frage haben oder im Laufe der Umfrage ihr Interesse verlieren. Gleichzeitig kann analytischen Problemen vorgebeugt werden, die sich z. B. dann ergeben, wenn die befragten Personen die immer gleichen Antwortvorgaben wählen.

Zusammengefasst können mithilfe von Pretests u. a. folgende Aspekte ermittelt werden:

• die Befragungsdauer (i. d. R. höchstens 30 Minuten)
• Interesse, Aufmerksamkeit und die Belastung der Befragten
• Verständnisprobleme und Schwierigkeit der Fragen aus Sicht der Befragten
• Grad der Sensitivität von Fragen
• die Variation bzw. Streuung von Antworten
• die Vollständigkeit von Antwortvorgaben
• Richtigkeit der Filterführung
• Einflüsse durch die Reihenfolge der Fragen und Antwortskalen.

Um einen Fragebogen zu testen, bietet sich ein schrittweises Vorgehen an. Grundsätzlich kann zwischen qualitativen und quantitativen Pretests unterschieden werden. Während sich im ersten Schritt häufig qualitative Verfahren anbieten, lohnen sich quantitative Tests in der Regel erst dann, wenn gröbere Fehler bereits korrigiert sind. Zu beachten ist, dass einzelne Pretest-Methoden über Stärken und Schwächen verfügen und jeweils nur auf bestimmte Fehler hinweisen. Eine Kombination verschiedener Verfahren ist deshalb fast immer ratsam.

Qualitative Pretests

Eine erste, vergleichsweise einfach durchführbare qualitative Pretest-Methode ist die Think-Aloud-Technik, die aus der Kognitionspsychologie kommt. Dabei sollen die Testpersonen den Fragebogen durchgehen und der forschenden Person sämtliche Gedanken laut mitteilen. Auf diese Weise wird die Herangehensweise der Befragten bei der Beantwortung geklärt. Zudem können sich Hinweise auf Missverständnisse und andere Konstruktionsfehler ergeben.

Ein ähnliches, aber fortgeschrittenes und systematischeres Verfahren ist das qualitative Interview anhand des Fragebogenentwurfs. Hierbei wird das Erhebungsinstrument an einer grösseren Pretest-Gruppe getestet, die zuvor über den Testlauf informiert wird. Äusserungen der befragten Personen werden ebenso protokolliert wie Nachfragen und Beobachtungen der forschenden Person. Der teilnehmende Pretest stellt eine weitere Variante eines qualitativen Pretests dar. Die befragte Person wird hier aktiv in die Fragebogenentwicklung einbezogen und kann angeben, wie sie bestimmte Fragen in Abhängigkeit der Formulierung beantworten würde.

Eine weitere Möglichkeit eines qualitativen Tests ist die Gruppendiskussion. Hierfür werden etwa 10 Personen je nach Erkenntnisinteresse zusammengestellt und diskutieren gemeinsam über eine konkrete Fragestellung. Vorgegebene Themen der Diskussion können z. B. Probleme bei der Beantwortung des Fragebogens sein.

Alternativ bieten sich Diskussionen mit anderen, ggf. auch fachfremden Studierenden sowie Wissenschaftlerinnen und Wissenschaftlern an. Ausgangspunkt für diesen Ansatz ist der Umstand, dass man Begriffe und Formulierungen des eigenen Fachgebiets verwendet und möglicherweise Verständnisprobleme von Personen vernachlässigt, die mit dem Thema nicht vertraut sind. Zudem können Kritikpunkte vorhergesehen werden, die vor allem von sehr kritischen Befragten zu erwarten sind.

Quantitative Pretests

Nachdem mithilfe mindestens eines qualitativen Pretests bereits erste Verbesserungen des Fragebogens vorgenommen wurden, bieten sich im nächsten Schritt quantitative Testverfahren an. Die einfachste Variante eines quantitativen Pretests ist die Verwendung von Checklisten zur Überprüfung von Frageformulierungen. In der Literatur finden sich viele solcher Checklisten, die auf den eigenen Fragebogen angewendet werden können (siehe auch weiterführende Literatur).

Ein weiteres, niederschwelliges Verfahren ist die Reaktionszeitmessung. Dabei geht es um die Zeitspanne, die eine befragte Person benötigt, um nach Wahrnehmung der Frage eine Antwort zu geben. Die Stärke des Verfahrens liegt in der Möglichkeit zur Aufdeckung von Lern- oder Ermüdungseffekten. Wird die gemessene Reaktionszeit im Laufe der Bearbeitung des Fragebogens deutlich geringer oder länger, ergeben sich Hinweise auf solche Effekte. Benötigen Testpersonen für die Antwort auf einzelne Fragen eine auffallend lange Zeit, kann auch das ein Hinweis auf problematische Formulierungen sein. Während Markt- und Meinungsforschungsinstitute Reaktionszeiten automatisiert und sehr präzise messen können, eignet sich für studentische Arbeiten auch eine einfache Stoppuhr. Die Methoden zur Analyse der Reaktionszeiten können je nach Vorkenntnissen einen unterschiedlichen Komplexitätsgrad haben.

„Zuvor steht die Frage im Raum, ob bestimmte Frageformulierungen ein abweichendes Antwortverhalten auslösen.“

Ein quantitativer Pretest kann auch mithilfe eines experimentellen Ansatzes realisiert werden. Zuvor steht die Frage im Raum, ob bestimmte Frageformulierungen ein abweichendes Antwortverhalten auslösen. Hierfür teilt man die Testpersonen zunächst zufällig in zwei Gruppen auf. Beide Gruppen erhalten in der Umfrage nun Fragebögen, die sich in der Formulierung der interessierenden Frage unterscheiden. Da sich die Fragebogenvarianten ausschliesslich mit Blick auf diese Frageformulierung unterscheiden, können eventuelle Unterschiede im Antwortverhalten auf die Formulierungen zurückgeführt werden.

Hat man bereits einige Daten erhoben, können die vorläufigen Ergebnisse darüber hinaus mit Sekundärdaten verglichen werden. Mithilfe dieser Record-Checks kann das Antwortverhalten der befragten Testpersonen mit jenen aus bestehenden Befragungen verglichen werden. Zeigt sich dabei z. B., dass Testpersonen verglichen mit den Referenzdaten deutlich häufiger bestimmte Angaben verweigern oder stark abweichend antworten, könnte dies auf Optimierungsmöglichkeiten hindeuten.

Fazit

Die Frage, welche Pretest-Verfahren in einer studentischen Seminar- oder Abschlussarbeit verwendet werden sollten, entscheidet sich individuell. Aus methodischer Sicht sind die Ansätze besonders dann sinnvoll, wenn getestete und vielfach benutzte Items für die eigene Umfrage nicht zur Verfügung stehen, Fragen und Antwortvorgaben also selbst erstellt wurden. Daneben spielt auch die jeweilige Präferenz von betreuenden Dozentinnen bzw. Dozenten eine Rolle. Während die einen keine Durchführung von Pretests erwarten, legen andere grossen Wert darauf. Im Zweifelsfall schadet die Anwendung einiger Verfahren nicht und bringt vermutlich Pluspunkte in der Bewertung.

Weiterführende Literatur:

Howard, M. C. (2018). Scale pretesting. Practical Assessment, Research, and Evaluation, 23(5). DOI: https://doi.org/10.7275/hwpz-jx61, verfügbar unter https://scholarworks.umass.edu/pare/vol23/iss1/5.

Presser, S., Couper, M. P., Lessler, J. T., Martin, E., Martin, J., Rothgeb, J. M., Singer, E. (2004). Methods for testing and evaluating survey questions. Public opinion quarterly, 68(1), 109–130.

Schnell, R. (2019). Survey-Interviews. Wiesbaden: Springer.

Schnell, R., Hill, P. B., Esser, E. (1999). Methoden der empirischen Sozialforschung. München: Oldenbourg.