Frageformen und Antwortausprägungen in standardisierten Umfragen

Offene Fragen

Eine häufig verwendete Frageform ist die offene Frage. Dabei werden den befragten Personen keine Antwortvorgaben präsentiert. Stattdessen sollen sie je nach Erhebungsmodus ihre Antwort z. B. direkt in ein freies Textfeld eintippen. Der Einsatz einer offenen Frage bietet sich dann an, wenn die Bandbreite möglicher Antworten unbekannt ist. Sollen z. B. Vorname, Geburtsort oder Markenprodukte erhoben werden, ist es wenig sinnvoll, den Befragten eine Vorauswahl anzubieten, da die Anzahl möglicher Ausprägungen zu hoch ist. Auch bei explorativen Untersuchungen ist das häufig der Fall, da nur wenig Vorwissen über das Antwortspektrum besteht.

Weiterer Anlass für die Verwendung offener Fragen ist der Versuch, befragte Personen bei ihrer Antwort nicht zu beeinflussen. Beispiele sind das für die Befragten wichtigste politische Problem oder die Anzahl der täglich konsumierten Zigaretten. Würde man für diese Fragen Antwortkategorien anbieten, enthielten diese bereits Bezugspunkte, an denen sich die antwortende Person orientieren kann. Im Beispiel der Zigaretten würde die Person ihren Konsum möglicherweise verzerrt angeben, weil sie bemerkt, dass das Ausmass ihres Tabakkonsums am oberen Extrempol einer Skala liegt.

Offene Fragen bringen aber auch Nachteile mit sich. So kann die Auswertung der frei formulierten Antworten zeitintensiv ausfallen, vor allem bei Textinhalten. Die hohe Anzahl verschiedener Antworten muss systematisch ausgewertet werden, was eine Kodierung erfordert. Mögliche Tippfehler der Befragten erschweren diesen Prozess und müssen möglicherweise zunächst korrigiert werden. Bei längeren Antwortformulierungen können sogar Methoden der qualitativen Inhaltsanalyse notwendig werden, die aber bei einem hohen Stichprobenumfang kaum zu realisieren sind.

Numerische Antworteingaben bei offenen Fragen sind häufig mit einem weiteren Problem verbunden. Unter dem Phänomen des Heaping versteht die Umfrageforschung die Tendenz von Befragten, ihre Antwort zu runden. Fragt man eine rauchende Person nach der Anzahl der täglich konsumierten Zigaretten, antwortet sie vermutlich mit gerundeten Werten, z. B. mit „10“ oder „15“. Als Ursache hierfür gilt eine Verringerung des Aufwandes durch die Befragten in erster Linie bei grösseren Zahlen. In vielen Fällen kommt es aber darauf an, genaue Angaben zu erhalten. Hilfreich kann in diesem Fällen ein Hinweis im Fragebogen sein, der um möglichst exakte Angaben bittet.

Geschlossene Fragen ohne Reihenfolge der Antwortvorgaben

Geschlossene Fragen grenzen sich von offenen Fragen ab, indem sie Befragten mehrere Antwortkategorien anbieten. Abhängig davon, wie hoch die Anzahl dieser Antwortkategorien ist und ob diese in eine geordnete Reihenfolge gebracht werden können, unterscheidet man geschlossene Fragen noch weiter. Die grundlegendste Form einer geschlossenen Frage ist eine mit lediglich zwei Antwortkategorien. Will man z. B. erfassen, ob eine Person zum Zeitpunkt der Umfrage verheiratet oder berufstätig ist, existieren ausschliesslich die beiden Antwortoptionen „Ja“ oder „Nein“. Diese Fragen werden als dichotom bezeichnet.

Abseits dichotomer Fragen können mehrkategorielle Antwortausprägungen angeboten werden. Bei ungeordneten, mehrkategoriellen Antwortvorgaben kann innerhalb der Antwortmöglichkeiten keine sinnvolle Reihenfolge gebildet werden. Das ist z. B. der Fall, wenn Befragte zur Angabe ihres Wohnorts zwischen 16 Bundesländern wählen können. Eine solche Frage bezeichnet man auch als Single-Choice-Frage, weil auf jede Person genau eine Antwort zutrifft.

Eine weitere Variante ungeordneter, mehrkategorieller Antwortvorgaben ist die Multiple-Choice-Frage (dt. Mehrfachauswahl). Dabei kann die befragte Person mehrere auf sie zutreffende Antworten auswählen. Ein grosser Hersteller von Tiefkühlpizzen könnte z. B. ein Marktforschungsinstitut beauftragen, die beliebtesten Pizzabeläge der deutschen Bevölkerung zu ermitteln. Nach der Fragestellung dürfen die Befragten bis zu drei Zutaten aus einer Liste von 20 Belägen auswählen. Dabei ist es wichtig, den Befragten die Möglichkeit der Mehrfachauswahl in der Frage zu verdeutlichen. Möglich ist auch die Kombination mit einem offenen Antwortfeld als sogenannte Hybridfrage.

Problematisch kann jedoch die Reihenfolge der angebotenen Antwortvorgaben sein. Gerade bei längeren Antwortlisten tendieren Personen dazu, den Aufwand für eine Antwort gering zu halten. In diesem Fall werden Antworten am Anfang oder am Ende des Fragebogens häufiger gewählt (Primacy- und Recency-Effekt). Wenn im Pizzabeispiel die Antworten „Thunfisch“ an erster und „Salami“ an letzter Stelle stehen, werden diese also möglicherweise unabhängig von der tatsächlichen Meinung häufiger gewählt. Als Gegenmassnahme bietet es sich u. a. an, die Antwortkategorien in wechselnder Reihenfolge darzustellen. Viele Anbieter:innen für Online-Umfragen ermöglichen daher bei diesen Fragetypen eine zufallsbasierte Anordnung der Antworten. Eine Alternative besteht in der Umwandlung der Frage in eine Reihe dichotomer Fragen. In diesem Fall müssen Befragte für jeden Belag einzeln angeben, ob sie ihn mögen oder nicht.

Geschlossene Fragen mit Reihenfolge der Antwortkategorien

Fragen mit mehrkategoriellen, geordneten Antwortausprägungen treten häufig als Ratingskalen auf. Gefragt wird dabei z. B. nach Häufigkeiten, Intensitäten oder Wahrscheinlichkeiten. So begegnet uns nach dem Kauf eines Produktes oder einer Dienstleistung häufig ein Messinstrument des „Net Promoter Score“. Dabei wird gefragt, wie wahrscheinlich es ist, dass man ein Produkt oder eine Dienstleistung weiterempfiehlt. Da die Antwortskala in der Regel von 0 (unwahrscheinlich) bis 10 (äusserst wahrscheinlich) reicht, handelt es sich um eine geordnete Reihenfolge der Antwortausprägungen. Skalen des Likert-Typs sind ebenfalls verbreitete Ratingskalen und erfassen den Grad der Zustimmung von Befragten zu vorgegebenen Aussagen.

Planung und Gestaltung der Ratingskalen sollten sich an den Erkenntnissen und Empfehlungen der Methodenliteratur orientieren. Wichtig ist zunächst, dass die Ratingskala das vollständige Spektrum an Antworten abbildet. Innerhalb der Skala dürfen sich benachbarte Skalenpunkte möglichst nicht überschneiden. Zudem sind Überlegungen über die Anzahl der Skalenpunkte und ihre Benennung anzustellen.

Items unterscheiden sich in der Praxis mit Blick auf die Anzahl ihrer Antwortausprägungen teils erheblich. So begegnen einem in der Praxis teils Items mit Skalenpunkten von 0 bis 100. Fraglich ist dabei, ob Befragte bei einer so kleinteiligen Skalierung noch Unterschiede zwischen benachbarten Skalenpunkten erkennen. Die Genauigkeit des Messinstruments steigt entsprechend ab einer Anzahl von etwa 7 Antwortkategorien kaum noch. Je mehr Skalenpunkte darüber hinaus angeboten werden, desto geringer fällt die Anzahl der tatsächlich genutzten Punkte aus, da Zwischenstufen kaum noch gewählt werden. Bei weniger als 5 Kategorien wiederum sind die Unterschiede zwischen den Befragten zu gering. Eine Faustregel lautet also, zwischen 5 und 7 Skalenpunkte zu verwenden.

In der Umfrageforschung wird zudem diskutiert, ob eine gerade oder ungerade Anzahl an Skalenpunkten sinnvoll ist. Die Debatte dreht sich vor allem um die Frage, ob man innerhalb der Skala eine neutrale Mittelkategorie anbietet, die sich durch eine ungerade Anzahl der Ratingskala ergibt. Einige Forschende sind der Ansicht, man könne Befragte durch eine gerade Anzahl zu einer Antworttendenz motivieren. Dem wird entgegengehalten, dass Befragte schlicht unentschlossen sein können und teils sogar Unmut darüber äussern, sich festlegen zu müssen. Der Vergleich der Datenqualität beider Varianten zeigt derzeit noch keine eindeutigen Ergebnisse.

Abbildung 1: Beispiele für Ratingskalen mit und ohne Benennung der numerischen Skalenpunkte

Die Benennung der Skalenpunkte sollte laut Forschungsstand einer rein numerischen Darstellung der Skala vorgezogen werden, weil für eine verbalisierte Skala geringerer Interpretationsspielraum besteht. Entscheidet man sich also dafür, jeden einzelnen Skalenpunkt zu benennen, sollten die Bezeichnungen aber nicht aus dem Bauch heraus entwickelt werden. Im Gegenteil finden sich in der Literatur und in Datenbanken zahlreiche Referenzen für getestete Benennungen (siehe weiterführende Literatur). Hintergrund ist, dass möglichst alle Befragten über dasselbe Verständnis der Skalenpunkte verfügen sollten. Eine überlegte Benennung stellt zusätzlich sicher, dass die Interpretation der Abstände zwischen den Skalenpunkten zwischen den Befragten konstant ist. Möglich sind aber auch kreative Lösungen wie die Zuordnung von Skalenpunkten zu Smileys bzw. Emojis z. B. bei der Befragung von Kindern.

Abbildung 2: Beispiel für Smileys als Skalenpunkte

Eine letzte Überlegung zu beinahe allen Fragetypen betrifft die Frage nach nicht inhaltlichen Antwortvorgaben. Dabei sollte man in Erwägung ziehen, den Befragten neben den inhaltlichen Antwortvorgaben eine weitere Kategorie anzubieten, falls diese nicht antworten können oder möchten. Benennungen solcher nicht inhaltlichen Kategorien können „weiss nicht“, „trifft nicht zu“ oder „keine Angabe“ lauten. Wird eine befragte Person z. B. bei der Frage nach ihrem monatlichen Einkommen zur Auswahl eines Skalenpunktes gezwungen, steigt die Gefahr falscher Angaben oder sogar eines Umfrageabbruchs.