Fragebogen erstellen ohne Datenchaos – worauf es bei guten Umfragen wirklich ankommt
Die Umfrage ist beendet. 286 Personen haben teilgenommen und auf den ersten Blick sieht das nach einer soliden Datengrundlage aus. Dann beginnt die Auswertung. Einige Fragen wurden unterschiedlich verstanden, bei anderen haben fast alle dieselbe Antwort gewählt und zwei wichtige Aspekte lassen sich gar nicht miteinander vergleichen. Die Teilnehmerzahl ist ordentlich, doch ein Teil der Daten bringt kaum etwas.
Solche Probleme entstehen selten erst bei der Auswertung. Meist wurden sie schon beim Erstellen des Fragebogens eingebaut. Eine missverständliche Formulierung, eine unpassende Antwortskala oder eine Frage, die eigentlich zwei Dinge auf einmal wissen will, kann später nicht mehr repariert werden. Wer einen Fragebogen erstellen möchte, sollte deshalb früher über die Auswertung nachdenken, als es zunächst logisch erscheint.
Das gilt für eine Bachelor- oder Masterarbeit genauso wie für Kundenbefragungen, Mitarbeiterstudien oder Marktforschung in Unternehmen.
Fang nicht mit den Fragen an
Ein leeres Umfragetool verleitet dazu, direkt loszulegen. Frage 1, Frage 2, Frage 3. Nach einer halben Stunde stehen 20 Fragen auf dem Bildschirm und der Fragebogen wirkt fast fertig. Der bessere Start liegt aber einen Schritt davor. Was möchtest du am Ende überhaupt wissen?
Angenommen, eine Masterarbeit untersucht den Zusammenhang zwischen der Nutzung von Homeoffice und der Arbeitszufriedenheit. Dann reicht es nicht, einige Fragen zum Homeoffice und anschließend ein paar Fragen zur Zufriedenheit zu stellen. Zuerst muss klar sein, welche Aspekte tatsächlich untersucht werden sollen.
Wie häufig arbeiten die Befragten von zu Hause? Wie flexibel können sie darüber entscheiden? Wie zufrieden sind sie mit ihrer Arbeit? Spielen Kommunikation, Autonomie oder soziale Kontakte ebenfalls eine Rolle?
Eine klare Forschungsfrage formulieren hilft dabei, den Fragebogen einzugrenzen. Jede Frage sollte später einen Zweck erfüllen. Wenn du nicht erklären kannst, wofür du eine Antwort bei der Auswertung brauchst, kannst du die Frage wahrscheinlich streichen.
Auch Unternehmen profitieren von diesem Prinzip. Eine Kundenbefragung mit dem allgemeinen Ziel „Wir möchten wissen, wie zufrieden unsere Kunden sind“ bleibt schnell oberflächlich. Soll dagegen herausgefunden werden, welche Faktoren einen erneuten Kauf beeinflussen, lässt sich der Fragebogen wesentlich gezielter aufbauen.
Aus abstrakten Begriffen müssen messbare Fragen werden
Viele Themen lassen sich nicht direkt beobachten. Motivation, Vertrauen, Zufriedenheit oder Stress kann man nicht einfach mit einem Messgerät erfassen. Deshalb müssen solche Konstrukte in messbare Merkmale übersetzt werden. Genau darum geht es bei der Operationalisierung.
Nehmen wir die Arbeitszufriedenheit. Eine einzige Frage wie „Sind Sie mit Ihrer Arbeit zufrieden?“ bildet dieses komplexe Konstrukt nur eingeschränkt ab. Möglicherweise spielen das Verhältnis zu Kollegen, die Aufgaben, Führung, Bezahlung und Entwicklungsmöglichkeiten eine Rolle. Je nach Forschungsmodell können mehrere Aussagen sinnvoll sein, mit denen verschiedene Aspekte erfasst werden.
Zum Beispiel:
„Ich bin mit meinen derzeitigen Aufgaben zufrieden.“
„Ich fühle mich bei meiner Arbeit wertgeschätzt.“
„Ich kann mir vorstellen, langfristig bei meinem Arbeitgeber zu bleiben.“
Die Fragen ergeben sich also nicht aus dem Bauch heraus. Sie sollten aus der Fragestellung, theoretischen Grundlagen und bereits vorhandener Forschung abgeleitet werden. Gerade bei etablierten Konstrukten lohnt sich zudem die Prüfung, ob bereits validierte Messinstrumente existieren. Dann muss das Rad nicht neu erfunden werden.
Eine Frage kann harmlos klingen und trotzdem schlechte Daten produzieren
Beim Formulieren lohnt sich ein zweiter Blick. Denn viele problematische Fragen erkennt man erst, wenn man überlegt, wie unterschiedliche Personen sie verstehen könnten. Ein klassisches Beispiel lautet:
„Wie zufrieden sind Sie mit der Beratung und dem Kundenservice?“
Was soll jemand antworten, der mit der Beratung sehr zufrieden war, den Kundenservice aber schlecht fand? Zwei unterschiedliche Dinge werden hier in einer Frage zusammengefasst.
Besser wäre es, beide Bereiche getrennt abzufragen. Auch suggestive Formulierungen sind problematisch. „Wie hilfreich finden Sie unseren verbesserten Kundenservice?“ legt bereits nahe, dass sich der Service verbessert hat. Neutraler wäre die Frage, wie die Person den Kundenservice aktuell bewertet.
Unklare Zeiträume verursachen ähnliche Schwierigkeiten. „Wie häufig kaufen Sie online ein?“ kann für den einen bedeuten, wie oft er in einer normalen Woche bestellt. Eine andere Person denkt vielleicht an das gesamte vergangene Jahr. „Wie häufig haben Sie in den vergangenen 30 Tagen online eingekauft?“ schafft eine klarere Grundlage.
Gute Fragen sollten deshalb möglichst eindeutig, neutral und leicht verständlich sein. Wissenschaftlichkeit entsteht nicht dadurch, dass ein Fragebogen kompliziert klingt.
Antwortmöglichkeiten brauchen genauso viel Aufmerksamkeit wie die Fragen
Selbst eine gute Frage kann durch schlechte Antwortoptionen wertlos werden. Besonders häufig passiert das bei Kategorien, die sich überschneiden.
Ein Beispiel:
18–25 Jahre
25–30 Jahre
30–40 Jahre
Wo ordnet sich eine 25-jährige Person ein?
Sauberer wären Bereiche wie 18–24, 25–29 und 30–39 Jahre. Außerdem sollten die Antwortmöglichkeiten alle realistischen Fälle abdecken. Wenn eine wichtige Kategorie fehlt, müssen sich Teilnehmer für eine Antwort entscheiden, die eigentlich nicht zu ihnen passt. Bei Einstellungen und Bewertungen werden häufig Skalen verwendet. Wer eine Likert-Skala richtig einsetzen möchte, sollte vorher entscheiden, was genau gemessen wird und wie viele Antwortstufen sinnvoll sind. Auch die Beschriftung der Skala spielt eine Rolle. Ein Wechsel zwischen „stimme zu“, „sehr zufrieden“ und „sehr wahrscheinlich“ innerhalb desselben Fragenblocks kann unnötig verwirren.
Konsistenz macht einen Fragebogen leichter verständlich. Das hilft den Teilnehmern und erleichtert später die Auswertung.
Mehr Fragen bedeuten nicht automatisch mehr Erkenntnisse
Ein Fragebogen wächst erstaunlich schnell. Hier noch eine interessante Frage, dort noch ein demografisches Merkmal und am Ende dauert die Umfrage 25 Minuten. Das Problem liegt nicht nur darin, dass weniger Menschen teilnehmen. Lange Fragebögen erhöhen auch das Risiko, dass Personen gegen Ende unaufmerksamer werden. Antworten werden schneller angeklickt oder Fragen nur noch überflogen. Deshalb sollte jede zusätzliche Frage ihren Platz rechtfertigen.
Das gilt besonders für Informationen, die zwar interessant wirken, aber keinen Bezug zur Untersuchung haben. Muss bei einer Befragung zur Nutzung einer Lernplattform wirklich der Familienstand erhoben werden? Braucht eine Kundenumfrage das genaue Einkommen, wenn es später gar nicht analysiert wird?
Daten sollte man nicht sammeln, nur weil man sie sammeln kann.
Wer bereits konkrete Hypothesen formuliert hat, kann daran sehr gut prüfen, welche Variablen tatsächlich gebraucht werden. Jede Hypothese muss sich später mit den erhobenen Daten untersuchen lassen.
Auch die Reihenfolge beeinflusst Antworten
Ein Fragebogen ist mehr als eine Liste einzelner Fragen. Auch die Reihenfolge beeinflusst, wie angenehm und verständlich die Teilnahme ist. Ein einfacher Einstieg hilft. Zu Beginn eignen sich Fragen, die leicht zu beantworten sind und direkt zum Thema führen. Komplexe oder sensible Angaben können später folgen. Persönliche Daten wie Einkommen oder gesundheitliche Informationen sollten nur erhoben werden, wenn sie wirklich notwendig sind.
Thematisch zusammengehörige Fragen sollten ebenfalls zusammenstehen. Wenn ein Fragebogen ständig zwischen Kundenzufriedenheit, Kaufverhalten und persönlichen Angaben wechselt, wirkt er unnötig unruhig. Eine gute Reihenfolge führt die Teilnehmer durch das Thema, ohne dass sie darüber nachdenken müssen. Genau dann fühlt sich ein Fragebogen kürzer an, als er tatsächlich ist.
Der Pretest ist keine Formalität
Du kennst jede Frage und weißt genau, was damit gemeint ist. Genau deshalb bist du selbst die schlechteste Person, um zu beurteilen, ob alles verständlich ist. Vor der eigentlichen Erhebung sollte der Fragebogen daher von einigen Personen getestet werden. Idealerweise gehören sie zumindest ungefähr zur späteren Zielgruppe.
Bitte sie nicht einfach zu sagen, ob alles verständlich war. Frag genauer nach. Gab es Stellen, die sie zweimal lesen mussten? Waren Antwortmöglichkeiten unklar? Haben Kategorien gefehlt? Wie lange hat die Bearbeitung gedauert? Oft kommen dabei Dinge ans Licht, die bei der Erstellung völlig logisch erschienen. Genau dafür ist der Pretest da. Änderungen vor dem Start sind unkompliziert. Nach 300 ausgefüllten Fragebögen sieht das anders aus.
500 Antworten helfen wenig, wenn die falschen Personen teilnehmen
Bei Onlineumfragen entsteht schnell der Wunsch nach möglichst vielen Teilnehmern. Eine große Zahl sieht schließlich überzeugend aus. Trotzdem sollte zuerst geklärt werden, wer überhaupt zur Zielgruppe gehört. Wer die Zufriedenheit von Erstsemestern mit einem neuen Einführungskurs untersucht, braucht keine Antworten von Studierenden im zehnten Semester. Eine Befragung potenzieller Käufer bringt wenig, wenn überwiegend bestehende Stammkunden teilnehmen.
Die Stichprobengröße bestimmen ist deshalb nur ein Teil der Planung. Genauso wichtig ist die Zusammensetzung der Stichprobe und die Frage, wie die Teilnehmer erreicht werden. Auch mögliche Verzerrungen sollten später transparent gemacht werden. Eine offene LinkedIn-Umfrage erreicht eine andere Gruppe als eine zufällige Auswahl aus einer Kundendatenbank. Das muss die Ergebnisse nicht unbrauchbar machen. Es beeinflusst aber, welche Schlüsse daraus gezogen werden können.
Plane die Auswertung, bevor du den Fragebogen verschickst
Dieser Schritt spart später besonders viel Arbeit. Öffne den fertigen Fragebogen und überlege bei jeder wichtigen Frage, wie du sie auswerten möchtest. Reichen Häufigkeiten und Mittelwerte? Sollen zwei Gruppen miteinander verglichen werden? Möchtest du untersuchen, ob zwei Merkmale zusammenhängen? Welche Variablen brauchst du dafür?
Bei einer quantitativen Abschlussarbeit sollte die geplante statistische Auswertung bereits vor der Datenerhebung zur Forschungsfrage und zu den Hypothesen passen. So fällt rechtzeitig auf, wenn wichtige Informationen fehlen oder eine Variable ungeeignet erhoben wird.
Wenn mehrere Fragen gemeinsam ein Konstrukt messen sollen, kann später auch die interne Konsistenz relevant werden. Dafür wird häufig Cronbachs Alpha berechnet. Aber auch hier gilt, dass eine statistische Kennzahl keinen schlecht konzipierten Fragebogen retten kann. Die inhaltliche Qualität kommt zuerst.
Ein guter Fragebogen fällt beim Ausfüllen kaum auf
Das klingt vielleicht seltsam, ist aber ein gutes Qualitätsmerkmal. Teilnehmer sollten nicht über den Aufbau nachdenken müssen. Sie sollten die Fragen verstehen, passende Antwortmöglichkeiten finden und ohne unnötige Hürden durch die Umfrage kommen. Die eigentliche Arbeit findet vorher statt. Eine klare Fragestellung, saubere Operationalisierung, verständliche Fragen, passende Skalen und ein sinnvoller Pretest bestimmen später die Qualität der Daten.
Bevor du den Fragebogen veröffentlichst, lohnt sich deshalb ein letzter Durchgang. Prüfe, ob jede Frage wirklich gebraucht wird. Lies komplizierte Formulierungen laut vor. Kontrolliere alle Antwortoptionen und teste die Umfrage auf Smartphone und Computer. Lass anschließend mindestens eine andere Person den gesamten Ablauf durchspielen. Denn eine erfolgreiche Umfrage erkennt man nicht daran, dass besonders viele Fragen gestellt wurden. Sie ist dann gelungen, wenn die Antworten am Ende genau die Informationen liefern, die zur eigentlichen Fragestellung gebraucht werden. Das klingt selbstverständlich. In der Praxis entscheidet genau dieser Punkt aber häufig darüber, ob aus einer Umfrage verwertbare Erkenntnisse oder lediglich eine gut gefüllte Excel-Datei entstehen.