Pretests

Zusammenfassung

Oben (vergleiche die Beispiele im Abschn. 6.1. „Urteilsbildung“) wurden zwei Dialoge zwischen einem Interviewer und einer Zielperson wiedergegeben. Der Interviewer stellte der Zielperson eine Frage nach ihrem Fernsehkonsum in den vergangenen sieben Tagen. Er erhielt darauf ohne weiteres eine scheinbar gültige Antwort. Er wäre dann in einem normalen Interview zur nächsten Frage übergegangen. Aber aufgrund einer Nachfrage („Wie kamen Sie darauf?“) stellte sich heraus, dass die Antworten der Zielpersonen jeweils stark unzutreffend waren. Wären die Interviews nach der Antwort der Zielperson abgebrochen beziehungsweise mit der nächsten Frage fortgesetzt worden, so bestünde offenbar eine immense Diskrepanz zwischen der gegebenen Antwort und der tatsächlichen Dauer des Fernsehens. Besonders interessant ist, dass es bis dahin keinerlei Hinweise auf eine solche Differenz gab. Weder hat die Zielperson eine Rückfrage gestellt, noch war die Antwort in irgendeiner Weise unlogisch (etwa „zwölf Tiger“). Dies muss den Entwickler eines Erhebungsinstruments sensibilisieren. So erweist sich die Idee, dass ein nichtfunktionierendes Instrument in der Voruntersuchung in irgendeiner Weise auffallen wird, offenbar als so nicht haltbar. Weiter unten werden dazu noch weitere Befunde präsentiert, um dies ausführlich zu illustrieren. Damit gilt weiter die Maxime: „Even after years of experience, no expert can write a perfect questionnaire“ (Sudman und Bradburn 1982). Die bekannten Regeln für die Fragebogengestaltung können lediglich dazu beitragen, grobe Fehler zu vermeiden. Bislang blieben alle Regeln aber immer unvollständig. Sie ließen den Fragebogenentwicklern Spielräume und schlossen zahlreiche Ausnahmeregelungen nicht aus. Die Sozialforschung ist deshalb auf spezielle Methoden angewiesen, die im Rahmen von Voruntersuchungen zuverlässiger Auskunft über die Qualität der Instrumente zu liefern vermögen. Selbst das ansonsten sehr hilfreiche Fragebogenbewertungssystem (FBS) erspart es dem Fragebogenentwickler nicht, den Bogen einem Pretest zu unterziehen (vergleiche Faulbaum et al. 2009, S. 126). Damit gilt auch noch immer: „If you don’t have the resources to pilot test your questionnaire, don’t do the study“ (Sudman und Bradburn 1982). In der Literatur werden bisher die mithilfe eines Pretests zu verfolgenden Ziele relativ bunt dargestellt. So soll es bei Voruntersuchungen darum gehen:

• Die Verständlichkeit der Fragen zu überprüfen,

• Die bei den Antworten aufgetretene Varianz zu ermitteln,

• Die Übersichtlichkeit des Fragebogens zu testen,

• Eventuelle Schwierigkeiten, die Zielpersonen bei der Beantwortung von Fragen haben, zu ermitteln,

• Die theoretische Aussagekraft des Fragebogens zu prüfen und

• Die Feldbedingungen vorwegzunehmen, um das Funktionieren des vorgesehenen Designs zu ermitteln, das heißt beispielsweise möglichst keine Studentenbefragungen zu nutzen.