Menold, Natalja, und Tobias Wolbring (Hrsg.): Qualitätssicherung sozialwissenschaftlicher Erhebungsinstrumente. Wiesbaden: Springer VS 2019. 416 Seiten. ISBN: 978-3-658-24516‑0. Preis: € 54,99.

„Die Qualität sozialwissenschaftlicher Erhebungsinstrumente hat wesentlichen Einfluss auf die Belastbarkeit entsprechender empirischer Schlussfolgerungen, die auf Grundlage von Umfragedaten gezogen werden und die vielfältige Themen wie etwa soziale Ungleichheiten, politische Stimmungen und die Integration von Migranten betreffen“ (S. 3), so ist es im Vorwort der Herausgeber zu lesen und dem kann ich nur zustimmen. Das Buch wurde im Rahmen der Schriftenreihe der Arbeitsgemeinschaft Sozialwissenschaftlicher Institute (ASI e. V.) erstellt und ist für die Nutzung von wissenschaftlichen Umfrageergebnissen sehr hilfreich. Die Herausgeber haben für ihre 13 Beiträge Autoren gefunden, die auch außerhalb des deutschsprachigen Raumes sehr bekannt sind und die zum Teil schon seit vielen Jahren in diesem Bereich arbeiten. Der Fokus aller Beiträge liegt auf quantitativen Studien, deren Qualität teilweise zwar mit qualitativen Verfahren geprüft wird, aber Qualitätssicherungsmaßnahmen bei qualitativen empirischen Studien, wie man sie nach dem Titel des Buches erwarten könnte, werden nicht diskutiert.

Der Band ist in vier Abschnitte mit einer jeweils unterschiedlichen Anzahl von Beiträgen unterteilt. Im ersten Teil geht es um Messqualität und Messprobleme bei der Fragebogenkonstruktion. Schlüsselwörter sind hier die Identifikation von Messfehlern mit Paradaten, die Harmonisierung von internationalen Umfragedaten und die Gestaltung von Antwortskalen. Im zweiten Teil, „Qualitätssicherung durch qualitative Techniken“, geht es unter anderem um Mixed-Method-Studien und um kognitive Interviews. Im dritten Teil, „Ansätze zur Antwortvalidität“, geht es insbesondere um Fragen der sozialen Erwünschtheit sowie um den Zusammenhang von Einstellungen und Verhalten. Im letzten Teil, „Qualitätsmanagement in der Praxis“, berichten Mitarbeitende aus dem Deutschen Jugendinstitut und des Robert Koch-Instituts von ihren Erfahrungen und Problemen bei quantitativen Erhebungen. Die vorausgesetzten statistischen Kenntnisse zum Verständnis der Beiträge sind recht unterschiedlich, ein Teil der Beiträge ist auch für jene gut verständlich, die nur relativ selten mit quantitativer Sozialforschung zu tun haben, andere Beiträge verlangen sehr gute Vorkenntnisse in dem Bereich der Datenerhebung und in unterschiedlichen Verfahren der multivariaten Datenanalyse.

Die meisten Beiträge eint, dass sie nicht vollkommen originär sind, viele der hier präsentierten Ideen wurden von den Autoren bereits in internationalen Fachzeitschriften publiziert. Dies ist kein Manko und in einem deutschsprachigen Sammelband aus dem Methodenbereich auch nicht anders zu erwarten; die zentralen Ideen werden erst einmal international publiziert, damit wird ein wesentlich größeres Fachpublikum erreicht als im nationalen Bereich. Hier werden diese Ideen noch einmal aufgegriffen, mit anderen Beispielen versehen und etwas ausführlicher beschrieben als dies in einer Fachzeitschrift möglich ist. So kommt es dazu, dass 13 Beiträge ganze 418 Seiten umfassen. Zu den einzelnen Beiträgen.

Jochen Mayerl, Henrik Andersen und Christoph Giehl erläutern anhand von selbst erhobenen Daten, wie mithilfe von Paradaten Messprobleme bei einzelnen Items und Itembatterien erkannt werden können, z. B. Zustimmungseffekte. Dies ist der einzige auf Englisch verfasste Beitrag; als Datenanalyseverfahren verwenden die Autoren Strukturgleichungsmodelle. Jürgen Hoffmeyer-Zlotnik und Uwe Warner beschäftigen sich mit der Harmonisierung von soziodemografischen Variablen im internationalen Vergleich. Am Beispiel privater Haushalte diskutieren die beiden Autoren in dieser Studie die Bedeutung verschiedener nationaler und kultureller Konzepte, die einer Messung zugrunde liegen. Antje Rosebrock, Stephan Schlosser, Jan Karem Höhne und Steffen Kühnel unterscheiden in einer Onlinestudie drei Experimentalgruppen, um Effekte durch unterschiedliche Formen der Verbalisierung von Antwortskalen zu studieren; als Auswertungsverfahren verwenden sie u. a. ordinale Probitmodelle. Das Thema von Natalja Menold ist ähnlich wie jenes von Rosebrock et al., wobei Menold sich auf bereits publizierte Ergebnisse beschränkt, dafür den theoretischen Rahmen der kognitiven Antwortstrukturen (vgl. insbesondere die Arbeiten von Roger Tourangeau) und des Satisficing (vgl. insbesondere die Arbeiten von Jon Krosnick) ausführlich diskutiert. Die Theorien dieser beiden Autoren sind für einen Großteil der Aufsätze relevant, aber die Herausgeber hätten hier mit Querverweisen, insbesondere auch auf den Artikel von Menold, einiges an Redundanz zwischen den Beiträgen einsparen können. Der erste Teil des Bandes schließt mit dem Beitrag von Dagmar Krebs, die auf der Basis einer eigenen Umfrage untersucht, was die Mittelkategorie einer Antwortskala misst: Neutralität, Ambivalenz, Indifferenz oder eine mittlere Intensität der Einstellung; als Analyseverfahren verwendet sie konfirmatorische Faktorenanalysen.

Der zweite Teil des Bandes beginnt mit der Studie von Arne Bethmann, Christina Buschle und Herwig Reiter, die sich mit kognitiven Interviews und qualitativen Verfahren im Pretest beschäftigen. Zwar geht es auch hier um die Verbesserung von Fragebögen der quantitativen Sozialforschung, aber dies u. a. mit Methoden der qualitativen Sozialforschung, wie z. B. der Diskursanalyse. Cornelia Neuert und Timo Lenzer schlagen beim Pretest – in Ergänzung zu kognitiven Interviews – auch Verfahren des Eye Tracking vor. In ihrer relativ aufwendigen Studie kommen sie zu dem Ergebnis, dass durch die zusätzliche Verwendung von Eye Tracking mehr Probleme im Fragebogen und problematische Fragen aufgedeckt werden konnten, als dies durch kognitive Interviews möglich wäre. Udo Kelle, Bettina Langfeldt und Brigitte Metje diskutieren die Vorteile von Mixed-Methods-Designs. In diesem Beitrag verwenden sie Daten des ALLBUS und dort Fragen zur Religion, die sie faktorenanalytisch auswerten. Um die Hintergründe des Antwortverhaltens zu erklären, benutzen sie qualitative Daten, die sie aus kognitiven Interviews gewinnen.

Der dritte Teil unterscheidet sich in der Thematik nur geringfügig vom ersten Teil. Heinz Leitgöb beschäftigt sich mit sensitiven Fragen und diskutiert, ob unterschiedliche Befragungsmodi spezifische Settings erzeugen, die über situative Kosten- und Nutzenfaktoren Einfluss auf die Entscheidung der Befragten nehmen, diese Art von Fragen zu beantworten. Knut Petzold und Tobias Wolbring diskutieren Verhaltensvalidität im Rahmen von Vignettenexperimenten. Auch diese Studie ist theoretisch angelegt und basiert auf der Theorie des geplanten Verhaltens. Felix Wolter und Justus Junkermann untersuchen das Antwortverhalten auf fiktive Dinge. In einer eigenen, in Mainz durchgeführten Untersuchung, haben die Autoren den Befragten reale und fiktive Sehenswürdigkeiten der Stadt vorgegeben und das Antwortverhalten auf diese Sehenswürdigkeiten untersucht.

Die letzten beiden Arbeiten kommen aus der Praxis. Sandra Schütz, Folke Brodersen, Sandra Ebner und Nora Gaupp (alles Mitarbeitende des Deutschen Jugendinstituts) beschäftigen sich mit dem bislang wenig beachteten, aber dennoch sehr wichtigen Thema der Befragung von Jugendlichen mit geistiger Behinderung und wie diese Personen, angemessen und qualitätssichernd, in quantitative Umfragen einbezogen werden können. Abschließend diskutieren Gina Schöne, Heike Hölling, Patrick Schmich und Jasmin Gundlach (Mitarbeitende des Robert Koch-Instituts) Qualitätssicherungsmaßnahmen und Qualitätsmanagement im Rahmen von epidemiologischen Studien.

Wird der Sammelband als einheitliches Buch betrachtet, so sind die Artikel zwar auf einem unterschiedlichen methodischen Niveau verfasst, aber dennoch alle interessant und keinesfalls nur Wiederholungen bisheriger Publikationen. Da viele Themen relativ ähnlich sind, gibt es insbesondere im theoretischen Bereich einige redundante Passagen zwischen den Beiträgen. Hier hätten die Herausgeber zwar mit Querverweisen auf die jeweils anderen Beiträge einiges an Seiten einsparen können, andererseits wären die Artikel dann nicht mehr in sich geschlossen und nur noch im Verbund des Buches voll verständlich. Durch die vorhandene Redundanz kann sich jeder Lesende die Artikel aussuchen, die sie oder ihn interessieren, ohne die jeweils anderen zur Kenntnis zu nehmen.