Zusammenfassung
Die Wahlabsichtsfrage, populärwissenschaftlich auch als „Sonntagsfrage“ bezeichnet, wird kritisiert, weil mit ihr der Stimmenanteil der „Alternative für Deutschland“ (AfD) nicht valide zu messen sei. Wir argumentieren, dass alternative Messinstrumente, die Verzerrungen aufgrund von sozialer Erwünschtheit berücksichtigen, besser geeignet sind. Dazu testen wir erstmalig drei alternative Messmethoden – das doppelte Listenexperiment, die kreuzweise Randomisierte-Antwort-Technik und die Weisheit-der-Vielen-Methode – hinsichtlich des geschätzten AfD-Stimmenanteils und vergleichen sie mit der klassischen „Sonntagsfrage“. Unsere Ergebnisse zeigen, dass insbesondere die Weisheit-der-Vielen-Methode eine kostengünstige und gute Erweiterung der politikwissenschaftlichen Fragebatterie ist.
Abstract
In Germany, the standard vote intention survey item has come under attack because it failed to correctly measure the vote share of the German party “Alternative für Deutschland” (AfD). We argue that alternative measurement techniques that aim to reduce social desirability bias are better suited for this task. We test three measurement techniques to forecast AfD vote share—a double list experiment, the crosswise-model randomized response technique, and the wisdom of crowds design—and compare their performance to the standard vote intention item. Our results indicate that the wisdom of crowds design is an easily implementable and promising addition to political scientists’ toolbox of survey items.
This is a preview of subscription content, log in via an institution to check access.
Notes
In Abhängigkeit vom durchführenden Meinungsforschungsinstitut kann die genaue Formulierung der „Sonntagsfrage“ leicht abweichen (Groß 2010, S. 48).
Wir können anhand unserer Daten und der vorgestellten Verfahren nicht herausfinden, inwiefern weitere Fehlerquellen Einfluss auf den Vorhersagefehler der „Sonntagsfrage“ nehmen, obwohl sie auch sehr relevant sein könnten. Etwa könnten Befragte zwischen Befragung und Stimmabgabe noch ihre Meinung ändern. Zudem könnte es zu Selektionseffekten durch Nicht-Teilnahme bzw. Antwortverweigerung kommen, die gerade bei sogenannten Protestwählerinnen und -wählern wahrscheinlich sind.
Eine äußerst seltene Ausnahme sind Fälle, in denen die Forscherinnen und Forscher jederzeit wissen, wie groß der Fehler ist und ihn deshalb korrigieren können. Ebenso können auch Veränderungen zwischen fehlerhaften Ergebnissen aussagekräftig sein, wenn die Fehler bei allen Messungen gleichgroß sind.
Zur Überprüfung dieser Annahme haben wir die Verteilung der ersten Ziffern der Hausnummern aller GIP-Befragten ausgewertet. Da es sich um eine repräsentative Stichprobe handelt, zeigt diese Auswertung, dass die Verteilungsannahme gerechtfertigt ist, und dass circa 70 % der Hausnummern in Deutschland mit Ziffern zwischen 1 und 4 beginnen. Abb. 6 im Online-Anhang verdeutlicht dies.
Selbstverständlich könnte es auch eine Frage sein, der niemand zustimmt.
Yu et al. (2008) bestimmen auch die Variabilität des Schätzers analytisch. Aus unten genannten Gründen verwenden wir aber die durch Bootstrapping bestimmte Variabilität.
Der genaue Wortlaut der Frage ist: „Wie viele dieser Punkte werden Sie wahrscheinlich in den nächsten drei Monaten tun?“.
Auch Droitcour et al. (1991) bestimmen die Variabilität des Schätzers analytisch. Im Gegensatz dazu nutzen wir jedoch Bootstrap-Standardfehler, um die Vergleichbarkeit der getesteten Methoden zu wahren.
Die Variabilität des Schätzers ist deshalb die übliche Variabilität des Mittelwertes.
Wir stellen in der Tabelle nur Befragte dar, die die „Sonntagsfrage“, die WdV-Frage sowie entweder die RAT-Fragen oder beide ICT-Fragen gestellt bekommen haben. 17 Befragte beantworteten die „Sonntagsfrage“, stiegen dann aber aus der Umfrage aus, bevor die anderen Fragen gestellt werden konnten.
In Online-Anhang zeigen wir, dass die zufällige Aufteilung erreicht, dass die Befragtengruppen in wesentlichen anderen Merkmalen gleich sind und daher Unterschiede zwischen den Gruppen auf die Gruppenzugehörigkeit (Fragetyp) zurückzuführen sind.
Publizierte Umfragen werden freundlicherweise vom Internetportal wahlrecht.de gesammelt und aufbereitet (http://www.wahlrecht.de/umfragen/).
Knapp 5 % der Befragten verweigern auf die „Sonntagsfrage“ die Antwort, weil sie ihre Wahlintention nicht preisgeben wollen. Einige Befragte tun dies vermutlich auch aufgrund sozialer Erwünschtheit.
13,7 % der Befragten antworten auf die „Sonntagsfrage“ mit „weiß nicht“, wozu auch unentschlossene Wähler gehören können.
Allerdings ist absehbar, dass der Markt an (online implementierten) Umfrageinstrumenten mit einem größeren Stichprobenumfang wachsen wird. Solange diese größeren Stichproben auch qualitativ hoch sind, könnte dies die geringe Effizienz der verwendeten Methoden möglicherweise ausgleichen. Wir danken dem zweiten Gutachten für diesen wertvollen Hinweis.
Wir danken dem anonymen Gutachter/der anonymen Gutachterin für diesen hervorragenden Hinweis.
Die Wahlabsichtsfrage ist ein Instrument basierend auf nur einer Frage. Die Analyse nimmt an, dass wir diese Wahlabsicht ohne Messfehler messen können. Denkbar ist aber auch, dass sich Befragte bei der Wahlabsichtsfrage unsicher sind und daher inkonsistente Antworten geben, wenn sie erneut zu einer Wahlabsicht befragt werden. Außerdem könnte diese Unsicherheit auch dazu führen, dass, obwohl Befragte angeben, AfD zu wählen, sie dies aber am Wahltag nicht tun.
CDU und CSU wurden dabei als CDU/CSU abgefragt.
Entsprechende Tests zeigen, dass der Korrelationskoeffizient 0,25 beträgt und statistisch signifikant ist (p < 0,001).
Befragte, die nicht beide Fragen beantworten, wurden bereits in den anderen Analysen ausgeschlossen. Wir tun dies auch hier.
Genau genommen handelt es sich um die Wahrscheinlichkeit, mehr affirmative Antworten in der Treatmentliste des doppelten Listenexperiments zu geben als in der Kontrollliste. Da wir davon ausgehen können, dass die Randomisierung in Experimentalgruppen funktioniert (siehe Online-Anhang), entspricht diese Wahrscheinlichkeit aber genau der Wahrscheinlichkeit, in den nächsten drei Monaten AfD zu wählen. Wir danken dem anonymen Gutachter/der anonymen Gutachterin für diesen sehr hilfreichen Hinweis.
Literatur
Adams, James, Michael Clark, Lawrence Ezrow, und Garrett Glasgow. 2004. Understanding change and stability in party ideologies: do parties respond to public opinion or to past election results? British Journal of Political Science 34(4):589–610. https://doi.org/10.1017/S0007123404000201.
Adams, James F., Samuel Merrill, und Bernard Grofman. 2005. A unified theory of party competition: a cross-national analysis integrating spatial and behavioral factors. Cambridge: Cambridge University Press.
Aichholzer, Julian, Sylvia Kritzinger, Markus Wagner, und Eva Zeglovits. 2014. How has radical right support transformed established political conflicts? The case of Austria. West European Politics 37(1):113–137. https://doi.org/10.1080/01402382.2013.814956.
Bergmann, Knut, und Matthias Diermeier. 2017. Die AfD: Eine unterschätzte Partei. Soziale Erwünschtheit als Erklärung für fehlerhafte Prognosen. No. 7/2017. IW-Report.
Blom, Annelies G., Jessica M. E. Herzing, Carina Cornesse, Joseph W. Sakshaug, Ulrich Krieger, und Dayana Bossert. 2017. Does the recruitment of offline households increase the sample representativeness of probability-based online panels? Evidence from the German Internet panel. Social Science Computer Review 35(4):498–520. https://doi.org/10.1177/0894439316651584.
Boland, Philip J. 1989. Majority systems and the condorcet jury theorem. Journal of the Royal Statistical Society. Series D (The Statistician) 38(3):181–189. https://doi.org/10.2307/2348873.
Boruch, Robert F. 1971. Assuring confidentiality of responses in social research: a note on strategies. The American Sociologist 6(4):308–311. https://doi.org/10.2307/27701807.
Bräuninger, Thomas. 2009. Responsivität und strategische Adaption im Parteienwettbewerb in den deutschen Bundesländern. In Parteienwettbewerb, Wählerverhalten und Koalitionsbildung: Festschrift zum 70. Geburtstag von Franz Urban Pappi, Hrsg. Christian Henning, Eric Linhart, und Susumu Shikano, 27–46. Baden-Baden: Nomos.
Bräuninger, Thomas, und Marc Debus. 2012. Parteienwettbewerb in den deutschen Bundesländern. Wiesbaden: Springer VS.
de Condorcet, Marquis. 1785. Essai sur l’application de l’analyse à la probabilité des décisions rendues à la pluralité des voix. Paris: De I’Imprimerie Royale.
Coutts, Elisabeth, und Ben Jann. 2011. Sensitive questions in online surveys: experimental results for the Randomized Response Technique (RRT) and the Unmatched Count Technique (UCT). Sociological Methods & Research 40(1):169–193. https://doi.org/10.1177/0049124110390768.
Crowne, Douglas P., und David Marlowe. 1960. A new scale of social desirability independent of psychopathology. Journal of Consulting Psychology 24(4):349–354. https://doi.org/10.1037/h0047358.
Diekmann, Andreas. 2012. Making use of “Benford’s law” for the randomized response technique. Sociological Methods & Research 41(2):325–334. https://doi.org/10.1177/0049124112452525.
Droitcour, Judith, Rachel A. Caspar, Michael L. Hubbard, Teresa L. Parsley, Wendy Visscher, und Trena M. Ezzati. 1991. The item-count technique as a method of indirect questioning: a review of its development and a case study application. In Measurement errors in surveys, Hrsg. Paul P. Biemer, Robert M. Groves, Lars E. Lyberg, Nancy A. Mathiowetz, und Seymour Sudman, 185–210. Hoboken: John Wiley & Sons Inc.
Evans, Jocelyn, und Gilles Ivaldi. 2010. Comparing forecast models of Radical Right voting in four European countries (1973–2008). International Journal of Forecasting 26(1):82–97. https://doi.org/10.1016/J.IJFORECAST.2009.04.001.
Galton, Francis. 1907. Vox populi. Nature 75:450–451.
Glynn, Adam N. 2013. What can we learn with statistical truth serum? Public Opinion Quarterly 77(S1):159–172. https://doi.org/10.1093/poq/nfs070.
Graefe, Andreas. 2014. Accuracy of vote expectation surveys in forecasting elections. Public Opinion Quarterly 78(S1):204–232. https://doi.org/10.1093/poq/nfu008.
Grofman, Bernard, Guillermo Owen, und Scott L. Feld. 1983. Thirteen theorems in search of the truth. Theory and Decision 15(3):261–278. https://doi.org/10.1007/BF00125672.
Groß, Jochen. 2010. Die Prognose von Wahlergebnissen. Ansätze und empirische Leistungsfähigkeit. Wiesbaden: Springer VS.
Höglinger, Marc, und Andreas Diekmann. 2017. Uncovering a blind spot in sensitive question research: false positives undermine the crosswise-model RRT. Political Analysis 25(1):131–137. https://doi.org/10.1017/pan.2016.5.
Höglinger, Marc, Ben Jann, und Andreas Diekmann. 2016. Sensitive questions in online surveys: an experimental comparison of the randomized response technique and the crosswise model. Survey Research Methods 10(3):171–187. https://doi.org/10.18148/srm/2016.v10i3.6703.
Jann, Ben, Julia Jerke, und Ivar Krumpal. 2012. Asking sensitive questions using the crosswise model: an experimental survey measuring plagiarism. Public Opinion Quarterly 76(1):32–49. https://doi.org/10.1093/poq/nfr036.
Johann, David, Kathrin Thomas, Thorsten Faas, und Sebastian Fietkau. 2016. Alternative Messverfahren rechtspopulistischen Wählens im Vergleich: Empirische Erkenntnisse aus Deutschland und Österreich. In Wahlen und Wähler: Analysen aus Anlass der Bundestagswahl 2013, Hrsg. Harald Schoen, Bernhard Weßels, 447–470. Wiesbaden: Springer.
Kollman, Ken, John H. Miller, und Scott E. Page. 1992. Adaptive parties in spatial elections. American Political Science Review 86(4):929–937. https://doi.org/10.2307/1964345.
Kreuter, Frauke, Stanley Presser, und Roger Tourangeau. 2008. Social desirability bias in CATI, IVR, and web surveys: the effects of mode and question sensitivity. Public Opinion Quarterly 72(5):847–865. https://doi.org/10.1093/poq/nfn063.
Krogh, Anders, und Jesper Vedelsby. 1994. Neural network ensembles, cross validation and active learning. Proceedings of the 7th International Conference on Neural Information Processing Systems. NIPS’94., 231–238. Cambridge: MIT Press.
Krosnick, Jon A. 1991. Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology 5(3):213–236. https://doi.org/10.1002/acp.2350050305.
Krosnick, Jon A. 1999. Survey research. Annual Review of Psychology 50(1):537–567. https://doi.org/10.1146/annurev.psych.50.1.537.
Krumpal, Ivar. 2012. Estimating the prevalence of xenophobia and anti-semitism in Germany: a comparison of randomized response and direct questioning. Social Science Research 41(6):1387–1403. https://doi.org/10.1016/j.ssresearch.2012.05.015.
Kuklinski, James H., Paul M. Sniderman, Kathleen Knight, Thomas Piazza, Philip E. Tetlock, Gordon R. Lawrence, und Barbara Mellers. 1997. Racial prejudice and attitudes toward affirmative action. American Journal of Political Science 41:402–419.
Lehmbruch, Gerhard. 2000. Parteienwettbewerb im Bundesstaat: Regelsysteme und Spannungslagen im politischen System der Bundesrepublik Deutschland. Wiesbaden: Springer VS.
Lewandowsky, Marcel. 2015. Eine rechtspopulistische Protestpartei? Die AfD in der öffentlichen und politikwissenschaftlichen Debatte. Zeitschrift für Politikwissenschaft 25(1):119–134. https://doi.org/10.5771/1430-6387-2015-1-119.
Lewandowsky, Marcel, Heiko Giebler, und Aiko Wagner. 2016. Rechtspopulismus in Deutschland. Eine empirische Einordnung der Parteien zur Bundestagswahl 2013 unter besonderer Berücksichtigung der AfD. Politische Vierteljahresschrift 57(2):247–275. https://doi.org/10.5771/0032-3470-2016-2-247.
Lewis-Beck, Michael S. 2005. Election forecasting: principles and practice. The British Journal of Politics and International Relations 7(2):145–164. https://doi.org/10.1111/j.1467-856X.2005.00178.x.
Lewis-Beck, Michael S., und Andrew Skalaban. 1989. Citizen forecasting: can voters see into the future? British Journal of Political Science 19(1):146–153. https://doi.org/10.1017/S000712340000538X.
Lewis-Beck, Michael S., und Mary Stegmaier. 2011. Citizen forecasting: can UK voters see the future? Electoral Studies 30(2):264–268. https://doi.org/10.1016/j.electstud.2010.09.012.
Lewis-Beck, Michael S., und Charles Tien. 1999. Voters as forecasters: a micromodel of election prediction. International Journal of Forecasting 15(2):175–184. https://doi.org/10.1016/S0169-2070(98)00063-6.
List, Christian, und Robert E. Goodin. 2001. Epistemic democracy: generalizing the condorcet jury theorem. Journal of Political Philosophy 9(3):277–306. https://doi.org/10.1111/1467-9760.00128.
Munzert, Simon, Lukas Stötzer, Thomas Gschwend, Marcel Neunhoeffer, und Sebastian Sternberg. 2017. Zweitstimme.org. Ein strukturell-dynamisches Vorhersagemodell für Bundestagswahlen. Politische Vierteljahresschrift 58(3):418–441. https://doi.org/10.5771/0032-3470-2017-3-418.
Murr, Andreas E. 2011. ‘Wisdom of crowds’ ? A decentralised election forecasting model that uses citizens’ local expectations. Electoral Studies 30(4):771–783. https://doi.org/10.1016/j.electstud.2011.07.005.
Murr, Andreas E. 2015. The wisdom of crowds: applying Condorcet’s jury theorem to forecasting US presidential elections. International Journal of Forecasting 31(3):916–929. https://doi.org/10.1016/j.ijforecast.2014.12.002.
Murr, Andreas E. 2016. The wisdom of crowds: What do citizens forecast for the 2015 British General Election? Electoral Studies 41:283–288. https://doi.org/10.1016/j.electstud.2015.11.018.
Murr, Andreas E. 2017. Wisdom of crowds. In Handbook of political behavior, Hrsg. Kai Arzheimer, Jocelyn Evans, und Michael S. Lewis-Beck, 835–860. Los Angeles: SAGE.
Page, Scott E. 2007. The difference: how the power of diversity creates better groups, firms, schools, and societies. Princeton: Princeton University Press.
Phillips, Derek L., und Kevin J. Clancy. 1972. Some effects of „social desirability“ in survey studies. American Journal of Sociology 77(5):921. https://doi.org/10.1086/225231.
Rosenfeld, Bryn, Kosuke Imai, und Jacob N. Shapiro. 2016. An empirical validation study of popular survey methodologies for sensitive questions. American Journal of Political Science 60(3):783–802. https://doi.org/10.1111/ajps.12205.
Rosenfelder, Joel. 2017. Die Programmatik der AfD: Inwiefern hat sie sich von einer primär euroskeptischen zu einer rechtspopulistischen Partei entwickelt? Zeitschrift für Parlamentsfragen 48(1):123–140. https://doi.org/10.5771/0340-1758-2017-1-123.
Roth, Dieter, und Andreas M. Wüst. 2015. Missgeschick oder Trend? Zur Prognosetauglichkeit von Wahlumfragen. Zeitschrift für Staats- und Europawissenschaften 13(2):298–330. https://doi.org/10.5771/1610-7780-2015-2-298.
Schmitt-Beck, Rüdiger, Hans Rattinger, Sigrid Roßteutscher, Bernhard Weßels, Christof Wolf, Ina Bieber, Manuela S. Blumenberg, Jan Eric Blumenstiel, Thorsten Faas, André Förster, Heiko Giebler, Isabella Glogger, Tobias Gummer, Sascha Huber, Mona Krewel, Patrick Lamers, Jürgen Maier, Julia Partheymüller, Thomas Plischke, Joss Roßmann, Anne Schäfer, Philipp Scherer, Markus Steinbrecher, Aiko Wagner, und Elena Wiegand. 2014. Zwischen Fragmentierung und Konzentration: Die Bundestagswahl 2013. Baden-Baden: Nomos.
Schnell, Rainer, und Marcel Noack. 2014. The accuracy of pre-election polling of German general elections. Methods, Data, Analyses 8(1):5–24. https://doi.org/10.12758/mda.2014.001.
Surowiecki, James. 2004. The wisdom of the crowd: why the many are smarter than the few. London: Abacus.
Wüst, Andreas M. 2003. Stimmung, Projektion, Prognose? In Politibarometer, Hrsg. Andreas M. Wüst, 83–107. Wiesbaden: Springer VS.
Yu, Jun-Wu, Guo-Liang Tian, und Man-Lai Tang. 2008. Two new models for survey sampling with sensitive characteristic: design and analysis. Metrika 67(3):251–263. https://doi.org/10.1007/s00184-007-0131-x.
Danksagung
Für hilfreiche Kommentare danken wir den anonymen Gutachterinnen und Gutachtern sowie Christel Selzer für ihre redaktionelle Arbeit am Manuskript. Ebenso möchten wir uns beim Team des German Internet Panels (GIP) und insbesondere Ulrich Krieger für die hervorragende Unterstützung bedanken. Die Forschung, die diesem Artikel zugrunde liegt, wurde maßgeblich von der DFG durch den Sonderforschungsbereich 884 „Politische Ökonomie von Reformen“ (Teilprojekte C2 und C4) an der Universität Mannheim finanziert. Sebastian Juhls Forschung wurde zusätzlich vom Center for Doctoral Studies in Social and Behavioral Sciences an der Graduate School of Economic and Social Sciences der Universität Mannheim unterstützt.
Author information
Authors and Affiliations
Corresponding author
Caption Electronic Supplementary Material
11615_2018_106_MOESM1_ESM.pdf
Online-Material beinhaltet Evidenz, dass die Randomisierung in die Gruppen die Ergebnisse nicht verzerrt, einen Überblick über die Häufigkeitsverteilung der ersten Ziffer der Hausnummern der GIP-Befragten sowie eine Replikation der Analysen in Abschnitt 4.1 mit Ausschluss nach abgelaufener Zeit in Sekunden
Rights and permissions
About this article
Cite this article
Gschwend, T., Juhl, S. & Lehrer, R. Die „Sonntagsfrage“, soziale Erwünschtheit und die AfD: Wie alternative Messmethoden der Politikwissenschaft weiterhelfen können. Polit Vierteljahresschr 59, 493–519 (2018). https://doi.org/10.1007/s11615-018-0106-8
Published:
Issue Date:
DOI: https://doi.org/10.1007/s11615-018-0106-8