Schlüsselwörter

1 Einleitung: Umfrageforschung während der Krise

Die einzelnen Beiträge des vorliegenden Sammelbands diskutieren die sozialen Charakteristika, Herausforderungen und Folgen der Corona-Krise im Frühjahr 2020. Die beteiligten Autorinnen und Autoren skizzieren in unterschiedlichen, themenspezifischen Kapiteln, wie sich die ersten Monate der Pandemie auf einzelne Bereiche des Alltagslebens, die gesellschaftliche Solidarität und die grundlegende Wertehaltung in Österreich auswirkten. Um derart vielfältige sozialwissenschaftliche Erkenntnisse zur Pandemie und deren Konsequenzen bereitstellen zu können, wird eine umfangreiche, belastbare empirische Datenbasis benötigt. Aufgrund des großen Engagements im Bereich der österreichischen Umfrageforschung konnten die Forschenden für das vorliegende Buch auf die Datensätze von zwei größer angelegten Umfrageprojekten zurückgreifen:

  • Dem von der Universität Wien etablierten Austrian Corona Panel Project (ACPP) unter der Leitung von Bernhard Kittel (Kittel et al. 2020a, b) einerseits und

  • der österreichischen Values in Crisis (VIC) Umfrage unter der Leitung von Wolfgang Aschauer (Aschauer et al. 2020) andererseitsFootnote 1.

Beide Studien wurden von erfahrenen Umfrageforscher*innen durchgeführt, die in der Vergangenheit für die AUTNES – the Austrian National Election Study (siehe Aichholzer et al. 2018 bzw. 2020), den österreichischen Teil der EVS – European Value Survey (siehe Aichholzer et al. 2019), die österreichischen Umfragen im Rahmen des ISSP – Interational Social Survey Programme sowie dem SSÖ – Sozialen Survey Österreich (siehe u. A. Bacher et al. 2019; Aschauer et al. 2019; Bacher und Weichbold 2020) verantwortlich waren.

Vor dem Hintergrund dieser umfangreichen Expertise im Bereich der Umfrageforschung ist davon auszugehen, dass die Verantwortlichen darum bemüht waren, eine qualitativ hochwertige Datenbasis zu schaffen und sicherzustellen, dass darauf aufbauende Forschungsleistungen – wie eben dieses Buch – belastbare und verlässliche Ergebnisse liefern. Dennoch ist es für die Leser*innen entscheidend, auch über die Hintergründe der jeweiligen Erhebungen in Kenntnis gesetzt zu werden.

2 Studiendesign, Datenerhebung und Datenqualität

Um während der Covid-19-Pandemie qualitativ hochwertige Datensätze generieren zu können, wurde von den Forschungsteams des ACPP und der VIC-Umfrage entschieden, auf ein existierendes Online-Access-PanelFootnote 2 zurückzugreifen. Diese Entscheidung wurde nicht nur aufgrund der Notwendigkeit zum Social Distancing getroffen, sondern fußte ebenso auf pragmatischen und inhaltlichen Gründen, die für die Wahl dieses Umfragemodus sprachen.

So bieten Online-Access-Panel-Erhebungen die Möglichkeit, (idente) Personen in schneller Abfolge zu befragen und Veränderungen im Zeitverlauf detailgenau zu messen bzw. die Umfragen umgehend auf Veränderungen in der sozialen Situation anzupassen (Kittel et al. 2020a, S. 4). Ein entscheidender Vorteil in der Corona-Krise, während der sich die gesellschaftliche Lage teils wöchentlich verändert hat. Genauso haben Online-Access-Panel-Erhebungen strukturelle Vorteile wie die unkomplizierte Rekrutierung von Teilnehmenden, eine automatische Filterführung zur Minimierung der Befragungszeit, standardisierte Plausibilitätstests und geringere Befragungskosten (Wagner-Schelewsky und Hering 2019, S. 788 f.). Inhaltlich sprechen zusätzlich die Minimierung von Fehlerquellen wie potenzielle Interviewer*inneneffekte oder sozial wünschbare Antworten für diesen Befragungsmodus (Jedinger und Michael 2019; Prandner und Röser 2017)Footnote 3.

Inhaltlich verfolgen das ACPP und die VIC-Umfrage ähnliche Ziele, mit unterschiedlichen Schwerpunkten. So war die kontinuierliche Dauerbeobachtung der österreichischen Gesellschaft von Anfang an die primäre Zielsetzung des ACPP (Kittel et al. 2020a, S. 2). Im Rahmen dieser Studie wurden zwischen April und Juni 2020 wöchentliche Erhebungen durchgeführt, ab Juli 2020 wurde auf einen monatlichen Rhythmus gewechselt (Kittel et al. 2020a, S. 20). Entsprechend können mit den Datensätzen des ACPP Veränderungen über die Zeit genau erfasst, die Akzeptanz politischer Maßnahmen kontinuierlich mitverfolgt und Zusammenhänge zwischen Pandemieverlauf, Maßnahmen, sozialen Dynamiken und wirtschaftliche sowie gesundheitliche Betroffenheit diskutiert werden (Kittel et al. 2020a, S. 2). Kerninhalte zur sozialen und politischen Lage werden in der Umfrage regelmäßig wiederholt, andere Themen nur einmalig erhoben. Im Gegensatz dazu fand für die VIC-Umfrage im Mai 2020 eine einmalige Erhebung statt und fokussiert auf die Zeit nach dem Ende des ersten Lockdowns. Kernanliegen der Untersuchung ist es, die Stabilität und die Veränderung von Grundwerten in Zeiten der Krise zu untersuchen (WVS 2020).Footnote 4

Den thematischen Ähnlichkeiten der Studien entsprechend gibt es inhaltlich eine Vielzahl an Parallelen. Beide diskutieren veränderte Alltagssituationen, grundsätzliche Werteorientierungen, Bedrohungswahrnehmungen und zentrale Einstellungen in Zeiten der Krise. Zusätzlich werden soziodemografische Charakteristika der Befragten, deren soziale und wirtschaftliche Lage, Krisenerfahrungen und -wahrnehmungen, soziales wie auch politisches Vertrauen, politisches Interesse und politische Orientierung, Mediennutzung und vieles mehr erfasst (siehe auch Abschn. 1.2 im einführenden Kapitel von Aschauer et al. (2022), dort insbesondere Tab. 1.1 – Gegenüberstellung).

Für die Durchführung der Studien wurde das niederösterreichische Marktforschungsinstitut Marketagent beauftragt, Stichproben aus ihrem bereits zuvor angesprochenen Online-Access-Panel zu ziehen. Es wurde die Anforderung an Strukturgleichheit zur österreichischen Wohnbevölkerung ab einem Alter von 14 Jahren definiert. Dies ist eine notwendige Voraussetzung für qualitativ hochwertige Umfrageforschung, da das Ziel der Analyse von quantitativen Daten grundsätzlich in der Verallgemeinerung von Umfrageergebnissen liegt und dafür Repräsentativität – also eine möglichst genaue Übereinstimmung zwischen gezogener (Zufalls-)Stichprobe und Grundgesamtheit hinsichtlich klar definierter Variablen wie bspw. Alter, Geschlecht, Bildung – verlangt wird (Dillman et al. 2014, S. 5; Kiesl 2019, S. 405).

Die Erhebungsmethode schränkte jedoch den potenziellen Kreis der Teilnehmenden – die sogenannte Auswahlgesamtheit (Schnell et al. 2013, S. 247 bzw. S. 271) – in zweifacher Hinsicht ein: Die Personen mussten 1) über einen Onlinezugang verfügen und 2) bereits vorab in das Panel von Marketagent eingebunden sein (Kittel et al. 2020a, S. 5). Diese Einschränkungen sind von Relevanz, da sich – trotz der inzwischen flächendeckenden Verbreitung von Onlinezugängen – noch immer Abweichungen zwischen Onlinebevölkerung – insbesondere jener, die sich selbstständig zur Teilnahme an einem Online-Access-Panel für Umfragen bereit erklärt – und Wohnbevölkerung finden lassen.Footnote 5

Der folgende Abschnitt diskutiert, welche Herausforderungen bei der Datenerhebung beider Projekte berücksichtigt werden mussten. Zusätzlich wird dargelegt, wie in den gegenständlichen Projekten bzw. der sozialwissenschaftlichen Umfrageforschung im Allgemeinen potenzielle Verzerrungen in Stichproben identifiziert werden und welche Korrektur- und Lösungsansätze in der Interpretation der Ergebnisse zum Einsatz kommen.

2.1 Die Grundgesamtheit und der Stichprobenrahmen – das Online-Access-Panel von Marketagent

Wie im letzten Abschnitt angesprochen ist das Ziel sozialwissenschaftlicher Umfrageforschung, möglichst allgemeingültige Aussagen über die jeweils im Focus des Interesses stehende Population abzuleiten. Es sollten verallgemeinerbare Gesetzmäßigkeiten und Regeln sozialer Strukturen identifiziert werden (Cresswell und Cresswell 2017). Die Stichprobenziehung stellt dabei jedoch in den meisten Fällen einen komplexen, mehrstufigen Prozess dar, bei dem unterschiedliche Problemfelder bedacht werden müssen. Diese sind schematisch – mit Bezug auf die beiden gegenständlichen Umfragen via Online-Panels – in Abb. 12.1 dargestellt.

Abb. 12.1
figure 1

(Eigene Darstellung)

Von der Grundgesamtheit zur Analyse – Schematische Darstellung der Stichprobenziehung inkl. Verzerrungen sowie Korrekturen.

Full size image

Das für beiden Studien herangezogene Online-Access-Panel von Marketagent enthält für Österreich knapp 130.500 Personen (Marketagent 2021a) und ist von der Internationalen Organisation für Normung zertifiziert (ISO 20252). Mit dieser Zertifizierung geht einher, dass Marketagent die Daten seiner Teilnehmer*innen strikt schützt und diese rein für (Markt-)Forschungszwecke und nicht bspw. für Marketing oder Werbemaßnahmen nutzt (Marketagent 2021a, b). Diese 130.500 Personen stellen die Auswahlgesamtheit des Online-Access-Panels dar, aus der die endgültigen Stichproben von Teilnehmer*innen für alle Studien der Firma gezogen werden (zu den Begrifflichkeiten siehe u. A.: Schnell et al. 2013, S. 261 ff.).

Die Rekrutierung der Panelteilnehmenden erfolgt über verschiedene Kanäle und Initiativen (Marketagent 2021b). So nutzt Marketagent laut eigener Auskunft z. B. Fernsehwerbung, Werbeplakate und Inserate in Zeitschriften. Ziel dieser differenzierten Rekrutierungsmaßnahmen ist es, ein möglichst breites Spektrum an potenziellen Teilnehmer*innen zu erreichen. Zusätzlich bietet das Unternehmen den Teilnehmenden unterschiedliche Anreize (Incentives) für die Teilnahme bzw. Beantwortung von Umfragen. Diese reichen von Gutscheinen bis hin zur konkreten Bezahlung für einzelne Interviews.

Die seitens des Marktforschungsinstituts transparent bereitgestellten Daten über die Zusammensetzung des Panels verdeutlichen Abweichungen der Auswahlgesamtheit, aus der die endgültigen Stichproben gezogen werden, zur Grundgesamtheit. So kann bereits vor der Stichprobenziehung auf die eventuell zu erwartenden Probleme in der Verteilung der Befragungsteilnehmer*innen reagiert werden.

Im konkreten Fall kann festgehalten werden, dass das genutzte Online-Access-Panel hinsichtlich der Verteilung der Geschlechter und der Altersstruktur ein grundsätzlich hinreichend gutes Abbild der österreichischen Wohnbevölkerung darstellt, aber die mittlere Alterskohorte (20 bis 39) bei den Frauen überproportional häufig im Panel vorkommt und die Altersgruppe ab 60 bei Männern und Frauen stark unterrepräsentiert ist. Es zeigt sich also, dass die in Tab. 12.1 als Verzerrung I angesprochene Problemlage während der Datenerhebung Berücksichtigung finden muss, um die Auswirkungen der Selbstselektion von Individuen, die sich für das Panel registrieren und die Verteilungen entsprechen beeinflussen, zu korrigieren (siehe auch Tab. 12.1; Keusch 2015).

Tab. 12.1 Stichprobenrahmen und Grundgesamtheit im Vergleich – Grundlage: Marketagent (2021a) und Statistik Austria (2020c) – Mikrozensus 2019 – Eigene Darstellung in Anlehnung an Seymer und Baisch (2020). Es werden jeweils die Anteile der jeweiligen Gruppen im Online-Acccess-Panel von Marketagent und in den Mikrozensusdaten ausgewiesen
Full size table

Der nächste Abschnitt diskutiert, welche Qualitätssicherungsmaßnahmen im Rahmen der VIC-Studie und des ACPP getroffen wurden, um dennoch Stichproben zu ziehen, die in ihrer Struktur der Grundgesamtheit ähnlich sind.

2.2 Die gezogene Stichprobe und das dafür angewandte Quotenverfahren

Aufgrund der strukturellen Abweichungen im Online-Access-Panel, die beispielhaft in Tab. 12.1 sichtbar waren, entschieden beide Forschungsteams, diesen potenziellen Verzerrungen mittels Quotenvorgaben zu begegnen.

Dies bedeutet, dass nicht einfach zufällig die gewünschte Anzahl an Personen – wie z. B. bei einer Lottoziehung – aus der Auswahlgesamtheit gezogen wurde, sondern vielmehr bestimmte Verteilungsstrukturen – Quoten – für die Ziehung vorgegeben wurden (Schnell et al. 2013, S. 263, 294).

Dieses Stichprobenverfahren wurde für das ACPP und die VIC-Studie angewandt, um sicherzustellen, dass die Struktur der Befragten möglichst genau der Grundgesamtheit entspricht (siehe auch Korrektur I in Abb. 12.1). Im konkreten Fall bedeutet dies, dass für die endgültige Verteilung der Stichprobe die Abbildung der österreichischen Wohnbevölkerung ab 14 Jahren angestrebt wurde (Kittel et al. 2020a; Aschauer et al. 2020). Die Personen wurden auf Basis ihres Alters, Geschlechts, formalen Bildungsabschlusses und des Wohnortes (Bundesland) ausgewählt. Für die Stichprobe des ACPP wurde zusätzlich die Wohnortgröße berücksichtigt.

Da aber nicht jede für die Teilnahme kontaktierte Person tatsächlich die jeweilige Umfrage beantwortete (siehe auch Verzerrung II in Abb. 12.1), mussten für die angestrebten Stichproben wesentlich mehr potenzielle Teilnehmende kontaktiert werden.Footnote 6 Aufgrund des angewandten Quotenverfahrens entspricht die so zustande gekommene Auswahl der Befragten dennoch weitestgehend der Struktur der österreichischen Bevölkerung (für Details siehe Tab. 12.2 und 12.3 am Ende dieses Abschnitts). Lediglich bei den Personengruppen über 60 Jahre und im Bereich der formalen Bildungsabschlüsse lassen sich größere Unterschiede zwischen den gezogenen Stichproben der VIC-und ACPP-Umfragen und den Mikrozensus-Daten der Statistik Austria (2020c) aufzeigen. Diese Effekte sind jedoch in der Umfrageforschung bekannt und kein Spezifikum der Erhebungen von Marketagent (siehe für weiterführende Diskussionen u. A.: Keusch 2013, 2015; Kittel et al. 2020a).

Tab. 12.2 Mikrozensus 2019 im Vergleich zur Datenbasis der VIC-2020-Studie (in grauer Schrift: Auswirkung der Gewichtung; siehe auch Abschn. 2.3). (Datengrundlage: Statistik Austria 2020c/Aschauer et al. 2020)
Full size table
Tab. 12.3 Mikrozensus 2019 im Vergleich zur Datenbasis des ACPP (in grauer Schrift: Auswirkung der Gewichtung; siehe auch Abschn. 2.3). (Datengrundlage: Statistik Austria 2020c/Kittel et al. 2020b)
Full size table

Da es sich bei dem ACPP um eine Panelstudie handelt, wird auf Veränderungen in der Verteilung zwischen den Wellen kontrolliert. Denn typischerweise entscheidet sich in jeder Welle ein Teil der Befragten, nicht an weiteren Befragungen teilzunehmen und scheidet aus dem Panel aus. Dies wird als Panelmortalität bezeichnet (siehe für eine detaillierte Abhandlung auch Schnell und Trappmann 2006). Sollten diese Ausfälle nicht zufällig sein, sondern bestimmte Gruppen vermehrt ausscheiden, wäre dies ein Indikator für Probleme hinsichtlich der endgültigen Datenqualität der Umfrage.

Die soziodemografische Struktur des ACPP wird über die analysierten Wellen hinweg sehr konstant gehalten und Abweichungen zwischen den Erhebungen sind nur gering ausgefallen. Von Welle zu Welle sind die Abweichungen in der Verteilung von Geschlecht, Bildungsstand bzw. Migrationshintergrund jeweils unter einem Prozentpunkt. Selbst wenn man nur die Teilnehmer*innen beobachtet, die bereits ab in Welle 1 teilgenommen haben, sind die Veränderungen in den Verteilungen nur im niedrigen einstelligen Prozentbereich. Die größte messbare Veränderung ist, dass von den Teilnehmer*innen aus Welle 1 etwas mehr Frauen zwischen Welle 2 und 3 aus dem Panel ausgestiegen sein dürften als Männer – hier gibt es eine Veränderung von knapp 3 Prozentpunkten zwischen den Wellen (siehe Tab. 12.4 für Details).

Tab. 12.4 Sozialstrukturelle Zusammensetzung des ACPP im Zeitverlauf. (Datengrundlage: Kittel et al. 2020b; eigene Berechnungen (W steht für Erhebungswellen))
Full size table

Insgesamt ist festzuhalten, dass die Strukturgleichheit beider Studien zur Grundgesamtheit – trotz geringem Rücklauf bei der VIC-Umfrage – hoch erscheint und nur geringe Verzerrungen in spezifischen Teilpopulationen existieren. Genauso sind die Abweichungen von Stichprobe zu Grundgesamtheit durchgängig geringer als die Abweichungen von Auswahlgesamtheit zu Grundgesamtheit. Dies spricht für die Effizienz des gewählten Quotenverfahrens.

2.3 Gewichtung

Der letzte Abschnitt zeigte auf, dass die Zusammensetzung der Stichproben in den gegenständlichen Studien in einzelnen Teilaspekten von der Wohnbevölkerung Österreichs abweicht. Um diese Abweichungen zu kompensieren und die Datenbasis möglichst nahe an die Grundgesamtheit anzupassen, wurden für beide Datensätze sogenannte Gewichte berechnet (Siehe auch Abb. 12.1, Korrektur II).Footnote 7

Die Gewichtung für den Datensatz des ACPP erfolgte nach den Kriterien Geschlecht, Alter, einer Kreuzkombination dieser beiden Variablen, Bildungsstand, Bundesland, Erwerbsstatus, Haushaltsgröße und Migrationshintergrund (vgl. Kittel et al. 2020b).Footnote 8 Das Gewicht für die VIC-Umfrage beruht auf Geschlecht, Alter, Bildungsstand und Bundesland (Aschauer et al. 2020; Seymer und Baisch 2020).

Auf Basis der Informationen zur Grundgesamtheit, die auf den Daten von Mikrozensusdaten der Statistik Austria basieren, wurde im Gewichtungsprozess die leicht unterschiedliche Ausschöpfung bei spezifischen sozialen Gruppen kompensiert. Die daraus resultierenden Gewichte haben Gewichtungsfaktoren zwischen 0,22 und 4,96 (Welle 1, ACPP) bzw. 0,27 und 5,33 (VIC). In den bereits am Ende des letzten Abschnitts dargestellten Tab. 12.2 und 12.3 sind in den grauen Spalten die Auswirkungen der Gewichte abzulesen. In den meisten Fällen verbessert die Gewichtung die Schätzungen und nähert sie an die Verteilung des Mikrozensus an. Nur bei wenigen Ausnahmen – z. B. Männer mit höheren Bildungsabschlüssen im ACPP – führt sie zu geringfügigen Verschlechterungen.

Die Möglichkeiten, die Auswirkung der Gewichtung anhand von weiteren Variablen zu prüfen, sind limitiert, da für die meisten Messungen die tatsächliche Verteilung in der Grundgesamtheit unbekannt ist (Biemer und Lyberg 2003). Eine der wenigen Ausnahmen ist die Frage nach dem Wahlverhalten bei der Nationalratswahl im Jahr 2019 im ACPP (siehe Abb. 12.2). Insgesamt entspricht die Verteilung der Parteipräferenzen im Datensatz dem Ergebnis der Nationalratswahl 2019 weitestgehend. Einzig, wenn man nicht das endgültige Wahlergebnis, sondern die Wahlteilnahme betrachtet, sind größere Abweichungen zu finden: Hier haben sich im ACPP nach Gewichtung nur 9,3 % der wahlberechtigten Personen in der Stichprobe dazu bekannt, nicht an der Wahl teilgenommen zu haben. In der Grundgesamtheit waren es nach Auskunft des Bundesministeriums für Inneres 24,4 % (BMI 2021). Dabei sollte aber nicht ignoriert werden, dass 21,3 % der Befragten keine Angabe machen wollten, ob bzw. welche Partei sie gewählt haben.

Abb. 12.2
figure 2

Schätzgenauigkeit des Wahlverhalten bei der Nationalratswahl; Angaben in %; Quelle für offizielles Wahlergebnis – BMI (2021); für die Darstellung mit Gewicht beim ACPP wurde die Gewichtung für Welle 1 ohne Wahlverhalten herangezogen; eigene Berechnungen

Full size image

Insgesamt zeigen die Ergebnisse – ähnlich wie bereits im Bereich der Soziodemografie –, dass die Gewichtung von Daten nicht durchgängig zu einer Verbesserung der Messergebnisse führen muss. Vielmehr illustriert das Beispiel, dass Gewichtungen auch die Ergebnisse bei weiteren Variablen beeinflussen – Parteipräferenz hängt typischerweise mit Alter, Geschlecht, Bildung und Wohnort zusammen (siehe für Österreich u. A. die Abhandlung von Bodlos und Plescia 2018). Deshalb sollten Gewichtungen nur unter Vorbehalt und unter Berücksichtigung entsprechender Vorüberlegungen eingesetzt werden – Datensätze zu Studien inkludieren meist auch entsprechende Vorschläge (siehe auch Bacher und Prandner 2017; Prandner 2019, S. 524).

Insgesamt entspricht die Verteilung der Strukturvariablen in den Datensätze beider Studien weitestgehend der österreichischen Wohnbevölkerung und durch Gewichtung können identifizierte strukturelle Abweichungen – wenn notwendig – in den meisten Fällen ausgeglichen werden.

3 Die Qualität der Messungen

Während im vorhergehenden Abschnitt über die Qualität der Stichprobe diskutiert und deren Bedeutung für die Güte einer Umfrage dargelegt wurde, beschäftigt sich der nächste Abschnitt mit der Qualität der Messung und mit potenziellen Messfehlern. Im Sinne des von Groves et al. (2009) formulierten Messkonzepts wird darunter verstanden, dass die Befragten die von den Forschenden benötigten Informationen korrekt in Antworten übertragen können.

Bei einer typischen Umfrage müssen die Befragten den Interviewenden die entsprechende Kategorie nennen oder bei Online-Umfragen nur an die richtige Stelle klicken, ein Kreuz machen oder die richtige Antwort einfügen. Trifft dies zu, kann man davon ausgehen, dass die Frage valide und mit der erwünschten bzw. zumindest mit hoher Genauigkeit beantwortet wurde (Bryman 2016, S. 158). Problematisch stellt sich dabei aber dar, dass potenzielle Messfehler in der Regel für jede einzelne Frage auftreten können (Moosbrugger und Brandt 2020) und somit eine Vielzahl an Fehlermöglichkeiten existieren bzw. umfassende Aussagen über die Messqualität der beiden diskutierten Studien nur schwer möglich sind. Zusätzlich sind beide Umfragen Mehrthemenumfragen, die eine Bearbeitungszeit von rund 20 min erfordern und eine Vielzahl an Einstellungs- und Faktenfragen beinhalten, die unterschiedliche inhaltliche Dimensionen erfassen. So werden nur ausgewählte Beispiele aus den Fragebögen diskutiert, um einzelne Aspekte von Messqualität zu diskutieren.

3.1 Die Frage und die möglichen Antworten werden verstanden und im Sinne der Forschenden interpretiert

Ein erstes Beispiel ist dem Austrian Corona Panel entnommen und bezieht sich auf die Veränderung der beruflichen Situation während der Corona-Krise. Die Antworten waren vorgegeben und ermöglichten den Befragten, sich unterschiedlich zu positionieren. Die Antwortoptionen inkludierten: Homeoffice, Abbau von Urlaub bzw. Mehrstunden, eine erlebte Kündigung, die Verordnung von Kurzarbeit, aber auch eine Stundenaufstockung. Zur Beantwortung dieser Frage müssen die Befragten eine Vorstellung darüber haben, was der Begriff „Homeoffice“ umfasst. Es muss für die Studienteilnehmer*innen klar sein, ob die Antwortvorgabe „Ich bin im Homeoffice“ auch dann auf ihre berufliche Situation zutrifft, wenn sie nur einen Tag in der Woche nicht ins Büro gehen oder beispielsweise an einem anderen Ort (z. B. bei Eltern, Lebenspartner*innen) ihrer Erwerbstätigkeit nachgehen.

Unabhängig davon, ob in der wissenschaftlichen Literatur bereits vorab klare Begriffsdefinitionen vorhanden sind oder nicht, kann es hier zu Messfehlern kommen, wenn die Frage und die ihr zugrunde gelegten Definitionen nicht der Gesamtheit an Befragten bekannt ist. Idealerweise werden zur Minimierung dieser Problematik im Vorfeld kognitive Pretests mit heterogenen Personenkreisen durchgeführt, um das Frageverständnis über verschiedene gesellschaftliche Gruppen hinweg zu überprüfen (Weichbold 2019, S. 350). Um den umfangreichen Akt der Fragekonstruktion und die dafür notwendigen Tests zumindest teilweise verkürzen zu können, wird in der Literatur empfohlen, auf bereits etablierte Skalen zurückzugreifen (Bryman 2016, S. 162; Jonkisz et al. 2012, S. 39 f.).

Im Rahmen der hier beschriebenen Studien wurden unter anderem etablierte Skalen aus verschiedenen Umfrageprogrammen wie dem World Value Survey (WVS), der AUTNES und dem SSÖ verwendet. Zusätzlich wurden Vorschläge für Items bzw. Statements die aufgrund der neuartigen Situation der Corona-Krise entwickelt werden mussten und für die Nutzung im ACPP eingereicht wurden, durch die Projektleitung evaluiert und teils in mehreren Runden überarbeitet.

Bei der Frage nach dem Homeoffice wurde für die Evaluierung ein Plausibilitätstest durchgeführt, indem die Antworten auf die Frage nach der Änderung der beruflichen Situation mit der Form der Erwerbstätigkeit im Februar 2020 gekreuzt wurden. Die Ergebnisse zeigen, dass die Antwortoption für Homeoffice nur von unselbstständig tätigen Personen im privaten und öffentlichen Bereich sowie von Selbstständigen gewählt wurde. Dies kann als Indiz gewertet werden, dass von den Betroffenen zumindest das Konzept mit der Frage nach Erwerbsarbeit verknüpft wurde. Zusätzlich zeigen die Ergebnisse der Frage, dass knapp 33 % der erwerbstätigen Befragten (n = 632) die Option für Homeoffice-Tätigkeiten wahrgenommen haben. Dieser Wert weicht nur wenig von der Messung der Statistik Austria zum selben Zeitpunkt (April 2020) ab, die in ihrer Arbeitsmarkterhebung für das zweite Quartal 2020 30,6 % der Erwerbstätigen im Homeoffice erfasste (Statistik Austria 2020a). Diese Art der Kreuzvalidierung zwischen Umfragen kann auch als Qualitätscheck verwendet werden, um die Daten einzelner Umfragen als gültig auszuweisen.

3.2 Die Frage muss für die Befragten korrekt zu beantworten sein

Entsprechend der Feststellung im letzten Absatz ist davon auszugehen, dass die Befragten die Frage nach der Tätigkeit im Homeoffice verstanden haben und im Sinne der Forschenden beantworten konnten. In der Forschungs- und Lehrliteratur wird weitestgehend davon ausgegangen, dass dies auf eine Vielzahl von Faktenfragen (z. B. Alter, Geschlecht, Berufstätigkeit, Bildungsabschluss) zutrifft (u. A. Bryman 2016; Cresswell und Cresswell 2017; Fowler 2013; Groves et al. 2009). Andere Typen von Fragen können aber kognitiv herausfordernder oder aufgrund der Komplexität der benötigten Informationen schwerer zu beantworten sein (Bryman 2016, S. 152 ff.). Ein klassisches Beispiel dafür stellt das Einkommen dar.Footnote 9 Im ACPP wurde die Einkommensfrage folgendermaßen gestellt:

„Wie viel Geld steht Ihrem Haushalt aktuell zur Verfügung (Netto-Haushaltseinkommen inklusive Sozialleistungen, Rente usw.)? Bitte rechnen Sie Überstunden mit ein, nicht aber den 13./14. Bezug.“

Die Komplexität dieser Fragestellung übersteigt die Frage, ob man seiner Erwerbsarbeit im Homeoffice nachgehen kann. Zur Beantwortung dieses Items müssen das eigene Einkommen, die Einkommen der anderen Haushaltsmitglieder sowie sämtliche bezogene Transferleistungen bekannt sein, um eine korrekte Antwort auf die Frage geben zu können. Zusätzlich müssen Kategorien existieren, die es sowohl den Befragten ermöglichen, die Frage zu beantworten und den Interviewenden erlauben, die gegebene Antwort zu erfassen. Im konkreten Fall wurden zehn Einkommenskategorien vordefiniert, in denen sich die Befragten verorten mussten und eine Kategorie für Antwortverweigerung.

Das Beispiel zeigt, dass gewisse Fragen einen höheren kognitiven Aufwand erfordern. Zusätzlich ist anzunehmen, dass Wissen, Erinnerungsvermögen und auch Konzentration nicht bei allen Befragten gleichermaßen ausgeprägt sind (Weichbold 2019, S. 350). Möglicherweise vertrauen die Befragten auch nicht ausreichend auf die Anonymität und antworten im Zweifel bei heiklen Fragen, wie eben dem Einkommen, eher vorsichtig (Haunberger 2006, S. 25).

Die Überprüfung, ob die Beantwortung erfolgreich war und die von den Forschenden gewünschte Information wiedergegeben werden konnte, ist dementsprechend schwer. Für die oben genannte Frage kann eruiert werden, dass die Befragten in der ersten Welle des ACPP basierend auf den Kategorialen-Antwortmöglichkeiten ein Medianhaushaltseinkommen von 2200 € bis 2700 € pro Monat nannten. Diese Angabe liegt nur knapp über dem äquivalenten Haushaltseinkommen 2019, das laut Statistik Austria bei 2040 € lag (Statistik Austria 2020b). Dies deutet darauf hin, dass die meisten der Befragten die Frage erfolgreich beantworten konnten.Footnote 10

Während im genutzten Beispiel noch externe Indizien herangezogen werden können, um zu beurteilen, ob die Frage erfolgreich beantwortet werden konnte oder nicht, ist dies bei anderen Fragen – z. B. bei Meinungs- oder Einstellungsmessungen – nicht der Fall (Frick und Grabka 2014). Dementsprechend wichtig ist es, dass bei überprüfbaren Fragestellungen – wie eben dem Einkommen – die Abweichungen getestet werden.

3.3 Die Antwort auf die Frage sollte möglichst unbeeinflusst und unsystematisch erfolgen

Insbesondere bei Fragen nach Einstellungen, Gefühlen und Meinungen, bei denen es keinen objektiven Wert gibt, ist die Gefahr groß, dass die Antwort durch die Struktur der Antwortkategorien, durch vorhergehende Fragen oder die Gestaltung des Fragebogens beeinflusst wird. Entsprechend können Antworten – insbesondere bei großen ItembatterienFootnote 11 – auch durch individuelle Antworttendenzen und systematische Antwortmuster verzerrt werden und müssen vor der Analyse auf solche potenziellen Fehler überprüft werden (Moosbrugger und Brandt 2020; Johnson et al. 2011).

Beispiele für Messfehler in diesem Bereich stellen die Tendenz dar, unabhängig vom Frageinhalt wiederholt idente Antwortkategorien zu wählen (Straightlining), Randkategorien auf Antwortskalen zu wählen oder Aussagen – unabhängig von der inhaltlichen Ausrichtung – zuzustimmen (Akquieszenz) dar (Johnson et al. 2011).

Stichprobenartige Detailanalysen der genutzten Datensätze legen aber keine solchen Tendenzen nahe. So etwa bei der Fragebatterie zur Arbeitsmotivation in der VIC-Studie: Diese wurde mit acht Fragen einer fünfstufigen Ordinalskala gemessen (siehe Tab. 12.5). Die Fragen enthalten zwar – ähnlich wie in anderen Umfragen, in denen sie eingesetzt wurden (vgl. u. A. Fritsch et al. 2019) – durchgängig hohe Zustimmungswerte, aber auf systematische Verzerrungen im Antwortverhalten gibt es nur wenig Hinweise.

Tab. 12.5 VIC-2020 – Arbeitsorientierungen Verteilungen (Berechnungen in basierenden auf ungewichteten Datensätzen; n = 2003)
Full size table

So haben nur 14 % der Befragten auf sechs oder mehr Fragen mit Extremantworten (sehr wichtig bzw. überhaupt nicht wichtig) geantwortet. Nur 12 % der Befragten zeigen eine potenzielle Ja-sage-Tendenz, da sie bei sechs oder mehr Fragen die höchste Zustimmung (sehr wichtig) äußerten. Und obwohl knapp 28 % der Befragten bei 6 oder mehr der 8 Fragen idente Antworten gegeben haben, dürfte dies vielmehr aufgrund der generellen Verteilung der Antworten zustande gekommen sein. Tatsächliches Straightlining, wo alle 8 Fragen mit derselben Antwort versehen wurden, kam nur bei 6,8 % der Befragten vor. Die genauen Werte finden sich in Tab. 12.6.

Tab. 12.6 VIC-2020 – Arbeitsorientierungen/Antwortstile: Extremantworten und Ja-Sagetendenz
Full size table

Es lässt sich als zusammenfassend festhalten, dass auch im Bereich der inhaltlichen Messungen die Datenqualität der gegenständlichen Studien als hoch eingeschätzt werden kann und diese für die im Buch besprochenen Anwendungsszenarien geeignet waren.

4 Schlussbemerkungen

Die Covid-19-Pandemie hat die Umfrageforschung vor große Herausforderungen gestellt. Der Bedarf, innerhalb kurzer Zeit Daten zu erheben, stieß auf situationsbedingte Einschränkungen bei der Datenerhebung und machte gewisse Kompromisse zwischen den hohen Standards der Datenerhebung in den Sozialwissenschaften und einer pragmatischen, kostengünstigen und schnell umsetzbaren Lösung notwendig. Insgesamt zeigen sowohl die Analyse der Stichprobenqualität als auch der Messqualität, dass die Möglichkeiten von Online-Access-Panels in Kombination mit Quotenverfahren hohe Qualität bieten können und für eine Vielzahl von Anwendungsfeldern in den Sozialwissenschaften geeignet sind.

Die Probleme und Einschränkungen, die dadurch potenziell entstehen (können), wurden in diesem Kapitel ausführlich diskutiert. Die präsentierten Ergebnisse zeigen, dass mit den Daten von ACPP und VIC aussagekräftige Analysen über ein Stimmungsbild der Österreicher*innen in Zeiten der Pandemie möglich sind, auch wenn mögliche Verzerrungen immer entsprechend bedacht werden müssen.

Nichtsdestotrotz sollte nicht vergessen werden, dass die Online-Bevölkerung – bzw. der Teil von ihr, der im Online-Access-Panel von Marketagent registriert ist – nicht notwendigerweise der Wohnbevölkerung entspricht. Auch wenn die Strukturgleichheit auf univariater Ebene in den meisten Fällen erreicht werden konnte, zeigt bereits eine einfache Analyse von Merkmalskombinationen einzelne Abweichungen bei Bildung und Alter, auf die in den jeweiligen inhaltlichen Schlussfolgerungen hingewiesen werden sollte.

Dementsprechend sollte diese differenzierte Abhandlung über die Methodik der Umfragen als Hinweis dienen, dass bei allen inhaltlichen Schlussfolgerungen und Vergleichen stets der Erhebungskontext und potenzielle Verzerrung berücksichtigt werden müssen (Cornesse et al. 2020; Kohler 2019). Wie jeder empirische Befund müssen die in diesem Buch zu findenden Ergebnissen methodisch reflektiert und entsprechend eingeordnet werden.

Sowohl andere Forschungsprojekte zur Corona-Pandemie als auch weitere Erhebungswellen des Austrian Corona Panels ermöglichen ein kontinuierliches Monitoring des Stimmungsbildes in Österreich. Zusätzlich können über die internationale Values in Crisis Umfrage, für die im Frühjahr 2021 eine zweite Erhebung durchgeführt wurde, die österreichischen Befunde auch international vergleichend interpretiert werden. Die Vielzahl an Studien, die während der Pandemie Daten sammelten, werden im Endeffekt zeigen, ob sich die Erkenntnisse, die in diesem Buch gefunden wurden, entsprechend replizieren lassen.