Die Feststellung verschiedener Survey-Praktiker, wonach die Koordination zwischen Auftraggebern und Auftragnehmern in Survey-Projekten eine Herausforderung für die Survey-Praxis ist, stellte den Ausgangspunkt für eine vertiefte Auseinandersetzung mit Koordinationsprozessen bei der praktischen Hervorbringung von Survey-Daten dar. Vonseiten der Survey-Praktiker wurden zudem unterschiedliche „Kulturen“ der Survey-Forschung identifiziert, sodass die Survey-Praxis durch eine stete Vermittlung zwischen diesen verschiedenen Kulturen gekennzeichnet sei. Obwohl – wie in der Einleitung argumentiert wurde – mittlerweile eine eigenständige Soziologie der Quantifizierung besteht, welche sich mit Prozessen der Numerifizierung auseinandersetzt, fehlen doch Studien, die sich mit unterschiedlichen „Kulturen“ der Survey-Forschung auseinandersetzen. Dies gilt auch für Arbeiten auf Basis der EC, welche eine Pionierrolle bei der Untersuchung von Koordinationsprozessen in der Survey-Forschung eingenommen haben.

Der zentrale theoretische Bezugspunkt der empirischen Untersuchung stellte die Theorie der Produktionswelten von Michael Storper und Robert Salais dar (1997), welche zugleich einen wichtigen Beitrag zur EC repräsentiert (Diaz-Bone 2018, S. 32). Diese wurde mit weiteren Theorien wie der Rechtfertigungstheorie (Boltanski und Thévenot 2007), der Global-Value-Chains (Gibbon et al. 2008), der Distributed Cognition (Hutchins 1996), der Workplace Studies (Heath et al. 2000) und der Regime des Engagements (Thévenot 2011d) ergänzt. Auf dieser theoretischen Grundlage wurden zunächst unterschiedliche sog. Survey-Welten identifiziert. Survey-Welten können dabei als unterschiedliche Logiken der Survey-Produktion verstanden werden, welche mit eigenen Qualitäts- und Koordinationslogiken ausgestattet sind. Trotz des geteilten Erhebungsinstruments der verschiedenen identifizierten Survey-Welten, der standardisierten Befragung mittel Fragebögen, existiert folglich eine Pluralität an Survey-Logiken (vgl. Kap. 5). Survey-Welten sind mit unterschiedlichen Konventionen, d. h. kollektiven Handlungslogiken, ausgestattet, welche verschiedene Aspekte der Survey-Produktion betreffen. Sie können dadurch als Koordinationsgrundlagen für die Herstellung von surveybasiertem Wissen verstanden werden. Ein Beispiel für eine solche Konvention stellt die Konvention des Käufers (d. h. „Auftraggebers“) dar. Denn Surveys in Auftrag zu geben, geht in jeder Survey-Welt mit unterschiedlichen Ansprüchen an die Survey-Kompetenz und spezifischen Koordinationsformen einher. Entsprechend stellt der „Auftraggeber“ die Konvention des Käufers in der akademischen Welt und der Informationswelt dar. Im Hinblick auf die Beratungswelt ist dies der „Klient“ und in der Dienstleistungswelt der „Kunde“.

Die zentrale Differenz zwischen den verschiedenen Survey-Welten bildet die Orientierung an unterschiedlichen Wissensformaten. Die Wissensproduktion in den verschiedenen Survey-Welten muss dadurch unterschiedlichen Kriterien genügen. Für die Beratungswelt wurde die „Empfehlung“ als Wissensformat identifiziert. Berater übernehmen in dieser Welt nicht nur die Durchführung und die Steuerung von Surveys für Klienten, sondern artikulieren darüber hinaus auf der Basis der erhobenen Daten auch Empfehlungen für den Klienten. In der Dienstleistungswelt hingegen wird die Produktion von „Entscheidungsgrundlagen“ angestrebt. Unter Rückgriff auf Kategorien der operativen Führung einer Organisation werden durch den Kunden geeignete Survey-Dienstleistungen ausgewählt. Das Ziel liegt hierbei in der gezielten Erweiterung des organisationalen Wissenshorizontes. Das grundlegende Wissensformat der Informationswelt ist die „Information“. Das Ziel liegt folglich in der Wissensproduktion für eine (spezifizierte) Öffentlichkeit. Durch einen Auftraggeber wird hier die Produktion eines Surveys in Auftrag gegeben, dessen Daten dann für die Öffentlichkeit zugänglich gemacht werden, allenfalls verbunden mit einer Gebührenerhebung. Einen hohen Informationsgehalt haben Surveys in dieser Welt dann, wenn Surveys das Wissensinteresse einer Öffentlichkeit möglichst umfassend abdecken. Das Wissensformat der akademischen Welt schlussendlich ist die „Entdeckung“. Surveys dienen in dieser Welt dem Aufzeigen neuer Sachverhalte oder Zusammenhänge. Zentral ist hierbei der Bezug auf den akademischen Diskurs. Denn nur so kann sichergestellt werden, dass die untersuchten neuartigen Zusammenhänge oder sozialen Tatsachen auch tatsächlich noch nicht in dieser Form erkannt wurden. Einerseits bedingt durch den hohen Aufwand und andererseits durch die Ausrichtung der Erhebung an einem öffentlichen Interesse, wird diese Art der Forschung hauptsächlich durch wissenschaftliche Institutionen durchgeführt.

In einem zweiten Forschungsschritt wurden nach der Identifikation von verschiedenen Survey-Welten anhand von zwei Survey-Projekten das situative Prozessieren und die Handhabung der verschiedenen Survey-Welten in der Survey-Praxis untersucht. Hierbei zeigte sich, dass sich Survey-Qualität als Kompromiss zwischen verschiedenen Dimensionen einer sog. Survey-Pragmatik verstehen lässt, nämlich zwischen methodischen Fragestellungen, dem Survey-Management und survey-weltlichen Ansprüchen. Zudem wurde deutlich, dass sich Survey-Projekte in der Regel nicht auf eine Survey-Welt allein beziehen, sondern als Kompromiss zwischen verschiedenen Survey-Welten betrachtet werden müssen.

In einem nächsten Kapitel wurde die Perspektive von Survey-Welten auf Survey-Prozesse weiter spezifiziert und ausgearbeitet und es wurden zwei zentrale survey-weltliche Argumente formuliert (vgl. Kap. 7). Zunächst wurde hier auf die Dynamik von Survey-Welten eingegangen. Survey-Firmen, Survey-Projekte und Survey-Produkte sind folglich nicht fest an eine Survey-Welt gebunden. Infolge von Veränderungsprozessen können sie vielmehr eine survey-weltliche Transformation über die Zeit erfahren. In einem zweiten Unterkapitel wurde auf den Produktcharakter von Surveys aus der Perspektive von Endkunden von Survey-Daten eingegangen. Wie dargestellt wurde, lässt sich eine Zunahme des Produktcharakters von Surveys, ausgehend von der Beratungswelt hin zur Dienstleistungswelt und weiter zur Informationswelt, beobachten. In einem dritten Schritt wurde eine Kritik an den Qualitätskriterien des sog. Quality-Movements vorgenommen, welches zugleich ein zentrales Argument der vorliegenden Arbeit darstellt (Lyberg und Biemer 2008, S. 424). Die Einführung dieser Qualitätskriterien in die Survey-Forschung liegt darin begründet, dass in der herkömmlichen klassischen Qualitäts-Trias von Objektivität, Reliabilität und Validität (Diekmann 2007, S. 247 ff.), wie auch im Konzept des Total-Survey-Errors (Weisberg 2005), die Anwendungssituation von Survey-Daten außer Acht gelassen wird. Auf der Basis der unterschiedlichen Koordinations- und Qualitätslogiken der verschiedenen Survey-Welten wurde aufgezeigt, dass die erweiterten Qualitätskriterien für die Survey-Forschung ihre Verankerung in der Informationswelt nicht abstreifen können und für andere Survey-Welten entweder keine sinnvollen oder sogar problematische Qualitätskriterien sein können. Schlussendlich wurden in einem letzten Schritt Koordinationsprobleme in Survey-Projekten aus der Perspektive der Survey-Welten-Theorie dargestellt. Dies stellt das zweite zentrale Argument in diesem Kapitel und ein wichtiger Beitrag der Arbeit insgesamt dar. Argumentiert wurde hier, dass survey-weltliche Konflikte Auswirkungen sowohl auf methodische Fragestellungen, wie auch auf das Survey-Management haben können.

Das folgende Kapitel ist in eine Schlussbetrachtung und das Fazit aufgeteilt. Die Schlussbetrachtung hat zum Ziel, die Bedeutung der durchgeführten empirischen Arbeit für die Survey-Methodologie zusammenzufassen. Damit wird das letzte in Abschn. 3.4 formulierte Forschungsinteresse eingelöst. Zunächst wird die Bedeutung von Survey-Welten als unterschiedlichen Koordinationsrahmen der Survey-Produktion veranschaulicht. Deutlich wird hier, dass die verschiedenen Survey-Welten durch unterschiedliche Prozesse und Prozessorganisationen gekennzeichnet sind. Bei einem heterogenen Bezug auf Survey-Welten können dadurch Koordinationsprobleme entstehen, wie dies in Abschn. 7.4 aufgezeigt wurde. Auf Basis der Feststellung der vier unterschiedlichen Survey-Welten wird im nächsten Unterkapitel für eine Pluralität von (erweiterten) Qualitätskriterien für die Survey-Forschung plädiert. Denn die verschiedenen Survey-Welten als Koordinations- und Qualitätsrahmen machen auch unterschiedliche, auf diesen Logiken aufbauende Qualitätskriterien, notwendig. Im folgenden Unterkapitel wird das in Abschn. 2.5.5 eingeführte Konzept der Survey-Pragmatik auf die Qualitätsdiskussion in der Survey-Methodologie bezogen. Hierbei wird argumentiert, dass die Survey-Methodologie survey-weltliche Qualitätsaspekte konzeptuell nicht zu fassen imstande ist. Dadurch werden jedoch wichtige Qualitäts- und Koordinationsaspekte nicht gesehen, welche in der Survey-Praxis in der Folge ad-hoc gelöst werden müssen. Darauf folgt eine Kritik an der in der Survey-Methodologie vorherrschenden Einteilung der Survey-Forschung in eine akademische Survey-Forschung, eine (surveybasierte) öffentliche Statistik und eine Marktforschung. Denn aus der Perspektive der Survey-Welten-Theorie ist diese Aufteilung unvollständig und unterschätzt den Kompromisscharakter von Survey-Projekten. Im nächsten Unterkapitel der Schlussbetrachtung wird für eine umfassende Problematisierung der Festlegung von Survey-Kategorien plädiert. Denn der Prozess der Definition von Erhebungskategorien stellt eine survey-weltlich zentrale Tätigkeit dar, welche jedoch in der Survey-Methodologie nur unzureichend als zentrales Qualitätselement von Surveys reflektiert wird. Zudem wird in diesem Unterkapitel eine survey-weltliche Perspektive auf die cicourelsche Kritik an der quantitativen Sozialforschung entworfen. Im letzten Unterkapitel wird die Forderung einiger Survey-Methodologen diskutiert, Koordinationsproblemen in Survey-Projekten mit externen Survey-Firmen mit einer umfassenderen Ausarbeitung von Verträgen zu begegnen. Argumentiert wird hier, dass Verträge in den verschiedenen Survey-Welten unterschiedlich starke Ressourcen für die Koordination darstellen, jedoch als alleiniges Steuerungselement untauglich sind. Zusätzlich zu Verträgen ist ein reflexives Survey-Management notwendig, welches die verschiedenen survey-weltlichen Qualitäts- und Koordinationslogiken miteinbezieht.

Im Fazit wird argumentiert, dass die Perspektive der Survey-Welten eine Möglichkeit darstellt, die Survey-Methodologie näher an praktische Probleme der Survey-Produktion heranzuführen. Dafür ist jedoch die Ablösung von der Annahme einer einheitlichen Methodologie für verschiedene Survey-Welten unumgänglich. Das Fazit wird mit einem Ausblick auf zukünftige Forschungsperspektiven auf Basis der Survey-Welten abgeschlossen. Insbesondere das Verhältnis zwischen den Dimensionen der Methodik und des Wissensformats der Survey-Pragmatik ermöglicht gewinnbringende Perspektiven auf die Survey-Praxis.

8.1 Schlussbetrachtung: Der Beitrag der Survey-Welten-Perspektive zur Survey-Methodologie

In den folgenden Ausführungen wird der Beitrag dieser Arbeit zur Qualitätsdiskussion der Survey-Methodologie zusammengefasst. Zentral ist dabei, einen Abgleich zwischen den in der Survey-Methodologie beschriebenen Annahmen und den in der Survey-Praxis identifizierten Eigenheiten von Survey-Prozessen, Qualitäten und Herausforderungen der Survey-Forschung herzustellen. Denn wie sich in der empirischen Untersuchung der Survey-Praxis zeigte, sind einige der in der Survey-Methodologie beschriebenen Konzepte nur für die generischen Welten, d. h. die akademische Welt und die Informationswelt, tragfähige Orientierungspunkte. Diese Kritik betrifft auch die Ausführungen zur Survey-Qualität aus der Perspektive der Marktforschung (Fankhauser und Wälty 2011; Moorman et al. 1993; Zaltman und Moorman 1988). Denn es fehlt auch hier eine Systematisierung und Explizierung der verschiedenen Survey-Qualitäten, sodass diese Konzeptualisierungen nicht über Anleitungen für Survey-Praktiker hinauskommen. Die Intention der Einführung einer pragmatischen Perspektive in die Survey-Methodologie hatte jedoch gerade zum Ziel, durch eine empirisch fundierte Systematisierung von Qualitätslogiken die Survey-Praxis der Qualitätsdiskussion in der Survey-Methodologie zugänglich zu machen. Ein Angebot machte hier die Produktionsweltenperspektive, welche die Praxis als Ort vielfältiger Kompromisse versteht (Storper und Salais 1997, S. 77 ff.). Die Survey-Praxis erscheint so nicht mehr länger als direkte Ableitung der Survey-Methodologie, sondern es werden die spezifischen Herausforderungen der Survey-Praxis sichtbar.

8.1.1 Survey-Welten als unterschiedliche Qualitäts- und Koordinationsrahmen der Survey-Forschung

Wie in Kap. 5 aufgezeigt wurde, sind die verschiedenen Wissensformate der Survey-Welten untrennbar mit unterschiedlichen Qualitätsauffassungen und Koordinationsprozessen verbunden. Eine gelingende survey-weltliche Koordination muss zwei Dinge klären: Einerseits muss der relevante survey-weltliche Koordinationsrahmen für das Survey-Projekt geklärt werden. Andererseits muss jedoch ein Kompromiss erstellt werden mit den beiden weiteren Dimensionen der Survey-Pragmatik, der Methodik und dem Survey-Management. Die Herausforderung einer solchen Koordination wird durch die Auslagerung von einzelnen Teilen eines Survey-Projektes an Survey-Firmen oder weitere Auftragnehmer noch verstärkt. Denn in der Koordination mit einer Survey-Firma kann nicht vorausgesetzt werden, dass eine geteilte Perspektive auf die Kompromissfindung der Survey-Pragmatik besteht. Und genau dieser Sachverhalt stellte auch den Grund dafür dar, die Koordination zwischen Auftragnehmern und Auftraggebern in Survey-Projekten zum Gegenstand der Arbeit zu machen, da hier die survey-weltliche Koordination und deren Auswirkungen auf die restlichen Dimensionen der Survey-Pragmatik explizit gemacht werden müssen.

Die unterschiedliche Prozessorganisation der verschiedenen Survey-Welten wurde zunächst in der Darstellung der verschiedenen Survey-Welten idealtypisch rekonstruiert. Sie zeigte sich jedoch auch in der Fallanalyse. Fall (A) ist durch einen grundlegenden Kompromiss zwischen der Informations- und der Beratungswelt gekennzeichnet. Der informationsweltliche Aspekt der Befragung zeigt sich am stärksten in der Ausrichtung der Kategorien am Wissensbedürfnis der verschiedenen Stakeholder (vgl. Abschn. 6.1.3). Trotz der Unterstützung des Auftraggebers/Klienten bei der Operationalisierung der Befragung durch den Auftragnehmer, erweist sich dieser im Hinblick auf das zu erreichende Wissensformat doch während des gesamten Survey-Prozesses als Auftraggeber im Sinne der Informationswelt. Dies zeigt sich insbesondere daran, dass sich der Auftraggeber/Klient im Hinblick auf die verschiedenen bei der Befragung verwendeten Kategorien gegen anderslautende Ideen vonseiten des Auftragnehmers durchgesetzt hat. Im Gegensatz dazu steht die stark beratungsweltlich ausgerichtete Festlegung der Methodik dieses Survey-Projekts. Obwohl bereits vor dem Kontakt mit der Survey-Firma ein vollständiges methodisches Design für die Survey-Erhebung existierte, wurde dieses auf Anraten der Survey-Firma geändert. Sichtbar wird dies beispielsweise an der Beschränkung auf lediglich einen Fragebogen (vgl. Abschn. 6.1.7). Ein spezifisch beratungsweltlicher Aspekt zeigt sich auch darin, dass die Survey-Firma eigene Vorschläge für Fragestellungen bezüglich der Befragung macht. Diese wird jedoch durch den Leiter des Survey-Projekts abgelehnt (vgl. Abschn. 6.1.3). Eine unterschiedliche Organisation von verschiedenen Befragungsqualitäten zeigt sich in diesem Fall jedoch auch im Hinblick auf survey-weltliche Koordinationsprobleme. So stellt die Aussage des Leiters des Auftraggebers, wonach er bereits einen Pretest des Fragebogens durchgeführt hat, für den leitenden Projektleiter der Survey-Firma ein Stützobjekt für eine dienstleistungsweltliche Behandlung des Fragebogens dar. Dies würde eine direkte Übernahme dieses Fragebogens für die Befragung bedeuten. Im Zuge einer genaueren Betrachtung des Fragebogens wird dem leitenden Projektleiter der Survey-Firma jedoch seine Falschannahme bewusst, was zu einer beratungsweltlichen Behandlung des Fragebogens führt. Diese problematische Evaluation des survey-weltlichen Koordinationsrahmens, kombiniert mit dem fehlenden finanziellen Spielraum für Mehrleistungen, hat den Effekt, dass schlussendlich kein „echter“ Pretest des bei der Befragung eingesetzten Fragebogens durchgeführt wird.

In einem Vergleich mit Fall (B) wird deutlich, dass dieser zweite Fall grundlegend anders organisiert ist, was direkt mit dem hier angestrebten Wissensformat der Entdeckung zusammenhängt. Denn hier ist es das vorwiegende Ziel, Daten für die wissenschaftliche Analyse von sozialen Tatsachen zu produzieren.Footnote 1 Entsprechend sind sowohl das methodische Design wie auch der Fragebogen komplett durch den Auftraggeber vor der Koordination mit der Survey-Firma festgelegt worden. Allerdings zeigen sich auch in diesem Fall Koordinationsherausforderungen. Trotz des umfassenden an der akademischen Survey-Welt orientierten Steuerungsbegehrens des Auftraggebers findet an einigen (wenigen) Stellen ein Kompromiss mit beratungsweltlichen Koordinationskonventionen statt. Dies zeigt sich beispielsweise bei der Feldplanung, dem Einsatz von Remindern und dem Einsatz von Berufsklassifikationen. Trotz des umfassenden Steuerungsanspruchs des Auftraggebers ist es hier notwendig, auf die Empfehlungen der Survey-Firma zu vertrauen. Obwohl diese beratungsweltlichen Elemente nicht zentrale Parameter des Survey-Projekts darstellen, so ist für den Auftraggeber dennoch unklar geblieben, inwiefern die durch die Survey-Firma festgelegten Dimensionen tatsächlich ideale Entscheidungen aus Sicht des wissenschaftlichen Diskurses darstellen. Am deutlichsten wird in Fall (B) die unterschiedliche Organisationsform der verschiedenen Survey-Welten jedoch in der Organisation des Befragungsprozess selbst. Die Qualitätslogik der Dienstleistungswelt ist bedingt durch die Kommunizierbarkeit von Qualitätskriterien in einem anonymen Markt. „Survey-Qualität“ muss also mit Blick auf die Kompetenz und die Ansprüche von Kunden definiert werden. Zentral sind dabei einige wenige Qualitätskriterien wie beispielsweise die Anzahl der Interviews und der Einsatz von unterschiedlichen Befragungsmodes (vgl. Abschn. 5.3). In der akademischen Welt werden die Qualitätskriterien jedoch durch den Auftraggeber selbst formuliert, orientiert am akademischen Diskurs der Survey-Methodologie. Qualitätskriterien sind dabei viel umfassender und thematisieren beispielsweise auch den Umgang mit Adressen (vgl. Abschn. 5.5). Wie rekonstruiert werden konnte, stellen die unterschiedlichen Qualitätskriterien nicht lediglich rein mentale Orientierungen dar, sondern äußern sich in der Organisation der Befragung durch eine unterschiedliche Prozessorganisation (vgl. Abschn. 6.2.1). Das Erreichen einer möglichst hohen Anzahl an Interviews in der gegebenen Zeit zielt dabei auf die Qualitätslogik der Dienstleistungswelt. Diese Orientierung wurde durch den Auftraggeber zu verhindern versucht und er hat Maßnahmen entwickelt, welche die Orientierung an der Qualitätslogik der akademischen Welt der Befragung sicherstellen sollten. Diese bestanden vor allem darin, die anzurufenden Adressen in Tranchen und nicht gesamthaft zu übermitteln. Dies hat jedoch zu einem Protest seitens der Befragenden geführt, welche diese Maßnahmen auf Basis ihrer dienstleistungsweltlichen Orientierung nicht zu interpretieren imstande waren.

Auffällig ist, dass bei beiden Projekten der Preis der jeweiligen „Produkte“ zu einem zentralen Konfliktpunkt wird. Deutlich wird zugleich aber auch, dass sich der Preis in den beiden Projekten aus unterschiedlichen Gründen zu einem Streitobjekt entwickelt. In Fall (A) tritt der Preiskonflikt durch eine fehlende Einberechnung der Mehrwertsteuer durch den Käufer auf. Der eigentliche Konflikt basiert jedoch auf einer Fehleinschätzung des Koordinationsrahmens durch die Survey-Firma (vgl. Abschn. 6.1.5), welcher durch eine Neuaushandlung zwischen Beratungs- und Dienstleistungswelt teilweise entschärft werden kann. Der Preiskonflikt in Fall (B) hingegen wird durch einen Konflikt zwischen der Preiskonvention der Dienstleistungs- und der akademischen Welt ausgelöst. Der Auftraggeber moniert hier eine Veränderung des vereinbarten Preises, während der Auftragnehmer darauf hinweist, dass die Preiserhöhung direkt durch Sonderwünsche des Auftraggebers begründet sei. Deutlich wird, dass trotz der gleichen Problematik, der Festlegung des Preises, unterschiedliche survey-weltliche Mechanismen zum entsprechenden Konflikt geführt haben. Entsprechend sind auch unterschiedliche Lösungsansätze notwendig, um den Konflikt beheben, bzw. in Zukunft verhindern zu können. In Fall (A) ist eine sorgfältigere Stützung des Koordinationsrahmens durch den Auftragnehmer notwendig, d. h. eine umfassendere Abklärung der Fähigkeiten des Auftraggebers. Im diesem Fall ist insbesondere die Frage von Bedeutung, inwieweit der Auftraggeber eher aus einer beratungs- oder informationsweltlichen Perspektive behandelt werden soll. In Fall (B) ist hingegen eine explizitere Festlegung der Preiskonvention und entsprechend eine umfassendere Festlegung im Umgang mit Sonderwünschen bereits vor Projektbeginn notwendig.

Es ist folglich die Diversität nicht nur im Hinblick auf unterschiedliche Qualitätsvorstellungen, sondern auch auf damit einhergehende unterschiedliche Koordinationsformen, welche eine maßgebliche Herausforderung der Survey-Praxis ausmacht. Diese Situation wird für Auftraggeber aus den generischen Welten dadurch verschärft, dass Survey-Firmen den Großteil ihres Umsatzes nicht mit akademischen Survey-Projekten oder solchen der öffentlichen Statistik, sondern vor allem mit Projekten erreichen, welche der Beratungs- und der Dienstleistungswelt zugerechnet werden können.

Die unterschiedlichen, den Forschungsprozess anleitenden Koordinationsformen machen deutlich, dass der in der Survey-Methodologie oft referenzierte Survey-Prozess (Biemer und Lyberg 2003, S. 26 ff.) lediglich für die generischen Survey-Welten eine Orientierung für die Organisation des Forschungsprozesses darstellen kann. Denn der relativ geradlinig dargestellte Prozess der Survey-Forschung setzt hier die Akteursform des Auftraggebers voraus, welcher das methodische Design und die grundlegende Orientierung der Forschung selber definiert und einer Survey-Firma den daraus abgeleiteten Auftrag erteilt. Im Gegensatz dazu ist dies in der Dienstleistungswelt beispielsweise nicht möglich, da hier die Definition des Forschungsprojekts in Ko-Evolution mit dem Marktangebot stattfindet (vgl. Abschn. 5.3). Der im Survey-Lifecycle beschriebene Ablauf der Forschung hätte zudem für die Beratungswelt den Effekt, dass hier das angestrebte Wissensformat der Empfehlung nicht erreicht werden könnte. Durch die unilaterale Definition des Forschungsprojekts durch den Klienten selbst, könnte die methodische wie auch inhaltliche Expertise des Beraters so nicht genutzt werden. Der Ablauf des Survey-Lifecycle stellt folglich für die Beratungs- und die Dienstleistungswelt nicht nur eine fehlende Stütze dar, sondern er kann im Gegenteil auch negative Effekte auf die Survey-Qualität haben, indem beispielsweise Klienten in der Beratungswelt zu einer Formulierung der Forschungsfrage gedrängt werden, wozu sie selbst gar nicht fähig sind.

8.1.2 Für eine nicht-reduktionistische Perspektive auf Survey-Qualität

Zu Beginn der vorliegenden Arbeit wurde das Konzept der sog. Survey-Pragmatik vorgestellt (vgl. Abschn. 2.5.5). Dieses wurde aus der Einsicht entwickelt, dass sich Survey-Qualität nicht in unterschiedlichen Wissensformaten erschöpft. Denn in sämtlichen Survey-Welten findet ein Miteinbezug von methodischen Grundlagen der Survey-Methodologie statt. Zudem müssen in sämtlichen Survey-Welten Fragen des Survey-Managements geklärt werden, um die Befragung organisieren zu können. Die Survey-Praxis ergibt sich so aus einem Kompromiss zwischen verschiedenen Dimensionen und lässt sich weder alleine auf die Methodik zurückführen, noch auf unterschiedliche Wissensformate oder das Survey-Management. Es ist folglich die Kompromissbildung zwischen den verschiedenen Dimensionen der Survey-Pragmatik, welche trotz der formell gleichen Methodik der verschiedenen Survey-Welten systematische Unterschiede in der Survey-Produktion zur Folge hat. Die notwendige Kompromissbildung zwischen den drei verschiedenen Dimensionen der Survey-Pragmatik kann auch dazu führen, dass gewisse survey-weltliche Dimensionen stiefmütterlich behandelt werden. Dies zeigt sich in der Diskussion um alternative Erhebungsmethoden in Fall (A) (vgl. Abschn. 6.1.2). Denn gemäß dem Auftraggeber sind die Mitarbeitenden des NPO-Projekts während des Workshops zur Wirkungsmessung zum Schluss gekommen, dass mit erheblichen Sprach- und Verständnisschwierigkeiten bei mindestens 50 % der Grundgesamtheit gerechnet werden muss. Der Ursprung dieser im Voraus geschätzten Sprach- und Verständnisschwierigkeiten ist dabei einerseits in mangelhaften oder kaum vorhandenen Kenntnissen der Befragten der Landessprachen gesucht worden. Andererseits wird durch den Auftraggeber des Survey-Projekts darauf hingewiesen, dass Teilnehmende mit einer Landessprache als Muttersprache Mühe haben könnten, ihre spezifische Situation auf die Kategorien der Befragung zu beziehen. Die Problematik wird von dem Auftraggeber auch während der zweiten Koordinationssitzung mit der Survey-Firma thematisiert. Der Auftragnehmer macht daraufhin deutlich, dass jede sozialwissenschaftliche Methode ihre Grenzen habe. Eine Möglichkeit, um auf das Problem einzugehen, ist ihm gemäß eine erhöhte Standardisierung des Fragebogens, um Orientierungspunkte durch die vorgegeben Antworten für die Befragten zu geben. Um den Bias der Befragung infolge der erwarteten Sprach- und Verständnisschwierigkeiten zumindest teilweise ausgleichen zu können, schlägt der Auftraggeber zudem eine zusätzlich zur telefonischen Befragung durchgeführte face-to-face-Befragung in einer Zweigstelle der NGO vor. In der Folge verschiedener Nachfragen durch den Auftragnehmer stellt sich dies jedoch als nicht praktikabel heraus, da die dort verkehrenden Nutzenden der NGO Neunutzende gewesen wären. Wie sich jedoch während der verschiedenen Diskussionen zur Sprach- und Verständnisproblematik zeigt, wird gar nie eine alternative Erhebungsmethode diskutiert.

Deutlich wird damit der schwierige Kompromiss zwischen des in diesem Survey-Projekt intendierten Wissensformats der Information, der anvisierten Methodik und auch des Survey-Managements. Denn dieses Wissensformat baut im Vergleich zu den restlichen survey-weltlichen Wissensformaten am stärksten auf einer hohen Verallgemeinerbarkeit der Aussagen und der Vergleichbarkeit zu anderen Erhebungen auf, was eine standardisierte Umfrage nahelegt (vgl. Abschn. 5.4). Im Gegensatz zu diesem survey-weltlichen Rahmen steht jedoch die dafür notwendige Methodik der standardisierten Umfrage, welche von Befragten nicht nur ein hohes Maß an Sprachkompetenz, sondern auch einen hohen Anspruch an die Übersetzung der eigenen Situation in Kategorien der Befragung stellt. Die Durchführung der Befragung trotz der erwarteten Sprach- und Verständnisschwierigkeiten ist folglich nicht zwingend der Unkenntnis dieser Problematik oder dessen schlichter Ignorierung geschuldet. Vielmehr zeigt sich in den Aushandlungen zwischen dem Auftraggeber und der Survey-Firma ein hohes Bewusstsein für die Konsequenzen der Sprach- und Verständnisschwierigkeiten. Zusätzlich existieren auch Bestrebungen für eine Abschwächungen, bzw. Lösung, dieser Problematik. Wie damit deutlich wird, sind es vielmehr die unterschiedlichen Ansprüche der beiden Dimensionen der Survey-Pragmatik, der Methodik und des Wissensformats, welche die methodische Problematik erst entstehen lassen und die durch den Auftraggeber und die Survey-Firma in der Folge zu glätten versucht werden. Denn es ist schlussendlich die durch die informationsweltliche Ausrichtung dieser Befragung bedingte hohe Reichweite der Daten, welche eine standardisierte Befragung nahelegt.

Deutlich wird an diesem Beispiel, dass sowohl die Daten- wie auch die Prozessperspektive auf Survey-Qualität nicht ausreichen, um den dargestellten Qualitäts-Konflikt zwischen verschiedenen Dimensionen der Survey-Pragmatik identifizieren und konzeptionell verstehen zu können. Aus der Perspektive der klassischen Qualitäts-Trias der Objektivität, Reliabilität und Validität (Diekmann 2007, S. 247 ff.) zeigt sich im dargestellten Fall lediglich die Problematik einer geringen Validität der Daten. Die Qualitäts-Problematik der geschilderten Survey-Praxis in Fall (A) besteht gemäß dieser Datenperspektive folglich alleine darin, einen Weg zu finden, die Validitätsproblematik zu beseitigen. Deutlich wird dadurch, dass durch damit nur ein Teil der Situation reflektiert wird. Eine solche selektive Aufnahme der Qualitätsproblematik lässt sich auch für den Total-Survey-Error-Ansatz attestieren. Dieser hat sich als zentrale Fehlermethodologie in der Survey-Methodologie durchgesetzt (Groves und Lyberg 2011). Das Ziel liegt dabei in einer Integration der in verschiedenen Situationen entstehenden Fehlerquellen in ein umfassendes Fehlermodell (Weisberg 2005).Footnote 2 Der Total-Survey-Error kann dabei als die gesamthafte Abweichung einer Erhebung von einem wahren Wert verstanden werden (Weisberg 2005, S. 16 ff.). Im Hinblick auf die oben geschilderte Qualitätsproblematik wird deutlich, dass auch der Total-Survey-Error lediglich den Aspekt der potenziell problematischen Sprach- und Verständnisschwierigkeiten durch die Hälfte der Grundgesamtheit konzeptionell zu fassen imstande ist. Auch der Total-Survey-Error-Ansatz ist damit nicht in der Lage, unterschiedliche Wissensformate als Qualitätselemente in seine Überlegungen miteinzubeziehen. Damit wird sichtbar, dass der Total-Survey-Error eine Fehlermethodologie darstellt, welche über kein positives Messkonzept verfügt (Diaz-Bone 2018a). Entsprechend fehlt im Total-Survey-Error-Ansatz der Miteinbezug von unterschiedlichen Messsystemen als Qualitätsfaktor für die Survey-Produktion. Damit stellt sich aus der Perspektive der Survey-Praxis jedoch das Problem, dass zentrale (praktische) Qualitätsfragen nicht thematisiert werden und der Total-Survey-Error-Ansatz in wichtigen Fragestellungen keine Hilfestellung für die Survey-Praxis bieten kann. Auch die Prozessperspektive hilft hier nicht weiter, da sich die Problematik nicht in situativen Ansprüchen der Stakeholder erschöpft. Deutlich wird damit auch die Problematik der in Abschn. 7.3 formulierten Kritik an Qualitätskriterien der Survey-Methodologie. Denn eine Nichtbeachtung der unterschiedlichen survey-weltlichen Wissensformate bei der Konzeption von Qualitätskriterien für die Survey-Forschung kann dazu führen, dass Qualitätskriterien formuliert werden, welche dysfunktionale Ergebnisse in anderen Survey-Welten mit sich ziehen können.

Die fehlende Diskussion über alternative Erhebungsmethoden, wie aber auch die Diskussion um die Befragungskategorie „Staatsangehörigkeit“ (vgl. Abschn. 6.1.3) machen vielmehr deutlich, dass sich Survey-Qualität nebst den Dimensionen der Methodik und des Survey-Managements zusätzlich aus den Anforderungen der identifizierten Wissensformate zusammensetzt. Das Konzept der Survey-Pragmatik ermöglicht es folglich, Survey-Qualität aus der Perspektive der Survey-Welten-Theorie näher zu bestimmen. In den Blick kommen dadurch auch survey-weltliche Qualitäts- und Koordinationsprobleme, wie sie in Abschn. 7.4 dargestellt wurden. Survey-Qualität lässt sich nicht auf ein Element der Survey-Pragmatik reduzieren. Survey-Qualität muss folglich als eine Eigenschaft sui generis verstanden werde, welche aus einem Kompromiss zwischen den verschiedenen Dimensionen der Survey-Pragmatik entsteht. Deutlich wird damit auch, dass das Konzept eines „Labor-Opportunismus“ (Knorr Cetina 2002a, S. 63 ff.) als Konzept für das Verständnis der Survey-Praxis nur teilweise greift. Denn wie aufgezeigt wurde, ist die Survey-Praxis eben gerade nicht alleine durch die Kombination von wissenschaftlichen Methoden und dem Survey-Management gekennzeichnet, sondern auch durch Konventionen der Wissensstrukturierung und -präsentation (d. h. Wissensformaten). Man könnte hier in Anlehnung an Knorr-Cetina folglich auch von unterschiedlichen Wissenskulturen sprechen (Knorr-Cetina 2002b).

8.1.3 Für eine Vielfalt von Qualitätskriterien in der Survey-Forschung

Die Kritik existierender Qualitätsperspektiven in der Survey-Methodologie bildete den Ausgangspunkt für die vorliegende Arbeit. Hierbei wurde zwischen einer Daten- und einer Prozessperspektive unterschieden. Die Datenperspektive orientiert sich maßgeblich an der klassischen Trias von Objektivität, Reliabilität und Validität und der Total-Survey-Error (Weisberg 2005) hat sich zur zentralen Fehlermethodologie entwickelt (vgl. Abschn. 2.1). Infolge des sog. Quality-Movements wurden weitere Qualitätskriterien in die Survey-Methodologie eingeführt (Desrosières 2009a, S. 308). Zusammen mit ähnlichen Entwicklungen in der Marktforschung wurden diese Neuerungen als Prozessperspektive bezeichnet. Der grundlegende Beitrag der Einführung dieser neuen Qualitätskriterien besteht darin, zusätzlich zum Fokus der Datenperspektive auf die Produktion von statistischen Daten, die Anwendungssituation von statistischen Daten in Qualitätsüberlegungen miteinzubeziehen (Lyberg und Biemer 2008, S. 424 f.). Damit wurde eine Situativität in die Qualitätsbewertung der Survey-Produktion eingeführt, welche die Nutzbarkeit von Daten bei der Anwendung als zentralen Qualitätsfaktor betrachtet. Eine solche erweiterte Qualitätsperspektive besteht auch in der Marktforschung. Hierbei werden jedoch weniger Fragen der Nutzung von Survey-Daten thematisiert, sondern stärker Koordinationsprozesse zwischen Auftraggeber und Auftragnehmer. In Abschn. 7.3 wurden diese erweiterten Qualitätskriterien auf Basis der Survey-Welten-Perspektive einer kritischen Diskussion unterzogen, was ein zentrales Argument der vorliegenden Arbeit darstellt. Dabei wurden sowohl erweiterte Qualitätsperspektiven, welche aus der amtlichen Statistik stammen (Brackstone 1999; Desrosières 2009a; Eurostat 2000), wie auch solche aus der Marktforschung (Fankhauser und Wälty 2011, S. 115; Moorman et al. 1993; Zaltman und Moorman 1988) kritisch im Hinblick auf deren survey-weltliche Bedeutung diskutiert. In den folgenden Absätzen werden die unterschiedlichen Bedeutungen und Relevanzen dieser erweiterten Qualitätskriterien aus der Perspektive der Theorie der Survey-Welten zusammengefasst:

Zunächst zeigte sich bei einigen Qualitätskriterien, dass diese abhängig von der Survey-Welt eine unterschiedliche Bedeutung bekommen. Besonders deutlich wird dies beim Kriterium der Relevanz (Eurostat 2000, S. 2). Denn je nach Survey-Welt werden hierbei unterschiedliche Akteure adressiert. In der Beratungswelt findet zudem bereits eine Auftrennung der Relevanz-Adressaten statt. Die Relevanz der Datenproduktion richtet sich hier direkt an den Berater, da dieser für die Datenproduktion selber verantwortlich ist, auf deren Basis er Empfehlungen formuliert. Das Kriterium der Relevanz ist hierbei insofern sinnlos, da der Berater sowohl die Survey-Erhebung vorbereitet und steuert und er folglich Produzent und Adressat von Relevanz zugleich ist. Relevanz bekommt in der Beratungswelt jedoch noch eine zweite Bedeutung. Denn relevant müssen in dieser Welt auch die durch den Berater für den Klienten formulierten Empfehlungen sein. Relevanz bedeutet dann aber in diesem Kontext nicht mehr eine Daten-Relevanz wie in der Informationswelt, sondern eine Relevanz der Empfehlungen. In der Dienstleistungswelt besteht ebenfalls das Paradox, dass das Kriterium der Relevanz den Produzenten und Adressenten von Relevanz gleichermaßen betrifft, nämlich den Kunden. Denn dieser ist für die konzeptionelle Planung des Survey-Projektes selber zuständig und nach der Erhebung auch für die Interpretation. Der Kunde ist somit insgesamt für die Relevanz der von ihm in Auftrag gegebenen Survey-Erhebung. In der Informationswelt zeigt sich Relevanz als ein Zusammengehen zwischen der Intention der Datenproduktion und der tatsächlichen Verwendung von Daten. Diese Problematik ist in der Informationswelt naturgemäß besonders prominent, da Daten ohne Kenntnis der tatsächlichen Verwendung im Hinblick auf anonyme Datennutzende produziert werden.Footnote 3 Survey-Erhebungen werden folglich abstrahiert von einer spezifischen Anwendungssituation produziert. Das Kriterium der Relevanz bezeichnet in der Folge das Maß, inwiefern die abstrahierte Datenproduktion tatsächlich in den verschiedenen Anwendungssituationen einen Informationswert hat. Es ist folglich die generische Natur der Datenproduktion in der Informationswelt, welche dem Kriterium der Relevanz den durch die Prozessperspektive anvisierten Stellenwert zuweist. Entsprechend ist es nicht verwunderlich, dass dem Kriterium der Relevanz auch in der akademischen Survey-Welt ein hoher Stellenwert zukommt. Denn auch hier wird die Relevanz nicht durch den Auftraggeber allein bestimmt – welcher in den gewidmeten Welten mit dem Datenkonsumenten zusammenfällt – sondern durch dritte Akteure, in diesem Fall durch die scientific community. Denn die Relevanz von Entdeckungen wird in der akademischen Welt nicht durch den Forscher selbst hergestellt, sondern erst durch die Bewertung der Datenproduktion und -interpretation durch die scientific community. Damit wird deutlich, dass damit ein grundlegender Unterschied des Relevanz-Kriteriums zwischen den gewidmeten und den generischen Survey-Welten besteht.Footnote 4 Eine unterschiedliche Bedeutung lässt sich jedoch auch – wie aufgezeigt – innerhalb der gewidmeten und generischen Welten feststellen, d. h. zwischen der Beratungs- und der Dienstleistungswelt einerseits und der akademischen Welt und der Informationswelt andererseits.

Zusätzlich zu Bedeutungsänderungen von Qualitätskriterien können diese auch ihre Relevanz, bzw. ihren Sinn, bei deren Anwendung in anderen Survey-Welten verlieren. Besonders deutlich wird dies bei den Kriterien der Zugänglichkeit und der Interpretierbarkeit (Brackstone 1999; Eurostat 2000) im Hinblick auf die Beratungswelt und bei der Branchenkompetenz (Fankhauser und Wälty 2011, S. 115) im Hinblick auf die akademische Welt. Dem Kriterium der Zugänglichkeit kommt in der Beratungswelt insofern keine Bedeutung zu, da der Austausch zwischen Berater und Klient gerade darauf aufbaut, dass vom Berater keine Daten übermittelt werden, sondern Empfehlungen (vgl. Abschn. 5.2). Zudem muss die Zugänglichkeit von Empfehlungen nicht für ein breites Publikum sichergestellt werden, sondern lediglich für den beratenen Klienten. Auch das Kriterium der Interpretierbarkeit steht in einem Gegensatz zu den grundlegenden Konventionen der Beratungswelt, da die Leistung des Beraters gerade darin besteht, nicht nur Daten zu erheben, sondern diese in interpretierte Empfehlungen für den Klienten zu übersetzen. Klienten werden folglich gar nicht mit einer Interpretation konfrontiert, da diese bereits von dem Berater vorgenommen wurde. Das Kriterium der Branchenkompetenz ist schlussendlich kein sinnvoller Qualitätsmaßstab für die Zusammenarbeit zwischen Survey-Firmen und Auftraggeber aus der akademischen Welt. Dies mag auf den ersten Blick in einem Widerspruch stehen zur Pflicht von Projektleitern in dieser Welt, in die Kenntnis aktueller Diskussionen der Survey-Methodologie investieren zu müssen. Doch tatsächlich zeigt sich bei genauerem Hinsehen, dass die Kenntnis der Survey-Methodologie dem Element der „Methodik“ in der Survey-Pragmatik zuzurechnen ist. Kenntnisse in diesem Bereich sind folglich für sämtliche Survey-Welten relevant, wenn auch der Kenntnis aktueller Entwicklungen der Survey-Methodologie in der akademischen Welt eine besondere Relevanz zukommt. Branchenkompetenz meint demgegenüber eine Kompetenz im Hinblick auf die inhaltliche Ausrichtung der Befragung, d. h. insbesondere im Hinblick auf die dabei verwendeten Kategorisierungen. Dieser Kompetenz kommt in der Beratungswelt ein besonderer Stellenwert zu, da ohne sie keine Empfehlungen für die spezifische Situation des Klienten möglich sind. Aber auch in der Dienstleistungswelt ist diese Kompetenz relevant, jedoch im Hinblick auf das Erstellen von branchenspezifischen Angeboten. Die akademische Welt und die Informationswelt sind jedoch durch die Akteursform des Auftraggebers charakterisiert (vgl. Abschn. 5.4 und 5.5), welche sich gerade dadurch auszeichnet, dass in dieser Welt die Käufer alleine über die inhaltliche Ausgestaltung von Kategorien entscheiden. Branchenkompetenz ist in den beiden generischen Welten folglich zwar kein Negativpunkt, sie stellt aber auch kein Qualitätskriterium für die Zusammenarbeit zwischen Auftraggeber und Survey-Firma dar.

Schlussendlich können einige der beschriebenen Qualitätskriterien aber auch problematische Effekte in gewissen Survey-Welten produzieren. Dies zeigt sich einerseits im Hinblick auf die Kriterien Vertrauen und persönliche Chemie (Fankhauser und Wälty 2011, S. 115; Zaltman und Moorman 1988) für die generischen Welten und bei den bereits diskutierten Kriterien Interpretierbarkeit und Zugänglichkeit (Brackstone 1999; Eurostat 2000) für die Beratungswelt. Wie bereits im vorherigen Absatz dargestellt, bauen die beiden generischen Welten auf der Akteursform des Auftraggebers auf. Diese ist gerade dadurch charakterisiert, dass sie eine umfassende Steuerung des Survey-Prozesses auch innerhalb der Survey-Firmen vornimmt. Entsprechend kann die Orientierung an den beiden Kriterien Vertrauen und persönliche Chemie zu einer Qualitätsproblematik führen, da diese in Konkurrenz mit den survey-weltlichen Prinzipien der akademischen Welt und der Informationswelt einer umfassenden Steuerung und Transparenz des Produktionsprozesses stehen. Diese beiden letztgenannten Prinzipien haben gerade den Zweck, infolge der grundlegend dreiteiligen statistischen Kette der beiden Survey-Welten (vgl. Abschn. 5.4 und 5.5) einen Nachvollzug des Survey-Prozesses für Drittpersonen zu gewährleisten, welche durch Vertrauen und persönliche Chemie infrage gestellt werden. Obwohl die beiden Qualitätskriterien der Interpretierbarkeit und Zugänglichkeit bereits im Hinblick auf ihre fehlende Relevanz für die Beratungswelt diskutiert wurden, so können diese auch negative Effekte auf die Survey-Produktion in der Beratungswelt haben. Nämlich genau dann, wenn die beiden Kriterien nicht auf das Endprodukt der Empfehlung bezogen werden, sondern auf die Daten selbst, welche durch den Berater in Empfehlungen übersetzt werden sollten. Dies führt dazu, dass ein Hinzuziehen der Dienstleistungswelt stattfindet, indem das zur Verfügung stellen der Daten als Qualitätskriterium angestrebt wird. Dies kann jedoch zu einer Überforderung des Klienten und folglich zu Fehlinterpretationen der Daten führen.

Sichtbar wird somit, dass die durch die verschiedenen Stränge der Prozessperspektive eingeführten erweiterten Qualitätskriterien für die Survey-Forschung survey-weltlich entweder unterschiedliche Bedeutungen bekommen oder eine unterschiedliche Relevanz zu Teil wird. Die erweiterten Qualitätskriterien der Prozessperspektive können so nicht als survey-weltlich unabhängige Kriterien für die Survey-Forschung betrachtet werden. Denn wie ebenfalls aufgezeigt wurde, können auch negative Effekte für die Survey-Qualität durch die Orientierung an diesen Kriterien auftreten. Es wird so sichtbar, dass sich die verschiedenen erweiterten Qualitätskriterien nicht von den survey-weltlich unterschiedlichen Koordinationsformen trennen lassen. Dadurch wird deutlich, dass nicht nur eine Pluralität an Formen der Survey-Produktion existiert, sondern dass diese Pluralität auch mit unterschiedlichen Qualitätskriterien einhergehen muss.

Rückblickend wird zudem sichtbar, dass die unterschiedlichen Qualitätsfokusse innerhalb der Prozessperspektive, d. h. zwischen der Qualitätsdiskussion der öffentlichen Statistik und der Marktforschung, ihren jeweiligen survey-weltlichen Hintergrund wiederspiegeln. Denn wie am Beispiel des Kriteriums der Relevanz dargestellt wurde, bekommt dieses Qualitätskriterium erst durch die spezifische Organisation der informationsweltlichen Survey-Welt seine spezifische Bedeutung. Es ist die elementar dreiteilige Value Chain und die dadurch entstehende Trennung zwischen Datenproduktion und Datennutzung, welche Relevanz in dieser Survey-Welt zu einem wichtigen Qualitätskriterium werden lässt. Dagegen ist es der in der Beratungswelt zentrale Austausch zwischen Auftraggeber und Auftragnehmer, welcher den Qualitätskriterien Vertrauen und persönliche Chemie ihre zentrale Stellung in dieser Survey-Welt zuweist.

8.1.4 Für eine neue Kategorisierung der Survey-Forschung

Eine in der Survey-Methodologie wie auch der Survey-Praxis oft vorgenommene Einteilung der Survey-Forschung besteht in der Unterscheidung zwischen der akademischen Survey-Forschung, der öffentlichen Statistik und der Marktforschung (Schnell 2012, S. 367 ff.; Weischer 2009, S. 97 ff.). Wie unschwer zu erkennen ist, erfolgt die Kategorisierung von unterschiedlichen Arten der Survey-Forschung anhand der institutionellen Einbettung der Auftraggeberschaft. Wie bereits in Kap. 5 deutlich gemacht wurde, greift diese Einteilung der Survey-Forschung aus der Survey-Welten-Perspektive zu kurz. In den folgenden Ausführungen wird eine Kritik an dieser Kategorisierung der Survey-Forschung, welche sich an der institutionellen Einbettung der Auftraggeber orientiert, formuliert.

Eine Differenzierung, welche in der Survey-Methodologie nicht vorgenommen wird, besteht in der Unterscheidung zwischen der Beratungs- und der Dienstleistungswelt.Footnote 5 Diese ist für das Verständnis der Funktionsweise der „Marktforschung“ jedoch entscheidend, da sich hinter dieser Differenzierung grundlegend unterschiedliche Anforderungen sowohl an Auftragnehmer, aber auch an Auftraggeber verbergen. Denn beide Welten unterscheiden sich deutlich im Hinblick auf ihre Vorannahmen bezüglich der Kompetenzen der Kunden, bzw. Klienten, einerseits und der Preisgestaltung der Dienstleistung andererseits. Eine zentrale Konvention der Beratungswelt stellt die Akteursform des „Klienten“ dar. Fehlende Survey-Kenntnisse aufseiten des Klienten stellen folglich gerade die Prämisse dieser Survey-Welt dar. Im Gegensatz dazu ist diese Welt weniger preissensitiv als die Dienstleistungswelt (Storper und Salais 1997, S. 33 ff.), was, wie in Abschn. 7.2 dargestellt wurde, maßgeblich auf die fehlende Standardisierung und Vergleichbarkeit von Produkten dieser Welt zurückzuführen ist. Der Klient selbst ist dadurch im Hinblick auf seine Survey-Kompetenzen nicht in der Lage, unterschiedliche auf einem Markt existierende Angebote im Hinblick auf seine Bedürfnisse zu vergleichen. Dies führt dazu, dass eine direkte Preiskonkurrenz zumindest nicht in dem Maß gegeben ist, wie dies in der Dienstleistungswelt der Fall ist. Im Gegensatz dazu ist die Dienstleistungswelt durch die Akteursform des Kunden geprägt. Demnach verfügen Käufer in dieser Welt über eine sog. Angebotskompetenz, d. h. sie sind fähig, auf Basis ihrer Bedürfnisse eine Wahl aus dem Angebot des Survey-Marktes zu treffen. Dies ergibt weiter die Fähigkeit, Angebote von verschiedenen Anbietern miteinander vergleichen zu können. Der Kunde verfügt dadurch in der Dienstleistungswelt im Vergleich zur Beratungswelt über mehr Survey-Kompetenzen. Der standardisierte Markt wird dadurch aber preissensitiver, da verschiedene Angebote direkt miteinander verglichen werden können. Die verbreitete Kategorisierung in die akademische Survey-Forschung, die öffentliche Statistik und die Marktforschung unterschätzt folglich die Vielfalt der Marktforschung selbst. Dabei existieren jedoch, wie mit der Survey-Welten-Theorie aufzeigt werden konnte, jedoch stark unterschiedliche Qualitäts- und Koordinationslogiken in der Marktforschung.

Die Kategorisierung von Surveys anhand der institutionellen Einbettung von Auftraggebern unterschätzt darüber hinaus aber auch den Kompromisscharakter von Survey-Projekten. Denn diese Kategorisierung übersieht, dass Survey-Projekte in der Regel Kompromissprodukte aus verschiedenen Survey-Welten darstellen. Die in der Survey-Methodologie existierende Kategorisierung von Survey-Projekten als akademische, der öffentlichen Statistik zuzurechnende oder marktforschungsorientierte Surveys geht folglich von einer zu starken Einheitlichkeit von Survey-Projekten aus. Die Homogenität von Survey-Projekten wird dadurch überschätzt. In Fall (A) tritt der Kompromisscharakter von Survey-Projekten deutlich zutage. Denn hier können sowohl die Beratungswelt, die Dienstleistungswelt wie auch die Informationswelt als Koordinationsgrundlage identifiziert werden. Und selbst in Fall (B) können sowohl beratungs- wie auch informationsweltliche Elemente identifiziert werden, auch wenn dieser Kompromiss nicht konstitutiv für das Survey-Projekt und dieses maßgeblich durch Konventionen der akademischen Survey-Welt gekennzeichnet ist. Deutlich wird dadurch, dass Kompromisse zwischen verschiedenen survey-weltlichen Konventionen geradezu konstitutiv für Survey-Projekte sind.

Mit der Unterscheidung der akademischen Survey-Forschung, der öffentlichen Statistik und der Marktforschung geht oft eine Einteilung von unterschiedlichen finanziellen Möglichkeiten einher, welche als Treiber für unterschiedliche Preisorientierungen identifiziert werden. Unterschieden wird dabei zwischen besonders preissensiblen privatwirtschaftlichen Auftraggebern und weniger preissensiblen öffentlich-rechtlichen Auftraggebern (Weischer 2009, S. 15). Ungesehen bleiben dabei die unterschiedlichen Funktionsweisen von Survey-Märkten, welche eine starke Preisfokussierung erst ermöglichen oder im Gegenteil erschweren. Denn eine Evaluation von Angeboten über den Preis bedingt der Vergleichbarkeit der verschiedenen Angebote (vgl. Abschn. 7.2). In der Dienstleistungswelt existiert folglich aufgrund der Standardisierung von Surveys eine hohe Preisfokussierung.Footnote 6 Aus der Perspektive der Survey-Welten sind es folglich wiederum weniger die institutionellen Einbettungen in privatwirtschaftliche oder öffentlich-rechtliche Rahmen, denn die Eigenheiten der verschiedenen Survey-Welten, welche als Treiber für unterschiedliche Preisorientierungen fungieren.

Die Auftrennung in akademische Surveys und solche der öffentlichen Statistik unterschätzt außerdem die interne Differenzierung von akademischen Surveys und solchen der öffentlichen Statistik (Schnell 2012, S. 368 ff.). Denn aus der Survey-Welten-Perspektive lassen sich solche Survey-Projekte vielmehr in einem Spannungsfeld zwischen einem eher akademisch orientierten und einem eher informationsweltlich orientierten Pol zurechnen und stellen damit oft Kompromissprodukte aus beiden Welten dar. Wie in Abschn. 5.4 argumentiert wurde, können auch an Universitäten angesiedelte Surveys informationsweltliche Aspekte vorweisen. Deutlich wird dadurch, dass die Aufteilung zwischen akademisch orientierten Surveys und solchen der öffentlichen Statistik als Idealtypen durchaus Sinn machen und als Startpunkt einer Differenzierung von unterschiedlichen „Kulturen“ der Survey-Forschung dienen kann. Universitäre Survey-Projekte oder solche der öffentlichen Statistik sind jedoch in der Praxis oft durch einen Kompromiss zwischen diesen Idealtypen gekennzeichnet. Zudem zielt die Differenzierung zwischen einer akademischen Survey-Forschung und der öffentlichen Statistik lediglich auf öffentlich-rechtliche Auftraggeber.Footnote 7 Sie unterschätzt dadurch, dass die Qualitätsideale und die Koordinationsgrundlagen der öffentlichen Statistik auch durch privatwirtschaftliche Informationsdistributoren mobilisiert werden.Footnote 8

Insgesamt wird durch die verschiedenen Kritikpunkte der Survey-Welten-Perspektive an der Einteilung der Survey-Forschung in eine akademische Survey-Forschung, eine öffentliche Statistik und eine Marktforschung die problematische Gleichsetzung zwischen der Institution des Auftraggebers und der Survey-Projekten zugrunde liegenden Koordinationsgrundlagen deutlich. Denn aus der Survey-Welten-Perspektive ist eben gerade nicht die institutionelle „Herkunft“ der Auftraggeber der Startpunkt der Analyse von Koordinationsmechanismen in Survey-Projekten, sondern vielmehr die tatsächlich in Koordinationssituationen mobilisierten Konventionen für die Survey-Produktion. Entsprechend unterschätzt die Gleichsetzung zwischen der institutionellen Herkunft des Auftraggebers und den Koordinationsgrundlagen die Komplexität und den Kompromisscharakter der Survey-Praxis. Denn durch die Gleichsetzung zwischen der institutionellen Einbettung der Auftraggeber und der Koordinationsform wird eine Einheitlichkeit der Koordination angenommen, welche jedoch – wie aufgezeigt wurde – in der Survey-Praxis in dieser Form nicht existiert. Auf der Basis der Survey-Welten-Perspektive wird zudem eine Neubestimmung der Survey-Praxis möglich. Aus dem Blickwinkel der Survey-Methodologie erscheint die Survey-Praxis als direkte Ableitung der methodischen Grundlegungen der Survey-Methodologie selbst. Die Survey-Praxis ist aus diesem Blickwinkel folglich der Ort, an dem Konzepte und Ansätze der Survey-Methodologie angewendet werden. Aus der Perspektive der Survey-Welten wird hingegen der konstitutive Kompromisscharakter der Survey-Praxis deutlich. Die Survey-Praxis ist folglich weniger eine direkte Anwendung von Konzepten und Ansätzen der Survey-Methodologie, denn eine Kompromissbildung zwischen diesem methodischen Element der Survey-Pragmatik und den beiden weiteren Elementen des Survey-Managements und des Wissensformats.

8.1.5 Für eine umfassende Problematisierung von Erhebungskategorien in der Survey-Forschung

Ein zentrales Thema der Survey-Welten-Perspektive stellt das Zustandekommen von Erhebungskategorien dar. Wie in den Kapiteln zu den verschiedenen Survey-Welten dargestellt wurde, zeichnen sich die verschiedenen Survey-Welten durch unterschiedliche Prozesse der Definition von Erhebungskategorien aus.Footnote 9 Diese Problematik zeigt sich auch in den beiden analysierten Fällen. Insbesondere Fall (A) liefert hier interessante Einblicke. So zeigt sich am Beispiel der Diskussion um die Kategorie „Staatsangehörigkeit“ die direkte Verbindung zwischen einer spezifischen Survey-Qualität und der zur Anwendung gekommenen Grundlage für die Kategorisierung in Befragungen.Footnote 10 In den folgenden Absätzen wird mit Bezug auf die methodologische Kritik von Aaron Cicourel an der Survey-Forschung der Prozess der Erstellung von Erhebungskategorien als zentralem Aspekt bei der Produktion von unterschiedlichen Wissensformaten diskutiert.

Aaron Cicourel teilt die Perspektive der EC und damit auch der Survey-Welten-Perspektive, wonach Erhebungskategorien nicht direkt auf den Erhebungsgegenstand zurückzuführen sind.Footnote 11 Vielmehr beinhaltet Messung gemäß Cicourel den Bezug von Daten auf ein Messsystem, welches durch den Forscher festgelegt werden muss (Cicourel 1974, S. 18 ff.). In der quantitativen sozialwissenschaftlichen Praxis wird jedoch gemäß Cicourel oft ad-hoc auf Common Sense-Kategorien zurückgegriffen. Diese Bezugnahme auf Kategorien des Common Sense identifizierte er als grundlegendes Problem der Soziologie auf dem Weg hin zu einer „echten“ Messung (Cicourel 1974, S. 28).Footnote 12 Bezieht man die Kritik von Cicourel auf die Perspektive der Survey-Welten, so wird deutlich, dass der Bezug auf Common Sense in den verschiedenen Survey-Welten systematisch unterschiedlich ausfällt. Zentral ist hierbei die Dimension spezialisierter versus standardisierter Survey-Welten. Denn die spezialisierten Welten lassen sich als Welten des Expertendiskurses verstehen, wobei in der Beratungswelt das Expertenwissen des Beraters der Ursprung für die bei der Befragung verwendeten Kategorien darstellt. In der akademischen Welt ist es hingegen die Orientierung der Wissenschaftler am akademischen Diskurs, welche den Ursprung der Befragungskategorien begründet. Auf der standardisierten Seite dieses Pols findet hingegen eine stärkere Orientierung an „öffentlichen“ Kategorien statt. Diese sind Teil des Common Sense einer Gesellschaft und das Resultat von langjährigen gesellschaftlichen Kategorisierungsprozessen. Der von Cicourel referenzierte Common Sense stellt dabei im Grunde nichts anderes dar, als Wissen mit einer hohen gesellschaftlichen Reichweite. Die Dienstleistungswelt nimmt hierbei eine Mittelposition ein, da hier individuelle organisationale Kategorien befragt werden, welche zugleich aber auch allgemeine betriebswirtschaftliche Kategorien wiederspiegeln. Der Sinn der Befragung und damit zusammenhängend der Kategorisierung, wird hier folglich nicht alleine durch Experten wie in den spezialisierten Welten bestimmt, sondern durch ein breiteres Kundenspektrum auf dem Survey-Markt. Der höchste Grad des Bezugs auf Kategorien des Common Sense findet fraglos in der Informationswelt statt. Denn das Publikum der Befragung sind hier nicht wie in den anderen Survey-Welten, spezialisierte Stellen in Unternehmen oder der wissenschaftliche Diskurs, sondern explizit die (spezifizierte) Öffentlichkeit. Der Bezug auf Kategorien des Common Sense ist damit für diese Survey-Welt nicht wie von Cicourel argumentiert (1974, S. 28), ein grundlegendes Problem der Messung und Informationsproduktion, sondern vielmehr die elementare Bedingung dafür. Denn wie am Beispiel der Diskussion um die Kategorie „Staatsangehörigkeit“ in Fall (A) nachgezeichnet wurde (vgl. Abschn. 6.1.3), ist es gerade der Bezug von Surveys auf die Kategorien der verschiedenen Stakeholder – und damit auch der Öffentlichkeit – welche den Informationsgehalt in dieser Survey-Welt produziert. Der fehlende Bezug auf die Common Sense-Kategorien, welcher gemäß dem Auftraggeber von verschiedenen Stakeholdern gefordert wird, hätte einen fehlenden Informationswert der Erhebung für die Stakeholder zur Folge. Anders als von Cicourel problematisiert, hätte folglich gerade das Ausbleiben eines Bezugs auf Kategorien des Common Sense problematische Auswirkungen auf die Messung in dieser Welt.

Aus der Perspektive der Theorie der Survey-Welten stellt folglich nicht der Bezug von Survey-Erhebungen auf Kategorien des Common Sense das grundlegende methodologische Problem der Survey-Forschung dar, sondern vielmehr die fehlende Trennung zwischen verschiedenen survey-weltlichen Logiken der Festlegung von Erhebungskategorien. Diese Problematik wurde ebenfalls in Fall (A) deutlich im Hinblick auf die Festlegung der demografischen Erhebungskategorien (vgl. Abschn. 6.1.3). In der zweiten Koordinationssitzung zwischen dem Auftraggeber und der Survey-Firma wird der Fragebogen gemeinsam durch den Auftraggeber und Auftragnehmer durchgegangen. Der Grund dafür liegt darin, dass der Fragebogen durch den Auftraggeber und weitere Mitarbeiter des Auftraggebers entworfen worden ist und nun gemeinsam mit der Survey-Firma auf der Basis ihrer Expertise für die Befragung geprüft wird. Während gewisse Kategorien, wie beispielsweise die Kategorie „Staatsangehörigkeit“, Gegenstand intensiver Diskussionen sind, wird die abschließend diskutierte Erhebung der demografischen Daten von beiden Seiten kaum problematisiert. Der Auftragnehmer verweist darauf, dass die Survey-Firma hierfür über Standards für die Erhebung verfügt und sie den Fragebogen damit abgleichen wird. Man könnte hier folglich von einer survey-weltlichen Entpolitisierung der Festlegung von Erhebungskategorien sprechen, d. h. es wird ein vergleichbares Interesse der verschiedenen Survey-Welten an der demografischen Erhebung vorausgesetzt. Obwohl die späteren Auswirkungen dieser Übernahme der Standards der Survey-Firma bei der konkreten Nutzung der Daten nicht rekonstruiert werden kann, wird dennoch deutlich, dass eine solche Orientierung an Standards im Hinblick auf die verschiedenen survey-weltlichen Wissensformate problematische Auswirkungen für die Nutzung dieser Kategorien zur Folge haben kann. Denn im Grunde findet hier eine Verallgemeinerung der informationsweltlichen Perspektive auf die restlichen Survey-Welten statt.

Die Theorie der Survey-Welten macht folglich die Wichtigkeit eines reflexiven Kategorienmanagements für das Gelingen von Surveys deutlich. „Reflexiv“ meint dabei, dass Projektleiter in Survey-Projekten sowohl den Zweck und die Ziele der eigenen Erhebungskategorien wie auch anderer Kategorisierungslogiken kennen. Denn wie Cicourel aufzeigt hat, kann die Verwendung einer Kategorisierungslogik der Informationswelt zu einem problematischen Bezug von Survey-Daten auf den akademischen Diskurs führen. Im Gegenzug besteht aber auch eine Gefahr für die Informationswelt in der Übernahme der Kategorisierungslogik der akademischen Welt, d. h. dem Bezug von Kategorien auf den wissenschaftlichen Diskurs. Denn dies hat eine fehlende, für diese Survey-Welt aber zentrale, öffentliche Reichweite der Survey-Daten zur Folge.

Cicourel hat im Hinblick auf die Problematisierung von Kategorisierungsprozessen Pionierarbeit geleistet. Deutlich wird aber, dass er einerseits die Subjektivität dieses Prozesses überschätzt hat. Denn aus der Perspektive der EC ist der Bezug in der Survey-Forschung auf Kategorien des Common Sense nicht rein individuell und subjektiv, sondern stützt sich auf Konventionen (Didier 2014). Aus der Perspektive der Survey-Welten wird darüber hinaus sichtbar, dass er zudem die Vielfalt an unterschiedlichen Kategorisierungslogiken unterschätzt hat. Denn wie aufgezeigt wurde, kann der von Cicourel kritisierte Bezug auf Kategorien des Common Sense in der Informationswelt als Beitrag zum Wissensformat der Information betrachtet werden, während er für andere Survey-Welten problematische Konsequenzen hat (Cicourel 1974).

8.1.6 Für ein reflexives Survey-Management

In diesem Plädoyer für ein reflexives Survey-Management wird eine Fortführung der in Abschn. 7.4 analysierten Thematik von survey-weltlichen Qualitätsproblemen vorgenommen. In diesem Kapitel wurde argumentiert, dass methodische Probleme entstehen können, wenn sich Auftragnehmer und Auftraggeber an unterschiedlichen Survey-Welten orientieren. In diesem zentralen Argument der vorliegenden Arbeit wurde deutlich, dass sich Koordinationsprobleme in Survey-Projekten nicht nur auf situative Verständigungsschwierigkeiten reduzieren lassen, sondern eben auch das Resultat der Orientierung an unterschiedlichen survey-weltlichen Konventionen darstellen können. Die Herausforderung der Existenz unterschiedlicher Qualitätslogiken für die Koordination zwischen Auftraggebern und Auftragnehmern in Survey-Projekte wird dabei teilweise auch in der Survey-Methodologie thematisiert. Dabei wird teilweise eine detailliertere Ausarbeitung von Verträgen zur Lösung dieser Koordinationsprobleme vorgeschlagen. Diese Perspektive wird beispielsweise von Rainer Schnell vertreten, aber auch von interviewten Gesprächspartnern im Rahmen der durchgeführten Experteninterviews. Verträge sind jedoch auch selbst Gegenstand von Interpretationsprozessen (Bessy 2015). In den folgenden Absätzen werden deswegen sowohl das Potenzial, wie auch Probleme und Hürden einer stärkeren Vertraglichung der Beziehung zwischen Auftraggebern und Auftragnehmern in Survey-Projekten aus einer survey-weltlichen Perspektive diskutiert. Die von Schnell (2012, S. 199) und auch von weiteren Survey-ForschernFootnote 13 vorgeschlagene Lösung einer detaillierten Ausarbeitung von Verträgen für die Prävention von Koordinationsproblemen bei der Zusammenarbeit mit Survey-Firmen erscheint nur teilweise erfolgsversprechend. Denn zu lösen sind gerade nicht einzelne Problempunkte der Survey-Koordination, sondern die Herausforderung der Survey-Praxis besteht im Gegenteil in der Handhabung und der Abstimmung unterschiedlicher survey-weltlicher Produktionslogiken. Verträge basieren zudem, wie von verschiedenen Vertretern der EC mit Bezug auf das Konzept der außervertraglichen Bestandteile des Vertrags von Émile Durkheim (Durkheim 1992, S. 267) deutlich gemacht wird, notwendigerweise auf Konventionen der Anwendung dieses Vertrags (Bessy 2015). Verträge – wie das Recht insgesamt – funktionieren zwar als Dispositive der Koordination, aber auch diese müssen aus der Perspektive der EC situativ interpretiert werden (Diaz-Bone 2015b, S. 116). Entsprechend sind Verträge auf eine gelingende Abstimmung von unterschiedlichen survey-weltlichen Logiken der Survey-Produktion angewiesen.

Die Problematik des Vertrags als Lösung für Koordinationsprobleme bei der Koordination zwischen Auftraggebern und Survey-Firmen wird aus survey-weltlicher Perspektive noch verschärft, da die Vertraglichung für die verschiedenen Survey-Welten eine unterschiedliche Ressource darstellt. Durch die unterschiedlichen Kompetenzen zwischen Klient und Berater im Hinblick auf die Durchführung von Surveys in der Beratungswelt, sind einer Vertraglichung in dieser Welt enge Grenzen gesetzt. Der Vertrag dient in dieser Welt eher der Festlegung von allgemeinen Rahmenbedingungen (Termine, Stundenansätze für die Bearbeitung, Übermittlungsform der Empfehlungen etc.), denn als Möglichkeit zur Spezifikation des eigentlichen Produkts. Im Gegensatz dazu ist eine Vertraglichung in den generischen Welten insofern ertragreicher, da die Auftraggeber in dieser Welt über ein umfangreiches Survey-Wissen verfügen. Aber auch hier besteht ein Konflikt zur Eigenschaft von Survey-Projekten, in der Regel aus einem Kompromiss zwischen verschiedenen Survey-Welten zu bestehen. Dies wird deutlich in Fall (B), bei welchem trotz des ausgeprägten Bezugs auf Konventionen der akademischen Welt verschiedentlich Kompromisse mit der Beratungswelt geschlossen wurden. Der Vertraglichung als grundsätzlicher Lösung von Koordinationsproblemen in Survey-Projekten sind folglich auch in der akademischen Welt Grenzen gesetzt.

Auch wenn die Vertraglichung – wie dargestellt – abhängig von der Survey-Welt einen Beitrag leisten kann für die Lösung von Koordinationsproblemen in der Survey-Praxis, so ist dennoch klar, dass die Vertraglichung alleine nicht tauglich ist, die Herausforderung des Bezugs auf unterschiedliche survey-weltliche Konventionen an verschiedenen Stellen des Prozesses der Survey-Produktion zu lösen. Aus der Perspektive der Survey-Welten-Theorie ist vielmehr die Einführung eines reflexiven Survey-Managements zentral. „Reflexiv“ meint dabei, dass es für ein erfolgreiches Management von Survey-Projekten nicht ausreicht, lediglich die eigenen angestrebten Koordinations- und Qualitätsvorstellungen zu kennen. Für eine gelingende Koordination ist es – sowohl auf der Seite von Auftraggebern wie auch auf derjenigen von Auftragnehmern – vielmehr notwendig, auch andere Koordinations- und Qualitätslogiken zu kennen, um reflexiv darauf Bezug nehmen zu können. Ein Beispiel für reflexives Survey-Management stellt die in Abschn. 6.2.1 aufgezeigte Steuerung der Organisation der Befragung durch den Auftraggeber dar. Durch die gezielte Strukturierung des Adress-Transfers managte der Auftraggeber hier die durch ihn verfolgte Befragungsqualität reflexiv, indem er auch andere Befragungsqualitäten beachtete. Er schuf dabei bewusst Vorkehrungen, die eigene angestrebte Befragungsqualität gegen alternative Befragungsqualitäten durchzusetzen. Die Beschreibung von unterschiedlichen Survey-Welten und das Aufzeigen von deren pragmatischer Anwendung in verschiedenen Survey-Projekten der vorliegenden Arbeit haben deswegen gerade auch den Zweck, eine Grundlage zu sein für ein reflexives Survey-Management.

8.2 Fazit

Das Aufzeigen der Verankerung von Surveys in Survey-Welten stellte einen Versuch dar, Probleme der Survey-Praxis in den Fokus der Survey-Methodologie zu  rücken. Das zentrale Konzept hierfür stellt die Survey-Pragmatik dar, welche Survey-Qualität als Kompromiss zwischen drei unterschiedlichen Dimensionen der Survey-Produktion, der Methodik, des Survey-Managements und unterschiedlicher (survey-weltlicher) Wissensformate versteht. Das zentrale Argument war, dass Survey-Praktiker – insbesondere wenn sie auf die Zusammenarbeit mit Survey-Firmen oder sozialwissenschaftlichen Befragungsinfrastrukturen angewiesen sind – seit Beginn der Survey-Forschung auch das dritte Element der Survey-Pragmatik, das survey-weltliche Wissensformat in ihre Koordination miteinbeziehen müssen. Diese Dimension der Survey-Pragmatik wird insbesondere im Hinblick auf Fragen der Survey-Ziele und des Anwendungskontexts von Survey-Daten zu einer zentralen Qualitätsdimension von Surveys. Hierbei zeigten sich grundlegend unterschiedliche Qualitäts- und Koordinationslogiken in den vier identifizierten Survey-Welten. Zudem müssen Survey-Praktiker in ihrer Praxis stetig Kompromisse zwischen den verschiedenen Dimensionen der Survey-Pragmatik aushandeln und koordinieren. Deutlich wird durch die survey-weltliche Perspektive, dass die Survey-Praxis ein Arbeitsgebiet mit eigenen Herausforderungen darstellt, welche theoretisch und konzeptuell bislang nur unzureichend durch die Survey-Methodologie bearbeitet wurde.

Abgesehen von der im Hinblick auf die survey-weltliche Koordination fehlenden Hilfestellung der Survey-Methodologie für die Survey-Praxis lässt sich jedoch noch ein weiteres, für die sozialwissenschaftliche Methodologie und die sozialwissenschaftliche Relevanz insgesamt bedeutsames Problem feststellen. Der bisherig starke Fokus der Survey-Methodologie auf das Element der Methodik und in geringerem Maße auch auf das Element des Survey-Managements, führt dazu, dass innerhalb der Survey-Methodologie stets von einer einheitlichen Methodologie der Survey-Produktion ausgegangen wird. Survey-Forschung wird folglich als „Einheitswissenschaft“ verstanden, wobei die unterschiedlichen survey-weltlichen Kontexte nicht gesehen werden. Die sozialwissenschaftlichen Methoden des zufallsbasierten Samplings, der Inferenzstatistik und beispielsweise auch der Konzeption der Evaluationsmethodik, welche eindeutige kausale Wirkungszusammenhänge identifizieren will, werden so zu Gradmessern der sozialwissenschaftlichen Methodik. Daran ist im Hinblick auf die akademische Sozialforschung auch nichts einzuwenden, dienen die besagten Methoden doch gerade der Sicherstellung von akademischen Ansprüchen an Forschung. Wie jedoch anhand von Fall (A) rekonstruiert werden konnte, kann die Orientierung an solchen Standards in anderen Survey-Welten zu grundlegenden methodischen und auch methodologischen Problemen führen. Wie hier am Beispiel einer „Wirkungsmessung“ aufgezeigt wurde, wird in diesem Projekt an der Durchführung einer standardisierten Befragung festgehalten, obwohl aus akademischer Sicht die notwendigen Voraussetzungen hierfür kaum gegeben sind. Denn auch die Verantwortlichen der Durchführung des Surveys rechnen damit, dass ca. 50 % der Grundgesamtheit sprachlich nicht in der Lage sind, an der Befragung teilzunehmen, bzw. valide Antworten zu liefern. Es ist also im Vornhinein mit einem starken Bias der Befragung zu rechnen. Dass die standardisierte Befragung trotzdem durchgeführt wird, kann – wie in Abschn. 6.1.2 dargestellt – nur als Resultat eines Kompromisses mit den Anforderungen des Wissensformats der Informationswelt erklärt werden. Denn dieses Wissensformat provoziert eine quantifizierende Erhebung durch die damit einhergehende hohe Reichweite der Daten geradezu. Eine solche Reichweite wäre bei einer stärker qualitativ ausgerichteten Erhebung hingegen kaum gegeben. Wie an diesem Beispiel deutlich wird, ist es maßgeblich die Annahme der Survey-Methodologie einer Einheitswissenschaft der Survey-Forschung, welche dazu führt, dass solche praktischen Koordinationsprobleme nicht gesehen werden. Auf der Basis der in Abschn. 2.5.5 aufgearbeiteten pragmatischen Epistemologie plädiert die Survey-Welten-Perspektive für eine radikale Pluralität des Verständnisses von „Forschung“. In diesem Verständnis der Forschung muss sich die Bewertung der Qualität der Forschung stets aus dem Forschungskontext selbst ergeben (Dewey 2008). Der zentrale Beitrag der Survey-Welten-Perspektive liegt hier darin, den Forschungskontext um das Element des Wissensformates, bzw. Konventionen des Wissens, ergänzt zu haben.

Die Soziologie und insbesondere auch die Survey-Methodologie sind seit ihrer Gründung zu einflussreichen Orientierungspunkten für die Produktion von gesellschaftlichem Wissen geworden.Footnote 14 Sozialwissenschaftliche Methoden – nicht nur Surveys – werden mittlerweile in verschiedensten Settings für die Wissensproduktion eingesetzt. Die Soziologie hat ihre Relevanz stets auch mit ihrem Beitrag zur Entwicklung und steten Verbesserung von systematischen Methoden der Wissensproduktion begründet. Es ist folglich erstaunlich, wenn deutlich wird, dass die Soziologie und die Survey-Methodologie sich in ihren Diskussionen um verschiedenste Fragen der akademischen Survey-Forschung kümmern, dabei jedoch Fragen der praktischen Verwendung von Surveys in anderen Kontexten kaum oder nur ungenügend thematisieren. Das ist deswegen schade, da die Survey-Methodologie und die Soziologie hier das Potenzial hätten, ihre Relevanz im Fächerkanon mit Nachdruck zu verdeutlichen. Es bleibt deshalb zu hoffen, dass sich die Soziologie und die Survey-Methodologie in Zukunft stärker um Fragen der praktischen Koordination in der Survey-Praxis kümmern. Das Potenzial dafür ist fraglos vorhanden, gerade auch durch die Offenheit der Survey-Methodologie für neue sozialwissenschaftliche Ansätze. Denn die Geschichte der Survey-Methodologie ist geprägt durch den reflexiven Miteinbezug verschiedenster sozialwissenschaftlicher Ansätze (vgl. hierfür Abschn. 2.3).

Auf der Basis der Perspektive der Survey-Welten eröffnen sich jedoch auch neue Forschungsperspektiven. Mit dem Konzept der Survey-Pragmatik wurden verschiedene Dimensionen beschrieben, welche gemeinsam zu „Survey-Qualität“ beitragen. Dabei stellt sich jedoch die Frage nach der Gegebenheit dieser drei Dimensionen. Denn wie sich beispielsweise in Fall (A) gezeigt hat, findet zwar eine Übernahme der Semantik der akademischen Sozialforschung statt, es wird aber erst in der tatsächlichen Umsetzung deutlich, dass diese Semantik kaum eine effektive Umsetzung erfährt (vgl. Abschn. 6.1.7). Obwohl dieses Survey-Projekt zunächst als Evaluation bezeichnet wird und mit Indikatoren und Vergleichen als zentralen Konzepten verknüpft wird, so stellt sich bei genauerem Hinsehen heraus, dass diese Konzepte im Survey-Projekt lediglich eine semantische Resonanz erfahren. Die tatsächliche Survey-Praxis ist kaum am akademischen Evaluieren von Wirkungszusammenhängen ausgerichtet. Entsprechend kann gefragt werden, inwiefern hier ein tatsächlicher Kompromiss zwischen der Methodik und dem Wissensformat der Information angestrebt wird oder ob hier nicht lediglich ein „Performen“ der sozialwissenschaftlichen Semantik für Legitimationszwecke geschieht. Deutlich wird hier in jedem Fall, dass die Untersuchung von methodologisierten Praxissituationen wichtige Beiträge liefern kann für das Verständnis einer wissensbasierten Gesellschaft.