Schlüsselwörter

Die (teilnehmende) Beobachtung gehört bereits seit langer Zeit zum gängigen Methodenrepertoire der empirischen Sozialwissenschaften. So können die Anfänge etwa in Paul Lazarsfelds Studie Die Arbeitslosen von Marienthal aus den 1930er Jahren gesehen werden, in der mithilfe von Beobachtungen erstmals in größerem Ausmaß systematisch quantitative Daten, wie die Gehgeschwindigkeit der Anwohner:innen, aber insbesondere auch qualitative Daten, etwa über die von Arbeitslosen selbst organisierten Veranstaltungen, erhoben und ausgewertet wurden (Jahoda et al. 2021; vgl auch Gehrau 2017; Heiser 2018).

Inzwischen wurde die Methode in zahlreichen weiteren Varianten beschrieben und nimmt zuletzt auch bei der Untersuchung von Wissenschaftskommunikation einen bedeutenderen Platz ein. Versteht man Wissenschaftskommunikation, wie die Herausgeber:innen des vorliegenden Bandes, nach Schäfer, Kristiansen und Bonfadelli als „alle Formen, von auf wissenschaftliches Wissen oder wissenschaftliche Arbeit fokussierter Kommunikation, sowohl innerhalb als auch außerhalb der institutionalisierten Wissenschaft, inklusive ihrer Produktion, Inhalte, Nutzung und Wirkungen“ (2015), so ergeben sich zahlreiche Szenarien, in denen die Beobachtung oft als begleitende, aber auch als zentrale Erhebungsmethode angewandt werden kann. Sei es im Rahmen von Dialog- oder Partizipationsformaten, wie Bürger:innenkonferenzen, bei Ausstellungen in Museen bzw. Science Centern (Fähnrich 2017), aber auch bei klassischen Formaten der strategischen Wissenschaftskommunikation, wie Pressekonferenzen oder Ähnlichem. Immer dort, wo Wissenschaftskommunikation als Event oder genuines Ereignis stattfindet, liegt die Form der Beobachtung als mögliche Evaluationsmethode auf der Hand, da es in einem zeitlich und lokal begrenzten Rahmen augenscheinlich etwas zu beobachten gibt.

Beobachtung kann jedoch aus verschiedenen Fachkulturen ganz unterschiedlich angeleitet werden und je nach Erhebungsanlage auch zu variierenden Ergebnissen kommen. Dieser Beitrag gibt daher einen Überblick über verschiedene Formen der Beobachtung und zeigt auf, wie diese bei der Evaluation von Wissenschaftskommunikation systematisch eingesetzt werden können, um eine Vergleichbarkeit und Bewertung zu ermöglichen und Wissenschaftskommunikation nachhaltig zu verbessern. Der Beitrag geht dabei hauptsächlich auf eventbezogene Formate der externen Wissenschaftskommunikation als wohl geläufigstem Anwendungsgebiet ein, nennt aber auch Potenziale der (teilnehmenden) Beobachtung bei der Evaluation der Entstehung journalistischer Formate oder auch im Rahmen interner Wissenschaftskommunikation.

1 Warum eignen sich Formen der wissenschaftlichen Beobachtung für die Evaluation von Wissenschaftskommunikation?

Bei der sozial- und kommunikationswissenschaftlichen Untersuchung von Wissenschaftskommunikation ist zuletzt vermehrt eine an der soziologischen Handlungstheorie orientierte Haltung eingenommen worden, das zeigen etwa Beiträge wie der von Heinz Bonfadelli (2017) im Band Forschungsfeld Wissenschaftskommunikation. Demzufolge sind „theoretische Auseinandersetzung mit dem Verhältnis von Wissenschaft und Laien, aber auch die empirische Forschung dazu […] durch unterliegende meta-theoretische Konzepte zum Verhältnis von Wissenschaft, Medien und Laien beeinflusst, und zwar bezüglich Fragestellungen und Publikumskonzeptionen, aber nicht zuletzt auch bezüglich normativer Bewertungen.“ (Bonfadelli 2017, S. 84). Insbesondere in der Konzeption von „Wissenschaft auf dem Marktplatz“ werden Bürger:innen Bonfadelli zufolge als „quasi gleichberechtigte Partner“ (2017, S. 86) angesehen und Kommunikationssituationen werden vermehrt als zweiseitig asymmetrisch aufgefasst. Um die aktive Informationssuche und Wissensaneignung durch Laien, und insbesondere deren Einstellungsbildung zu untersuchen, werden Bonfadelli zufolge komplexere Modelle der WirkungFootnote 1 erforderlich, weshalb auf der Mikroebene das kommunikative, soziale, sowie medienbezogene Handeln einzelner Akteur:innen in den Blick der Wissenschaftskommunikationsforschung gerät (Bonfadelli 2017).

Ebendieses Handeln ist auch der Gegenstand der Erhebungsmethode Beobachtung (Lamnek und Krell 2016). Das individuelle Verhalten steht für sie im Vordergrund. Gegenüber der Befragung, als meistverbreitete Erhebungsform bei der Evaluation von Wissenschaftskommunikation (Ziegler et al. 2021), die in der Regel nach bzw. vor und nach einem darin thematisierten Ereignis stattfindet, ermöglicht die Beobachtung eine mit dem zu untersuchenden Ereignis zeitgleiche Erfassung von sozialem Verhalten (Pürer 2009).

Bei der Evaluation von geplanten Formaten der Wissenschaftskommunikation ermöglicht der Einsatz von Beobachtung der beteiligten Akteur:innen insbesondere, Widersprüche und Unstimmigkeiten im Konzept, aber auch Potenziale unmittelbar im Moment der Kommunikation zu identifizieren, was beim Einsatz anderer, meist retrospektiver Erhebungsmethoden verwehrt bleiben würde (Pellegrini 2021, S. 311). Es verwundert daher nicht, dass die Beobachtung bereits vielfach bei der Evaluation von Wissenschaftskommunikation zum Einsatz kommt. Allzu oft wird sie jedoch als wenig reflektierte ergänzende Methode genutzt, die beiläufig erwähnt wird, vermeintlich wenig Ressourcen in Anspruch nehmen soll und nicht systematisch umgesetzt wird. Beispiel dafür sind unter anderen die explorative Untersuchung wissenschaftsorientierter Ausstellungshäuser von Freericks und Kolleg:innen (2018) oder auch das Konzept für eine prozessbegleitende Evaluation von Kommunikations- und Partizipationsformaten im Themenfeld Bioökonomie (Lux und Theiler 2021).

Bisher besteht das Problem, dass der eher willkürliche Einsatz von Beobachtung bei der Evaluation von Wissenschaftskommunikation einer Vergleichbarkeit verschiedener Projekte im Sinne einer nachhaltigen Verbesserung von Wissenschaftskommunikation im Weg steht (Ziegler et al. 2021). Der methodisch angeleitete Einsatz insbesondere standardisierter Beobachtungsverfahren kann eben diese Möglichkeit einer Vergleichbarkeit bieten. Andererseits vermögen aber nur offene, nicht-standardisierte Beobachtungsformen einen tieferen Einblick in komplexe Wirkungszusammenhänge, etwa bei der Wissensaneignung oder Einstellungsbildung, und individuelles Verhalten zu ermöglichen. Zu entscheiden, welche Form der Beobachtung angewandt werden soll, ist nicht immer einfach. Grundlage für die Entscheidung bildet die Fragestellung eines Evaluationsvorhabens, die auch den zentralen Unterschied zwischen alltäglicher Beobachtung und wissenschaftlicher Beobachtung ausmacht: Egal ob standardisiert oder nicht-standardisiert, wissenschaftliche Beobachtung ist stets auf eine Forschungsfrage ausgerichtet (Heiser 2018) und geht damit fokussiert vor.

Im Folgenden werden zunächst allgemein verschiedene Formen der wissenschaftlichen Beobachtung vorgestellt, die der Untersuchung des Gegenstands Wissenschaftskommunikation zweckdienlich sind, bevor abschließend Beispiele der Anwendung aufgezeigt werden.

2 Welche Formen der Beobachtung gibt es, und wofür sind sie geeignet?

In den Kommunikationswissenschaften kommt die Beobachtung als empirische Erhebungsmethode insbesondere in der Kommunikatorforschung, der Mediennutzungsforschung und der Rezeptionsforschung zum Einsatz (Pürer 2009). So können Wissenschaftler:innen, Organisator:innen und Moderator:innen ebenso zentraler Gegenstand von Beobachtungen im Setting Wissenschaftskommunikation sein, wie Besucher:innen, Leser:innen, Zuschauende und Zuhörende. Schon anhand dieser Gliederung wird deutlich: Im Zentrum der Beobachtung stehen Akteur:innen und ihr situationsbedingtes Handeln. Angesichts der Breite der eingangs beschriebenen Wissenschaftskommunikationslandschaft ist im Rahmen einer Evaluation von Wissenschaftskommunikation aber auch eine Anwendung der Methode im Geiste anderer Sozialwissenschaften, etwa der Soziologie oder der empirischen Kulturwissenschaften denkbar. Unabhängig von der grundlegenden Fachdisziplin und der Frage nach einem standardisierten oder offen angelegten Vorgehen, hat die Methode stets zum Ziel „Alltagsphänomene [zu] explorieren und [zu] beschreiben, um daraus wissenschaftliche, insbesondere theoretische Aussagen entwickeln oder die Gültigkeit entsprechender wissenschaftlicher Aussagen anhand von Alltagsphänomenen überprüfen zu können“ (Gehrau 2017, S. 19). Dafür bedarf es immer eines systematischen und geplanten Vorgehens, das auf eine wissenschaftliche Fragestellung hin ausgerichtet ist.

Der Entscheidung für die Beobachtung als – möglicherweise auch nur ergänzende – Erhebungsmethode im Rahmen eines Evaluationsvorhabens geht also immer die Identifikation eines Erkenntnisinteresses und eines damit verbundenen Evaluations-, sowie Erhebungsdesigns voraus. Es stellen sich vorab die wichtigen Fragen nach den Motiven der Evaluation (Dokumentation/Weiterentwicklung/Wissensgenerierung), der Ausrichtung der zentralen Fragestellung(en) (explorativ/explanativ) und auch nach der Verortung zwischen formativer (auf eine laufende Verbesserung ausgerichtete) und summativer (die Ergebnisse bilanzierende) Evaluation (Impact Unit und Wissenschaft im Dialog 2021a). Je nach Ausrichtung des Evaluierungsverfahrens ist anschließend auch die Ausgestaltung der Beobachtung zu modifizieren, und diese darüber hinaus auch in Einklang mit anderen angewandten Erhebungsmethoden zu bringen. Denn die Beobachtung kommt zumeist im Rahmen der Methodentriangulation (siehe auch Gabriel et al. in diesem Band) zum Einsatz und wird besonders häufig mit der Befragung kombiniert.

2.1 Klassifikationskriterien

Orientierung in der Planung einer Beobachtungsstudie bieten Klassifikationskriterien, die sich zum Großteil übereinstimmend in der breiten Beobachtungsliteratur wiederfinden (bspw. Lamnek und Krell 2016; Thierbach und Petschick 2019). Hier sind insbesondere sechs Klassifikationskriterien nach Döring et al. (2016) zu nennen, anhand derer richtungsweisende Fragen im Planungsprozess aufgestellt und bearbeitet werden können, weshalb sie hier auch im Einzelnen geschildert sind (Döring et al. 2016). Als Hilfestellung im Planungsprozess von Evaluationsverfahren innerhalb derer die Beobachtung gegebenenfalls zum Einsatz kommen soll, empfiehlt es sich außerdem die Handreichungen zu Rate zu ziehen, die zuletzt im Rahmen des Projekts Impact Unit entstanden sind (Impact Unit und Wissenschaft im Dialog 2021b).

  • Eine grundlegende Entscheidung ist in Bezug auf den Strukturierungsgrad der Beobachtung zu treffen. Der (voll)strukturierten Beobachtung, bei der mithilfe eines standardisierten Beobachtungsbogens nur vorher klar definierte Variablen erhoben werden, steht die teil- oder unstrukturierte Beobachtung gegenüber, in der mit wenigen oder gänzlich ohne Beobachtungsrichtlinien beobachtet wird. In der Praxis wird der Strukturierungsgrad auch durch die Unterscheidung zwischen quantitativer und qualitativer Beobachtung zum Ausdruck gebracht.

  • Gegenstand der Beobachtung sind in der Regel Merkmale und Verhaltensweisen anderer Personen oder auch der Beobachtenden selbst. Daher wird zwischen Fremdbeobachtung und Selbstbeobachtung unterschieden. Erstere ist bei der Evaluation von Wissenschaftskommunikation die geläufigere Form, da das Forschungsinteresse zumeist auf beteiligten Akteur:innen von verschiedenen Formaten ruht. Denkbar ist aber auch, etwa im Rahmen formativer Evaluationen von Forschungsprojekten, eine Selbstbeobachtung von Forschenden, die in der Regel qualitativ als Autoethnographie durchgeführt wird. Diese spielt aber eine eher untergeordnete Rolle.

  • Auch lässt sich unterscheiden nach der Direktheit der Beobachtung. In der Regel wird direkt beobachtet, also mit Kontakt zwischen Beobachtenden und Beobachteten. Indirekte Beobachtung kommt ohne einen solchen aus, da nicht das Verhalten selbst, sondern Verhaltensspuren beobachtet werden. Im Setting Wissenschaftskommunikation können diese beispielsweise in Form von mehr oder weniger stark abgenutzten Ausstellungsobjekten in Hands-On-Ausstellungen oder der Inanspruchnahme eines Buffets nach (!) einer Bürger:innenkonferenz bestehen.Footnote 2

  • Bezüglich des Ortes der Beobachtung wird mit Blick auf das natürliche Lebensumfeld auf der einen und der kontrollierten Laborsituation auf der anderen Seite in Feld- und Laborbeobachtungen unterschieden. Relevant kann außerdem die Unterscheidung zwischen Offline- und Onlinebeobachtung sein. In jedem Fall wird die Beobachtung mit diesem Kriterium lokal begrenzt, da sie andernfalls nicht fokussiert erfolgen könnte.

  • Ein wichtiges Unterscheidungsmerkmal von Beobachtungsformen ist außerdem der Involviertheitsgrad der Beobachtung. Im Rahmen einer Fremdbeobachtung können Forschende nicht-teilnehmend beobachten oder teilnehmend beobachten. Sofern sie teilnehmen kann diese Teilnahme darüber hinaus aktiv (primär teilnehmend) oder passiv (primär beobachtend) erfolgen.

  • Zuletzt nennen Döring et al. (2016) die Transparenz der Beobachtung. Mit diesem Kriterium sind insbesondere forschungsethische Fragen verbunden, sofern die Beobachtung nicht offen (mit dem Wissen der Beobachteten stattfindet), sondern verdeckt durchgeführt wird.

Nach Gehrau (2017) gibt es neben diesen zentralen Kriterien noch weitere forschungspraktische Überlegungen, die es anzustellen gilt: Beobachten Forschende selbst, oder werden externe Beobachtende beauftragt? Soll die Beobachtungen mit einem Stimulus erfolgen? Findet die Beobachtung unvermittelt, also in Anwesenheit von Beobachtenden und Beobachteten, oder vermittelt statt, etwa in Form einer Aufzeichnung? Erfolgt die Protokollierung der Beobachtung manuell oder apparativ-automatisiert?Footnote 3

Zweckdienlich miteinander kombinieren lassen sich nicht alle Ausprägungen der oben genannten Kriterien. Stattdessen haben sich bestimmte Kombinationen etabliert. So identifiziert Gehrau (2017) im Rahmen einer Metastudie etwa das Setting einer Fremdbeobachtung, die von Forschenden selbst durchgeführt wird, welche dabei jedoch nicht teilnehmen, als Grundtypus von Beobachtungen im Rahmen kommunikationswissenschaftlicher Forschung, bei dem zudem häufig unvermittelt, strukturiert, indirekt und wissentlich beobachtet wird. Die Beobachtung interpersonaler Kommunikation findet dagegen häufig in Form von Feldstudien statt, in denen „offen, wissentlich, direkt, unvermittelt, ohne Stimulus und nie apparativ“ (Gehrau 2017, S. 139 f.) beobachtet wird. Disziplinenübergreifend lässt sich diese grundsätzliche Herangehensweise immer wieder auffinden. Erste Orientierung bietet damit insbesondere der Grad der Strukturierung einer Beobachtung: Für das eine Evaluationsdesign eignen sich eher qualitative, für ein anderes eher quantitative Formen der Beobachtung, innerhalb derer die oben genannten Kriterien dann entsprechend auszustaffieren sind. Diese beiden Ausrichtungen werden im Folgenden genauer gegenübergestellt.

2.2 Quantitative Beobachtung

Die vollstrukturierte quantitative Beobachtung folgt einem linearen Vorgehen im Forschungsprozess. Demnach werden in einem vorab festgelegten Untersuchungsfeld, das zeitlich und räumlich eingegrenzt wird, numerische Daten erfasst, die anschließend statistisch ausgewertet werden (Thierbach und Petschick 2019, S. 1169). Eine quantitativ ausgerichtete Beobachtung eignet sich daher in der Regel insbesondere dann, wenn zuvor klar definierte (Teil-)Ziele eines Projekts oder einer Maßnahme gemessen und überprüft oder Hypothesen getestet werden sollen, die bereits auf einem vergleichsweise breiten Vorwissen basieren. So kommt diese Form der Beobachtung eher in Evaluationsdesigns zum Einsatz, in denen Evaluationsfragen explanativ überprüft werden sollen.

Dabei kann die Beobachtung im Komplexitätsgrad jedoch variieren. Neben einfachen Aspekten des beobachteten Vorgangs, wie „Häufigkeit, Dauer und/oder Intensität“ können durch „geprüfte und etablierte Instrumente“ (Döring et al. 2016, S. 343 ff.) auch komplexere Verhaltensvorgänge gemessen werden. Diese häufig aus der Psychologie stammenden Beobachtungsinstrumente sind jedoch auch in ihrer Handhabung komplex und erfordern gegebenenfalls eine lange Einarbeitungszeit. Für die Evaluation von Wissenschaftskommunikation empfiehlt sich die Anwendung daher wohl nur in Zusammenarbeit mit erfahrenen Sozialwissenschaftler:innen oder Psycholog:innen. Eher bieten sich einfachere quantitative Beobachtungen an, mit denen aber bereits wesentliche Daten erhoben werden können, wie etwa quantifizierbare Merkmale der Beteiligung in partizipativen Bürgerformaten, des Besucher:innenverhaltens in Ausstellungen oder anderen Veranstaltungen mit Publikum. Dabei kann es sich beispielsweise um die Häufigkeit von Wortmeldungen, die Rede- oder Verweildauer handeln. Zuletzt kann auch eine nonreaktive Beobachtung von Verhaltensspuren quantitativ erfolgen, die im Sinne einer indirekten Beobachtung (siehe oben) ohne Kontakt zwischen Beobachtenden und Beobachteten auskommt.

Das wichtigste Erhebungsinstrument der quantitativen Beobachtung stellt der Beobachtungsbogen dar, der ausgerichtet auf Fragestellung und Beobachtungsgegenstand in hohem Maße strukturiert ist. Der Vorbereitung von Beobachtungsbögen geht die Feldbestimmung und Einteilung des Beobachtungsgegenstands in Beobachtungseinheiten (einzelne Aspekte, die beobachtet werden sollen) voraus. Anschließend folgt eine Operationalisierung des Beobachtungsbogens analog zum standardisierten Fragebogen (Thierbach und Petschick 2019, S. 1176 f.). Protokollbögen für eine standardisierte Beobachtung sollten dabei zwar alle notwendigen Kriterien erfüllen und Inhalte abdecken, gleichzeitig ist darauf zu achten, dass insbesondere bei externer Beobachtung die Durchführung nicht durch einen zu wissenschaftlichen Sprachduktus und außerordentlich komplexe Protokollbögen erschwert wird. Generell sollte darauf geachtet werden, dass Beobachtungsbögen praktisch handhabbar sind und die Beobachtungssituation nicht behindern (Gehrau 2017, S. 51 ff.). Es empfiehlt sich eine Aufbereitung, die den Bogen „leicht visuell erfassbar“ (Thierbach und Petschick 2019, S. 1176) macht und zu beobachtende Ereignisse anschaulich mit Beispielen verdeutlicht.

Dabei haben Beobachtungsbögen aber analog zum standardisierten Fragebogen Gütekriterien zu erfüllen. Im Rahmen einer ordentlichen Stichprobenziehung ist die Angemessenheit der Auswahl der Beobachtungeinheiten zu hinterfragen. Darüber hinaus sollte der Bogen die Objektivität der Beobachtung sichern: Zwei verschiedene Beobachtende sollten auf dessen Grundlage immer zum selben Ergebnis kommen. Ist das gegeben, kann auch die Reliabilität oder Messgenauigkeit der Beobachtung überprüft werden. Sie gibt an, „wie gut zwei Beobachtungen desselben Geschehens übereinstimmen“ (Gehrau 2017, S. 54). Es ist also ratsam, bei quantitativen Beobachtungen immer mindestens zwei Beobachtende parallel beobachten zu lassen. Zuletzt gibt die Validität an, inwiefern das was zu beobachten geplant war auch tatsächlich beobachtet werden konnte. Interne Validität steht demnach für die Frage danach, ob Beobachtungsituation und Fragestellung kompatibel sind. Externe Validität dagegen ist dann gegeben, wenn sich die Ergebnisse verallgemeinern lassen und tatsächlich das im Interesse stehende Alltagshandeln beobachtet werden konnte (Döring et al. 2016; Gehrau 2017; Thierbach und Petschick 2019).

2.3 Qualitative Beobachtung

Die qualitative Beobachtung dagegen folgt einer iterativ-zyklischen Vorgehensweise und damit einer ganz anderen Forschungslogik. Ziel ist es nicht bestehende Hypothesen zu testen, sondern neue zu generieren. Die dabei erfassten Daten sind in der Regel verbaler Art und schlagen sich in einem Beobachtungsprotokoll nieder, das mithilfe von Auswertungsmethoden, wie der qualitativen Inhaltsanalyse, analysiert wird. Anhand der Ergebnisse kann dann für weitere Beobachtungssituationen das Untersuchungsfeld ausgeweitet oder eingegrenzt werden (Thierbach und Petschick 2019; siehe auch Döring et al. 2016). Die qualitative Beobachtung eignet sich damit insbesondere für Evaluationsdesigns, in denen Abläufe in Projekten explorativ erkundet und damit neues Wissen generiert werden soll.

Zwei für die Evaluation von Wissenschaftskommunikation relevante Formen der qualitativen Beobachtung sind Beobachtungen mit geringem Komplexitätsgrad sowie ethnographische Feldforschungen. Erstere kommen dann zum Einsatz, wenn nur Einzelaspekte des beobachteten Feldes im Forschungsinteresse stehen. Das Vorgehen ist wegen der Fokussierung teil-strukturiert, beschreibt das zu beobachtende Forschungsproblem dabei aber „in seinen qualitativen Merkmalen“ (Döring et al. 2016, S. 334). Ethnographische Feldforschung nimmt sich dagegen eines ganzen zu beobachtenden Feldes an, wird in der Regel über einen längeren Zeitraum durchgeführt und geht dabei zunächst wenig bis gar nicht fokussiert vor. Eine Fokussierung findet oft erst nach ersten Auswertungsdurchgängen, beispielsweise im Sinne einer qualitativen Inhaltsanalyse, statt. Auch wenn qualitative Forschung vorab keine Kategorien aufstellt, so ist das Verfahren trotzdem an einem theoretischen Interesse ausgerichtet, weshalb auch hier Beobachtungseinheiten definiert werden können. Anders als in der quantitativen Beobachtung handelt es sich dabei aber nicht um kleinste Verhaltenseinheiten, sondern meist um „soziale Situationen, die dann erst in der Analyse in einzelne Bestandteile zerlegt werden“ (Lamnek und Krell 2016, S. 553). Die Beobachtungseinheiten qualitativer Beobachtungen sind komplexerer Natur, da zum Beispiel „Interaktionsmuster anstelle einzelner Verhaltensweisen“ (Döring et al. 2016, S. 334) beobachtet werden.

Bei der qualitativen Beobachtung spielt das Austarieren des Involviertheitsgrades der Beobachtenden eine wichtige Rolle. Es wird zwischen primärer Beobachtung (passive Teilnahme) und primärer Teilnahme (aktive Teilnahme) unterschieden. In der Ethnographie wird die Teilnahme als Voraussetzung angesehen, um einen Forschungsgegenstand überhaupt erschließen zu können. Gehrau (2017) empfiehlt dagegen – und diese Empfehlung kann überwiegend auch für die Evaluation von Wissenschaftskommunikation gelten – die passive Teilnahme als geeigneten Mittelweg, um eine Alltagssituation weder durch die bloße Beobachtung und damit als Fremdkörper, noch durch aktive Handlungen im Feld zu verstellen (Gehrau 2017, S. 31 f.; siehe auch Döring et al. 2016).

Sowohl bei Beobachtungen mit geringem Komplexitätsgrad, als auch bei ethnografischen Feldbeobachtungen erfolgt die Protokollierung anders als im vollstrukturierten Vorgehen in eigenen Worten im Rahmen von Feldnotizen, die unmittelbar im Anschluss an die Beobachtung in ein Feldprotokoll überführt werden sollten. Neben der Beschreibung der Beobachtungen und ihrer Kontextualisierung fließen dabei auch methodische und theoretische Reflexionen ein (Döring et al. 2016). Aus diesem Grund kann die qualitative Beobachtung, insbesondere in Form der ethnographischen Feldbeobachtung, nicht oder nur sehr bedingt an externe Beobachter abgegeben werden. Abhängig vom Komplexitätsgrad der Fragestellungen, die die Evaluation anleiten, ist eine interne Form, also die Durchführung der Beobachtung durch Forschende selbst, womöglich besser geeignet.

Zuletzt hat auch die qualitative Beobachtung bestimmten Gütekriterien zu genügen. Dabei muss die Beobachtung intersubjektiv nachvollziehbar, das heißt durch andere Forschende überprüfbar, sein. Dabei spielt das Beobachtungsprotokoll eine wichtige Rolle. Dieses genügt dann den Ansprüchen, wenn eine kontinuierliche Reflexion des Forschungsprozesses und der Beobachtenden selbst erfolgt ist (Thierbach und Petschick 2019). Gehrau (2017) führt außerdem die Möglichkeit der Kontrolle durch die Beobachteten selbst an, indem man Protokolle nachträglich gegenlesen lässt und dabei beispielsweise die Methode des Lauten Denkens anwendet.

2.4 Probleme und Herausforderungen bei Beobachtungen

Im Beobachtungsprozess können zahlreiche Probleme auftreten, die es je nach Beobachtungssetting zu adressieren gilt. Döring et al. (2016) zufolge können Fehler durch die Beobachtungssituation oder durch die beobachtende Person entstehen. So besteht ein allgemeines und weitreichendes Problem in der Reaktivität der Beobachtungssituation. Direkte Beobachtungen bergen die Gefahr einer nicht-intentionalen Beeinflussung des Verhaltens von Beobachteten, sei es auf deren Seite durch das Bewusstsein, dass sie beobachtet werden, oder sei es aufgrund der aktiven Teilnahme durch die Beobachtenden und den damit verbundenen direkten Eingriff in die beobachtete Situation. Eine zentrale Herausforderung besteht dabei insbesondere bei teilnehmender Beobachtung in der Wahrung der analytischen Distanz, bei gleichzeitigem Versuch teilzunehmen und „sozial und kulturell konform zu handeln“ (Heiser 2018, S. 71).

Beobachtungsfehler können insbesondere auch in der praktischen Durchführung entstehen. So kann ein zu einfacher oder auch zu komplexer Beobachtungsbogen die ausreichende Protokollierung verhindern. Um solchen Beobachtungsfehlern vorzubeugen, empfehlen sich neben der fortdauernden Reflexion der eigenen Beobachtungstätigkeit und deren Einfluss auf den Beobachtungsgegenstand insbesondere die Durchführung eines Pretests der Beobachtungsmaßnahme und bei externen Beobachtern darüber hinaus geeignete Schulungsmaßnahmen (Döring et al. 2016; siehe auch Gehrau 2017).

Eine weitere häufig genannte Hürde im Beobachtungsprozess, die im Rahmen von projektbegleitender Evaluation jedoch eher vernachlässigt werden kann, stellt der Feldzugang dar. Zwar können sich auch hier zu beobachtende Personen der Beobachtung verweigern, in der Regel ist der Zugang zum Feld aber im Rahmen der Anbindung der Forschung an ein zu evaluierendes Projekt gewährt.

Ein anderes Problem dagegen, das insbesondere bei teilnehmender Beobachtung besteht, ist für eine gelingende Evaluation durchaus relevant und sollte beachtet werden: Beobachtungen können sehr umfangreiche Datenmengen produzieren, für deren Auswertung auch Kapazitäten vorhanden sein müssen. Die Gefahr ist groß, dass in prozessbegleitenden Beobachtungen sehr viele Daten gesammelt werden, diese dann aber nicht mehr ausgewertet werden, weil im zeitlich begrenzten Auswertungsprozess den Ergebnissen anderer Methoden, wie etwa Befragungen, vermeintlich mehr Bedeutung beigemessen wird. Je nach Projektdauer und -mitteln bieten sich bei größeren Projekten Abschlussarbeiten oder auch Dissertationsvorhaben an, um das Problem der großen Datenmengen einzelner Beobachtungsformen bewusst adressieren zu können und die Methode der Beobachtung nicht von vornerein aus forschungspragmatischen Gründen ausschließen oder in ihrem Umfang stark begrenzen zu müssen. Dieser Ansatz ist jedoch nur zu empfehlen, wenn der Evaluation neben den üblichen Nutzungsansprüchen für die Praxis vorrangig ein wissenschaftliches Erkenntnisinteresse zugrunde liegt.

3 Anwendungsszenarios in Wissenschaftskommunikationsforschung und -evaluation

Je nach Ausrichtung einer Evaluation bieten sich nun verschiedene Formen der Beobachtung an. Nur kurz erwähnt seien an dieser Stelle Möglichkeiten in der internen Wissenschaftskommunikation, dem Wissenschaftsjournalismus und der PR-Forschung. In allen drei Bereichen finden sich Beispiele in der Forschung, in denen zumeist die teilnehmende Beobachtung zum Einsatz kommt. So existieren seit den 1980er-Jahren, etwa von Karin Knorr-Cetina (1983), Bruno Latour (Latour und Woolgar 1986) und anderen zahlreiche ethnographische Beobachtungsstudien zu informeller Wissenschaftskommunikation in verschiedenen Fachkulturen (Lüthje 2017). In Forschungsarbeiten zum Wissenschaftsjournalismus gehört die Redaktionsbeobachtung zum etablierten Methodenrepertoire (z. B. Lublinski 2004). Und zuletzt liegen auch für die PR-Forschung Beispiele vor, in denen Arbeitsabläufe mithilfe von Beobachtungen genauer untersucht werden, wie etwa die Dissertation von Howard Nothhaft, in der Kommunikationsmanager:innen beobachtet wurden, um die alltägliche Strukturierung ihrer Tätigkeit offenzulegen (Nothhaft 2011; siehe auch Wehmeier und Raaz 2016). In allen hier genannten Fällen sind teilnehmende Beobachtungen mit hohem Komplexitätsgrad durchgeführt worden, in denen Forschende selbst über lange Zeiträume beobachtet und protokolliert und eine große Datenmenge gesammelt haben. Diese Beispiele können bei der Planung einer Evaluation in einem der genannten Bereiche Orientierung bieten – je nach Ressourcen ist die Umsetzung aber sicherlich einzugrenzen.

Ein weiterer Bereich, in dem die Ergebungsmethode der Beobachtung einen Platz hat, sind pädagogischen Angebote, die an die Wissenschaftskommunikation angrenzen. Insbesondere zur Bildung für nachhaltige Entwicklung (Hiller 2017; Lechner 2018), über Kinderunis (Bergs-Winkels und Ludwig 2006; Kretschmer 2017a, b), aber auch zu Schüler:innenlaboren (Schmitt-Sody 2013) finden sich beispielhafte Anwendungen. Hier haben die Beobachtungen entweder im Sinne einer begleitenden Maßnahme einen eher untergeordneten Stellenwert oder werden im Rahmen von Dissertationen als eine zentrale Erhebungsmethode herausgestellt.

Hauptsächlich findet die Beobachtung aber in der Erforschung externer Wissenschaftskommunikation ihre Anwendung. In der Evaluation von Hochschulkommunikation etwa wird sie als Erhebungsmethode insbesondere auf der Messbereich-Ebene des Outcomes im Rahmen von Veranstaltungen angewandt (Raupp und Osterheider 2019). Auch über die Hochschulkommunikation hinaus ist das Wissenschaftsevent der wohl häufigste Gegenstand wissenschaftlicher Beobachtung in der Wissenschaftskommunikationsforschung und -evaluation. So liegt etwa zum populären Abendformat des Science Slams eine qualitative Studie vor, in der das empirische Material aus Interviews durch „fokussiert ethnographische Beobachtungen“ (Hill 2020, S. 155) ergänzt wird. Ebenfalls ergänzend zu Leitfadeninterviews wurde das Format „Plötzlich Wissen“, das in Kneipen stattfand, mithilfe einer qualitativen Beobachtung mit eher geringem Komplexitätsgrad untersucht (Bittner 2018). Die Anwendung der Beobachtung im Zusammenhang mit Wissenschaftsevents nimmt in den vergangenen Jahren stetig zu, und ein frühes Beispiel dafür findet sich in der Evaluation der Science Week Austria. Hier wurden in zweiköpfigen Beobachtungsteams mithilfe strukturierter Beobachtungsleitfäden die Daten aus einem breiten Methodenrepertoire ergänzt (Felt et al. 2001). Weitere Beispiele im Zusammenhang mit Wissenschaftsevents, die sich an ein breites Publikum wenden und bei denen mit oft geringem Komplexitätsgrad beobachtet wird, finden sich im Zusammenhang mit Museums- und Ausstellungsuntersuchungen (Decristofero et al. 2016; Haywood 2017; Heil und Jakobs 2017; Munsch 2017).

Bei der Untersuchung von Beteiligungsformaten wie Citizen Science, Bürger:innen-Delphis oder ähnlichem finden sich in der Anwendung der wissenschaftlichen Beobachtung sowohl strukturierte als auch unstrukturierte Verfahren, wobei die Methode in den beiden hier beschriebenen Fällen mit anderen Methoden, insbesondere der Befragung kombiniert wird. Goldschmidt und Kolleg:innen (2012) beobachteten sieben verschiedene Dialog- und Beteiligungsformate im Rahmen des Projekts „Wissenschaft debattieren!“. Aufgrund ihres Vorgehens anhand eines vorstrukturierten Beobachtungsbogens war es ihnen möglich, quantitative Daten, wie die Anzahl von Redebeiträgen systematisch zu erheben und untereinander zu vergleichen (Goldschmidt et al. 2012). Bei diesem Beispiel ermöglicht also das strukturierte Vorgehen insbesondere den Vergleich verschiedener Formate anhand gleichbleibender Kriterien.

Metten und Bornheim (2021) dagegen schildern ihre teilnehmende Beobachtung als Teil einer „mikro-ethnographische[n] Herangehensweise“ (S. 26) zur Untersuchung von Partizipationskultur anhand eines Realexperiments. Die Methode der Beobachtung ermöglichte es in diesem Fall insbesondere „kollaborative mediale Praktiken“ (Metten und Bornheim 2021, ebd.) zu erfassen, die einen wesentlichen Bestandteil der untersuchten responsiven Wissenschaftskommunikation ausmachen. Die unvermittelt durchgeführte Beobachtung wurde dafür in Beobachtungsprotokollen dokumentiert und zusätzlich per Video aufgezeichnet, wesentliche Passagen nachträglich transkribiert und ausgewertet (Metten und Bornheim 2021). Dabei ist nicht nur eine große Datenmenge entstanden, die eine Anwendung im Rahmen mehrerer verschiedener Formate, wie im oben genannten Beispiel, unrealistisch erscheinen lässt. Auch wäre es kaum vorstellbar, solche Daten ohne eine vorhergehende Strukturierung über sieben verschiedene Formate hinweg sinnvoll auszuwerten und dabei den genannten Gütekriterien gerecht zu werden.

4 Hilfreiche Beispiele für Beobachtungsbögen

Bis hierher hat sich gezeigt, welches Potenzial die Methode der Beobachtung für die Evaluation von Wissenschaftskommunikation birgt, welche Herausforderungen sich in der Umsetzung stellen können und welche Anwendungsszenarien bisher bekannt sind. Ergänzend findet sich nun abschließend der Verweis auf zwei beispielhafte Beobachtungsbögen, die als Vorlage für eigene Evaluationsvorhaben dienen können. Wie oben beschrieben, spielt der Beobachtungsbogen insbesondere in quantitativen Verfahren, aber auch in teil-standardisierten qualitativen Beobachtungen eine zentrale Rolle. Aus diesem Grund finden sich abschließend zwei Beispiele für die Erarbeitung und Anwendung eines Beobachtungsbogens. Da das Beobachtungsprotokoll, das im Rahmen einer teilnehmenden Beobachtung entsteht, dagegen zunächst möglichst offen sein sollte, wird hierfür kein explizites Beispiel angeführt.

Das erste Beispiel für einen Beobachtungsbogen stammt von Léonie Rennie und Terry McClafferty (1996) und ist dem Handbook for Formative Evaluation of Interactive Exhibitions entnommen, das eine Handreichung für die Evaluation interaktiver Ausstellungen bietet. In einem multimethodischen Forschungsdesign stellt die Beobachtung den ersten Schritt der Erhebung dar und dient der weiteren Fokussierung des Evaluationsvorhabens. Mithilfe eines standardisierten Beobachtungsbogens wird das Verhalten von Ausstellungsbesucher:innen beobachtet und dokumentiert, ob und wie sie mit der Ausstellung interagieren. Neben Geschlecht und Altersspanne wird die Involviertheit von Besucher:innen in vier Leveln („ignore“, „attend“, „engage“, „use successfully“) erhoben, sowie deren Interaktionen mit anderen Besucher:innen. Für eine einheitliche Dokumentation erläutert der Leitfaden die Level in einem Glossar und macht zudem Vorgaben, wie die Interaktionen auf dem Beobachtungsbogen darzustellen sind (Rennie und McClafferty 1996, S. 10 ff.). Eine Anwendung dieser Vorlage findet sich in der Evaluation einer Mitmachausstellung im Technischen Museum Wien durch Stephanie Trauner, die sich in einer Beobachtungsstudie mit Interaktionen zwischen Erwachsenen und Kindern im Kontext von Ausstellungen mit Hands-On-Elementen befasst hat (Trauner 2016).

Ein zweites Beispiel liefern Mitglieder der nordamerikanischen Association of Zoos & Aquariums (AZA) mit einem für „Measuring Empathy: A Collaborative Assessment Project“ entwickelten standardisierten Beobachtungsbogen (Jackson und Khalil 2019). Dieser lässt sich in verschiedene Settings übertragen, ist dabei aber grundsätzlich auf die Frage nach Ausdrucksformen von Empathie und damit verbundenen Gefühlen gegenüber Tieren ausgerichtet. Nichtsdestotrotz kann auch er herangezogen werden, um die Eigenschaften eines Beobachtungsbogens zu verdeutlichen und als Vorlage für eigene Vorhaben zu dienen. Neben einer einleitenden Einordnung des Beobachtungsbogens nach Einsatzgebiet, Ressourcenbedarf und zentralen Fragestellungen, bietet die Vorlage insbesondere einen Bewertungsrahmen, in dem empathische und emotionale Ausdrücke – die mithilfe der Methode beobachtet werden sollen – in sieben verschiedene Kategorien aufgeteilt werden, denen jeweils Indikatoren für die Beobachtung zugeordnet werden. Der Bewertungsrahmen dient zudem als Codebuch für einen in der Durchführung leicht zu handhabenden Beobachtungsbogen, in dem sich die Kategorien wiederfinden.

Die beiden hier genannten Beispiele können Orientierung bei der Erarbeitung einer standardisierten oder halbstandardisierten Beobachtung und einem dafür anzuwendenden Beobachtungsbogen im Rahmen einer Evaluation von Wissenschaftskommunikation bieten. Sofern die Methode der Beobachtung also basierend auf den Evaluationszielen an den unter Abschn. 2.1 genannten Kriterien ausgerichtet wird, kann sie ein Evaluationsdesign im Sinne der Methodentriangulation komplettieren.