Schlüsselwörter

1 Multimethodenansätze/Mixed Methods in der Evaluation von Wissenschaftskommunikation

Bevor anhand der Evaluation des Dialogformats „Mensch Wissenschaft!“ der Robert Bosch Stiftung ein Beispiel für einen Multimethodenansatz in der Praxis vorgestellt wird, findet sich hier eine kurze theoretische Einführung in das Thema Multimethodenan- bzw. -einsatz.

Für Evaluationen des com.X Institus, und sicher in der Evaluationspraxis generell, ist der Einsatz verschiedener Methoden in einem Evaluationsvorhaben sehr üblich, auch in der Evaluation von Formaten der Wissenschaftskommunikation. Das ergibt sich schon – und zwar nicht nur bei Großformaten der Wissenschaftskommunikation wie etwa den seit 2000 vom BMBFFootnote 1 und WiDFootnote 2 ausgerichteten Wissenschaftsjahren – aus der Notwendigkeit, in einer umfassenderen Evaluation etwa eine Vielzahl von Angeboten, Formaten, Ziel- und Akteursgruppen sowie Perspektiven berücksichtigen zu müssen (Gabriel und Quast 2006; Gabriel und Warthun 2017): Z. B. Präsenzausstellungen und -diskussionen, virtuelle Angebote, on- und offline (Begleit-)Kommunikation/Information bzw. Kinder- und Jugendliche, die „allgemeine“ Öffentlichkeit, Wissenschaft oder Politik. Als geeignete Methoden zur Evaluation der genannten Beispiele bieten sich ad hoc an: (Teilnehmende) Beobachtung, quantitative und qualitative Befragung bzw. Leitfadeninterviews-/gespräche, Nutzungsdatenanalyse sowie Inhalts- bzw. Medienanalysen digitaler und nicht digitaler Medien (sowohl von owned media wie earned media)Footnote 3. Dazu könnte auch eine Wirtschaftlichkeitsanalyse kommen, um die Effizienz des Vorhabens auch aus dieser Perspektive zu betrachten. Alle eingesetzten Methoden könnten aber unabhängig voneinander bzw. nur verbunden durch den analytischen Blick auf das Gesamtformat zum Einsatz kommen und nur einen jeweils eigenen Bereich des Gesamtformats in den Blick nehmen. D. h., dass eine Vielzahl eingesetzter Methoden in einem Forschungs- oder Evaluationsvorhaben noch kein Multimethoden-Forschungsansatz oder Mixed- Method-Design im engeren Sinne sein muss.Footnote 4

Unter multimethodischem bzw. Mixed-Method-Design ist, zumeist bzw. je nach wissenschaftlicher Diktion auch immer der Mix quantitativer und qualitativer Methoden in Bezug auf einen (Sub-)Gegenstand der Evaluation zu verstehen (Leech und Onwuegbuzie 2009; Tashakkori und Teddlie 1998).Footnote 5 Das ist z. B. der Fall, wenn Teilnehmende einer Veranstaltung der Wissenschaftskommunikation in der Breite quantitativ befragt und (zumeist selektiv) qualitativ interviewt werden, ggf. noch ergänzt um eine (teilnehmende) Beobachtung der Veranstaltung und alle Methoden zumindest in Teilen und aufeinander abgestimmt die gleiche Fragestellung anvisieren. In diesem Zusammenhang spricht man im engeren Sinne vom vielleicht bekanntesten ZielFootnote 6 eines multimethodischen Designs, der Triangulation, die einerseits sinnvoll ist, um Methodeneffekte zu kontrollieren und spezifische Stärken verschiedener Methoden zu nutzen, auch um insgesamt eine bessere Erklärungsstärke, also im Prinzip Validität zu erzielen (Burke et al. 2007; Creswell und Plano-Clark 2007). Bei verschiedenen Erkenntnisinteressen lassen sich diese zudem jeweils oft besser, vertiefter und ggf. sogar ausschließlich nur durch eine spezifische Methode klären, d. h. hier haben wir eher sich ergänzende Methoden. Zudem können – je nach zeitlicher Verschaltung der Methoden – auch Erkenntnisse, die eine qualitative Methode bereits geliefert hat, zur Präzisierung der Konstruktion (im Sinne einer Exploration) der zeitlich folgenden Methode dienen oder umgekehrt eine nachgeschaltete qualitative Methode zur Interpretation und Klärung qualitativer Ergebnisse herangezogen werden (Plano-Clark et al. 2008). In der Evaluationspraxis sind oftmals aber auch Überlegungen hinsichtlich mehrerer der beschriebenen und weiterer EffekteFootnote 7 multimethodischer Designs ausschlaggebend, um einen solchen Ansatz zu verfolgen.Footnote 8

2 „Mensch Wissenschaft!“ als Blaupause für Dialogformate zwischen Bürger:innen und Wissenschaftler:innen

2.1 Veranstaltungsidee und Ziele

In der Wissenschaftskommunikation wird zunehmend wichtiger, dass Wissenschaft nicht nur Erkenntnisse vermittelt – Stichwort „kommunikative Einbahnstraße“, sondern sich in einem umfassenderen Sinne der Gesellschaft öffnet, in einen gleichberechtigten Austausch mit ihr tritt und den Dialog in beide Richtungen sucht. Solche Ansätze, die Wissenschaftskommunikation dialogisch und partizipativ denken – im angelsächsischen Raum auch als Science Engagement oder Public Engagement bezeichnet – gibt es in Veranstaltungen der Wissenschaftskommunikation in einigen Beispielen, allerdings nicht in der Fläche. Bisher gibt es auch nur wenig Wirkungsuntersuchungen zu partizipativen Ansätzen. Welche Ziele verfolgen sie? Welche Ergebnisse und welchen Nutzen können sie haben? Wie sollten sie durchgeführt werden, um Wissenschaftler:innen und Bürger:innen gleichermaßen anzusprechen?

Vor diesem Hintergrund entstand bei der Robert Bosch Stiftung die Idee, selbst eine Veranstaltung zu konzipieren mit dem Ziel, einen gleichberechtigen Dialog zwischen Bürger:innen und Wissenschaftler:innen zu initiieren und auf diese Weise gegenseitiges Verständnis und Vertrauen zu fördern. Forschende sollten ermutigt werden „rauszugehen“ und insbesondere auch mit Menschen ins Gespräch zu kommen, die sonst kaum Berührungspunkte zu Wissenschaft haben.

Zunächst wurde eine Fokusgruppe ins Leben gerufen, die aus Vertreter:innen beider Gruppen bestand. So testeten z. B. ein Käsethekenverkäufer, eine Hausfrau, ein Materialwissenschaftler und eine Zoologin Fragestellungen und Inhalte der geplanten Dialogveranstaltung und gaben gute Hinweise auf mögliche Fallstricke und Herausforderungen.

2.2 Die Pilotveranstaltung „Mensch Wissenschaft!“ im Herbst 2018 in Essen

Auf den Erkenntnissen aus der Fokusgruppe aufbauend lud die Robert Bosch Stiftung im Herbst 2018 eine größere Gruppe von Bürger:innen und Wissenschaftler:innen zu Gesprächen und gleichberechtigtem Austausch in die Zeche Zollverein nach Essen ein. Ziel der Veranstaltung war es, Wissenschaftler:innen dafür zu sensibilisieren, dass der Austausch über ihre Arbeit mit der Gesellschaft notwendig ist und wie das erfolgreich gestaltet werden kann. Gleichzeitig soll Bürger:innen die Möglichkeit geboten werden, Berührungsängste abzubauen und den Zugang zu wissenschaftlichen Erkenntnissen zu erleichtern.

Die Forschenden wurden unabhängig von ihrer Fachexpertise eingeladen. Sie vertraten die Wissenschaft als System und sollten auch selbst zuhören und Fragen stellen: Was bewegt die Menschen? Was wissen sie über Wissenschaft? Welches Bild haben sie von wissenschaftlichen Einrichtungen? Bei der Auswahl wurde auf eine möglichst große Vielzahl von Fächern Wert gelegt, um die Diversität der wissenschaftlichen Forschungsgebiete zumindest im Ansatz zu zeigen. Umgekehrt sollten die Bürger:innen die Mehrzahl der Teilnehmenden stellen und einen vielfältigen Querschnitt der Bevölkerung widerspiegeln. Dazu wurden zufällig ausgewählte Menschen mit verschiedenen Bildungshintergründen, Nationalitäten, Altersstufen und Milieus angerufen und angeschrieben. Ziel war es, eine gute Mischung der Gruppe mittels verschiedener Kriterien zu erreichen. Alle Teilnehmenden kamen aus Essen oder dem angrenzenden Umland. Zwei Tage verbrachten sie in verschiedenen Konstellationen und zu unterschiedlichen Fragestellungen miteinander, hörten einander zu und teilten sich mit.

2.3 Anforderungen an die Evaluation

Geplant war, aus dem Projekt einen Werkzeugkasten zu entwickeln, der Akteur:innen der Wissenschaftskommunikation zur Verfügung gestellt werden sollte, damit auch an anderen Orten erfolgreiche Veranstaltungen dieser Art umgesetzt werden könnten. Für Bürger:innen sollte das System Wissenschaft in seinen vielen Facetten erlebbar werden, und umgekehrt sollten Wissenschaftler:innen die Möglichkeit erhalten, sich in der Wissenschaftskommunikation zu engagieren.

Um die Projektgenese und das Veranstaltungskonzept auszuwerten und weiterzuentwickeln, war eine begleitende Evaluation eingeplant. Beabsichtigt war jedoch keine Evaluation im klassischen Sinne, die das Dialogexperiment anhand zuvor festgelegter Kriterien überprüfen sollte. Das Institut com.X sollte vielmehr den gesamten Prozess – von der Veranstaltungskonzeption über die Durchführung bis hin zur Kommunikation im Nachgang – mit vielfältigen Methoden kritisch begleiten, die Zielerreichung evaluieren und Empfehlungen zur Anpassung des Formats nach der Pilotveranstaltung ausarbeiten. Begleitend nahm das Projektteam während der Veranstaltung vor allem die Rolle als „kritischer Beobachter“ ein und notierte alles, was an Schwächen und Stärken der Veranstaltung oder Rückmeldungen der Teilnehmenden zu Tage kam. Ziel war es, auf diese Weise im Sinne eines „lernenden Projekts“ ein neuartiges Dialogformat zu entwickeln, das die Robert Bosch Stiftung in einer zweiten, weiterentwickelten Ausgabe 2019 erneut durchführen würde. Nach dieser zweiten Ausgabe sollte das Format Hochschulen und anderen Akteur:innen aus der Wissenschaft als „Blaupause“ für die Ausrichtung ähnlicher Dialogveranstaltungen zur Verfügung gestellt werden (Robert Bosch Stiftung GmbH 2020).

2.4 Die zweite Veranstaltung „Mensch Wissenschaft!“ im Herbst 2019 in Stuttgart

Mit den in Essen gesammelten Erfahrungen hat das Projektteam der Stiftung „Mensch Wissenschaft!“ im November 2019 erneut ausgerichtet – dieses Mal in Stuttgart. Wieder trafen an zwei Tagen viele spannende Persönlichkeiten und Lebensläufe aus Wissenschaft und Gesellschaft in ungewöhnlichen Gesprächsformaten aufeinander. Etwa 25 Wissenschaftler:innen erhielten die Gelegenheit zum Austausch mit rund 50 zufällig und vielfältig ausgewählten Bürger:innen. Ein besonderer Fokus lag auf dem persönlichen Kontakt und der Durchmischung der Gruppen. Formate wie soziometrische Aufstellungen, Kennenlern-Triaden, Kleingruppenarbeiten und themenzentrierte Dialogräume bis hin zu gemeinsamer Prozess-Reflexion und ausreichend Zeit für informelle Gespräche, z. B. beim Essen, boten einen professionellen und bereits bewährten Rahmen für gelungenen Austausch. Wieder hat das Institut com.X die Veranstaltung von Beginn an begleitet und verschiedene Befragungen (vor Ort, online und telefonisch) mit den Teilnehmenden zu Verlauf und Eindrücken durchgeführt.

3 Design der Evaluation

3.1 Formativer Begleitansatz

Obwohl die Planung der Pilotveranstaltung 2018 in Essen zum Zeitpunkt der Beauftragung der externen Evaluation bereits begonnen hatte, erfolgte die Begleitung durch com.X, wie oben beschrieben, aus einer stark formativ geprägten EvaluationsrolleFootnote 9 heraus (siehe auch Volk in diesem Band). Anstelle einer rein zielorientierten Wirkungsanalyse galt es vielmehr, Gelingensfaktoren und förderliche Rahmenbedingungen für einen konstruktiven Dialog von Wissenschaftler:innen und Bürger:innen in den Blick zu nehmen.

Entscheidend für diese formative Begleitung war von Anfang an ein enger Austausch mit dem gesamten Projektteam aufseiten der Stiftung. So wurden in einer Phase, in der Struktur und Inhalte der Veranstaltung noch nicht fixiert waren, durchaus auch unterschiedliche interne Perspektiven auf das Format sichtbar: Etwa zur Zielgruppenerreichung, (intendierten) Effekten, Akzeptanz und/oder Optimierungsbedarf für Programmelemente und Gesamtveranstaltung. Durch viele persönliche Gespräche unmittelbar vor, während und nach der Veranstaltung wurde der Blick der Evaluation so auch auf bisher unberücksichtigte Aspekte gelenkt, wie bspw. dem Prozess der Ansprache und Gewinnung von Teilnehmenden oder dem möglichen Einfluss des Ortes, seiner Architektur und damit verbundenen Konnotationen auf die Wahrnehmung der Veranstaltung (mehr dazu siehe unten). Mit den Vorbereitungen zur zweiten Ausgabe in Stuttgart ging die Methoden-/Designentwicklung dann „Hand in Hand“ mit der Formatkonzeption, zum Beispiel durch eine Teilnahme an einem Partner:in-/Dienstleistende-Workshop der Robert Bosch Stiftung, um die Evaluation frühzeitig zu integrieren in Konzeption, Umsetzung und Nachbereitung der Veranstaltung, insbesondere im Hinblick auf eine Ergebnisbroschüre für potenzielle Interessent:innen bzw. Umsetzende vergleichbarer Dialogveranstaltungen.

Neben dem Anspruch, aus einer neutralen und unabhängigen Perspektive heraus eigene Ergebnisse und Impulse für die Weiterentwicklung zu generieren, hatte die externe Evaluation durch com.X auch die Aufgabe, die Erkenntnisse der zahlreichen selbstevaluativen Schritte zu integrieren, die die Stiftung während und nach der Veranstaltung umsetzte (siehe auch unten). An dieser Stelle soll aber zunächst auf das methodische Design der externen Evaluation eingegangen werden.

3.2 Einzelmethoden und deren Zusammenspiel

Das folgende Schaubild zeigt zunächst die in beiden Jahren eingesetzten Methoden, bevor diese im Weiteren sowohl einzeln als auch im Zusammenspiel beschrieben werden (Abb. 1):

Abb. 1
figure 1

(Quelle: eigene Darstellung, com.X Institut)

Methodisches Design der Evaluation.

Full size image

Das Desk Research – verbunden mit telefonischen Vorfeld- und Nachbereitungsgesprächen mit dem Projektteam der Stiftung – diente zunächst der Generierung einer detaillierten Wissensbasis zur Konzeption und geplanten Umsetzung der Veranstaltung. Dazu gehörten u. a. auch Hintergründe zur Genese der Formatidee. So wurde Mensch Wissenschaft! in einem ca. einjährigen projektinternen Prozess unter Einbeziehung externer Fachakteur:innen aus Wissenschaftskommunikation und Moderation sowie von Ergebnissen aus Gruppendiskussionen mit Bürger:innen entwickelt. In Verbindung mit dem seitens der Verantwortlichen formulierten Handlungsbedarf (Warum braucht es dieses Format und wie soll es sich von bestehenden abgrenzen?) und der Verortung innerhalb der Gesamtaktivitäten der Robert Bosch Stiftung im Bereich Wissenschaft und Gesellschaft wurde der Kontext sichtbar, in dem Mensch Wissenschaft! entstanden ist. Diesen galt es aus Evaluationssicht stets sorgfältig zu erfassen, um auch die ursprünglichen Intentionen hinter den formulierten Zielen und Maßnahmen nachvollziehen zu können.

Ein besonderes Augenmerk legte das Desk Research auf die Analyse der Zusammensetzung der Teilnehmenden und den Prozess der Teilnehmendenansprache und -gewinnung. Mensch Wissenschaft! verfolgte den Anspruch, aufseiten der Bürger:innen eine möglichst heterogene, mehr an sozio-demografischer Diversität als Repräsentativität orientierte Teilnehmendenschaft zu erreichen. Eine entsprechende Auswertung der Teilnehmendenliste zeigte in einem ersten Schritt, inwieweit dies faktisch gelungen ist.Footnote 10 Jedoch konnte erst über die Beobachtung, Interviews und Onlinebefragung geklärt werden, inwieweit mit diesem Ansatz auch wissenschaftsferne oder sogar -kritische Personen erreicht wurden.

Die weitere Auseinandersetzung mit dem gesamten Rekrutierungsprozess auf Grundlage von Dokumenten und Gesprächen mit dem Projektteam der Stiftung wie auch dem beauftragten DienstleisterFootnote 11 lenkte den Blick der Evaluation in diesem Zusammenhang auch auf die Bedeutung bzw. Limitierung extrinsischer Motivationsanreize (Bürger:innen erhielten für ihre Teilnahme eine Aufwandsentschädigung von 100 € in Essen bzw. 50 € in Stuttgart).

Eine teilnehmende Beobachtung (siehe auch Weiß in diesem Band) – orientiert an einer qualitativen Checkliste – erfolgte an allen Veranstaltungstagen durch die Evaluationsverantwortlichen, wodurch auch persönliche Eindrücke von der Mehrheit der Arbeitsgruppen gewonnen werden konnten. Auch wenn dabei (im Sinne der Beobachtung) auf eine aktive Rolle, bspw. durch eine Beteiligung an Diskussionen verzichtet wurde, wurde sowohl in der allgemeinen Begrüßung zu Beginn wie auch auf Nachfrage oder in Vorstellungsrunden die eigene Evaluationsrolle stets transparent gemacht. Letztlich deckt sich hier der eigene Eindruck aber mit den Erfahrungen aus zahlreichen weiteren Veranstaltungsbegleitungen, demnach Evaluationsvertreter:innen – ähnlich zu Kamera-Teams – nach einer Weile nicht mehr als solche wahrgenommen oder direkt dem/der Veranstalter:in zugerechnet werden.

Abgesehen von grundlegenden Eindrücken zum Verlauf von Arbeitsgruppen und Diskussionen oder zur Akzeptanz erarbeiteter Ergebnisse, die sich durch spontane Kurzgespräche mit Teilnehmenden anreichern lassen und im weiteren Forschungsprozess qualitative wie quantitative Ergebnisse ergänzen und deren Interpretation unterstützen, sind teilnehmende Beobachtungen aber vor allem ein unverzichtbarer Bestandteil im Methodenset, um den atmosphärischen Rahmen der Veranstaltung zu erfassen.

Bereits in den ersten Stunden von Mensch Wissenschaft! lieferte die teilnehmende Beobachtung, häufig den Ort und damit auch sich bildende und mischende Personengruppen wechselnd, für die weitere Evaluation wertvolle Einschätzungen dazu, inwieweit der Distanzabbau zwischen Bürger:innen und Wissenschaftler:innen gelang und welchen Anteil daran insbesondere spezielle Moderations- und Kennenlerntechniken hatten, die als „Eisbrecher“ zum Einsatz kamen.

Auch die Bedeutung des Veranstaltungsortes für die Wahrnehmung eines Formats erschließt sich unmittelbar stark durch die teilnehmende Beobachtung, ergänzt durch die Einschätzungen der Teilnehmenden in Interviews und Befragungen. Neben eher formalen Rahmenbedingungen wie Raumgrößen und akustischen Verhältnissen können auch die Architektur (wie beim SANAA-Gebäude in Essen mit seiner ungewöhnlichen Rohbetonfassade mit den großen Fensterflächen) oder die sonstige/bisherige Nutzung eines Ortes eine Rolle spielen. So wurde das Stuttgarter Stadtpalais, in dem die Folgeveranstaltung stattfand, auch schon deshalb sichtbar gut von den teilnehmenden Bürger:innen angenommen, da es einem Großteil bereits in seiner früheren Funktion als Zentralbibliothek bekannt war.

Im Nachgang beider Veranstaltungen (Essen/Stuttgart) wurden qualitative telefonische Leitfadeninterviews (zu qualitativen Befragungen allgemein siehe auch Metag und Scheu in diesem Band) mit Bürger:innen und Wissenschaftler:innen geführt. Da das grundsätzliche Einverständnis zur Evaluationsteilnahme und Kontaktierung bereits vorab im Zuge des Registrierungsprozesses eingeholt worden war, war es möglich, aus der bereitgestellten Teilnehmendenliste eine breite und diverse Stichprobe zu ziehen, die sich an der soziodemografischen Verteilung des Teilnehmendenfeldes orientierte.

Die leitfadengestützten Interviews boten durch offene Impuls- und Nachfragen den Teilnehmenden viel Raum, ihre Teilnahmeerfahrung, erarbeitete Ergebnisse, gebotene Rahmenbedingungen sowie Programm und Ablauf der Veranstaltung zu reflektieren. Besondere Bedeutung im Hinblick auf die Ziele der Pilotumsetzung hatte dabei die Identifikation von förderlichen wie auch hemmenden Faktoren für einen konstruktiven und wertschätzenden Dialog auf Augenhöhe.

Die Herausforderung in der Analyse bestand vor allem darin, auf Grundlage qualitativ gewonnener Erkenntnisse zwischen individuellen, kontextabhängigen Teilnahmeerfahrungen und allgemeingültigen und damit übertragbaren Erkenntnissen zu differenzieren. Da im Nachgang der Pilotveranstaltung in Essen keine quantitative Befragung erfolgte (wie im Folgejahr in Stuttgart), spielte dafür der Abgleich mit den Ergebnissen der teilnehmenden Beobachtung (alle Interviews wurden von Beobachter:innen geführt) wie auch den Wahrnehmungen des Projektteams (inklusive der Ergebnisse der durch das Projektteam teils in die Veranstaltung eingebetteten selbstevaluativen Elementen) selbst eine große Rolle. Weitere qualitative Interviews mit Expert:innen für Beteiligungsformate, die die Veranstaltung vor dem Hintergrund eigener Erfahrungen begleiteten, unterstützten die Ableitung möglichst verallgemeinerbarer Ergebnisse.

Letztlich trägt der Verzicht auf eine quantitative Erhebung in Essen aber auch dem explorativen Charakter der Pilotumsetzung von Mensch Wissenschaft! Rechnung. Die eher wie offene Gespräche geführten Interviews lenkten den Blick der Evaluation so auf Themen, die zuvor keine große Rolle im Programmkonzept spielten, sich aber als hoch relevant für die Veranstaltungsbewertung erwiesen (wie bspw. den Wunsch von Bürger:innen, mehr über den auch „banalen Alltag“ von Wissenschaftler:innen zu erfahren). Diese Hinweise flossen dann nicht nur in die Konzeption der Stuttgarter Veranstaltung selbst, sondern auch – im Sinne einer Exploration – in die dort eingesetzte Online-Befragung ein (z. B. in Form von Aussagebewertungen) und konnten damit im Sinne eines zeitlich mehrere Umsetzungen umfassenden, aufeinander aufbauenden multimethodischen Designs ein Jahr später auch quantitativ validiert werden. Die Interviews mit Teilnehmenden aus Stuttgart fanden dann im Nachgang der Online-Befragung statt und dienten vor allem der qualitativen Vertiefung und Analyse von Hintergründen, Bewertungszusammenhängen und Motivationen.

Die Online-Befragung (siehe auch Böhmert und Abacioglu in diesem Band) in Stuttgart verfolgte mehrere Zielsetzungen, sowohl innerhalb der Evaluation als auch darüber hinaus.

In der engen Verzahnung mit der anschließenden qualitativen Nachbefragung lieferte sie zunächst eine standardisierte Rückmeldung zum Format in der Breite. Im Zuge des Veranstaltungsmanagements und des Bestrebens der Robert Bosch Stiftung, auch weiterhin mit den Teilnehmenden in Kontakt zu bleiben und deren Vernetzung untereinander zu fördern, fragte sie aber konkret auch nach Wegen und Wünschen, frisch geknüpfte Kontakte weiter zu vertiefen.

Für die spätere Kommunikation der Stiftung mit Akteur:innen der Wissenschaftskommunikation (in Form der bereits erwähnten Handreichung zum Format) bot die Befragung aber vor allem Ergebnisse, die sich in ihrer Unterscheidung von Bürger:innen- und Wissenschaftler:innen-Perspektive schnell und intuitiv erfassen lassen und in ihrer Quantifizierung und grafischen Darstellung eine Unmittelbarkeit und damit auch Überzeugungskraft besitzen, die rein qualitativ gewonnenen Erkenntnisse oftmals abgeht.Footnote 12 Ein gutes Beispiel dafür ist das im Vorwort der Broschüre (Robert Bosch Stiftung GmbH 2020) zitierte Befragungsergebnis, demnach 100 % der (befragten) Bürger:innen und 95 % der Wissenschaftler:innen an ähnlichen Veranstaltungen erneut teilnehmen würden.

3.3 Verschiedene Typen von Mixed-Method-Designs

Die externe Evaluation von Mensch Wissenschaft! kombinierte nicht nur verschiedene empirische Methoden miteinander: Teilnehmende Beobachtung, quantitative Befragung und qualitative Interviews boten im Sinne einer Triangulation verschiedene Zugänge zu letztlich stets individuellen Teilnahmeerfahrungen und ermöglichten damit erst die Ableitung verallgemeinerbarer Erkenntnisse für die Weiterentwicklung und Kommunikation zum Format. Der insbesondere bei der Pilotumsetzung in Essen gegebene experimentelle Veranstaltungscharakter bedingte dabei zunächst einen offenen, qualitativen Evaluationsansatz, dessen stark subjektiv geprägte Erkenntnisse dann im Sinne eines „exploratory design“ über die quantitative Onlinebefragung in Stuttgart validiert und generalisiert wurden. Die darauf folgenden qualitativen Interviews dienten hingegen vor allem der Vertiefung und Klärung („explanatory design“).

Zudem bot Mensch Wissenschaft! mit unmittelbar in die Veranstaltung und das Veranstaltungsmanagement integrierten Evaluationselementen aber auch ein gutes Beispiel für eine handhabbare Selbstevaluation (Robert Bosch Stiftung GmbH 2020). So dienten Abstimmungsrunden der Projektakteur:innen zwischen Veranstaltungsblöcken nicht nur der weiteren Veranstaltungskoordination, sondern auch der Erfassung systematischer Eindrücke aus unterschiedlichen Akteur:innen-Perspektiven: etwa zur Zielgruppenerreichung, (intendierten) Effekten, Akzeptanz und/oder Optimierungsbedarf für Programmelemente und Gesamtveranstaltung. Darüber hinaus wurden Möglichkeiten für Teilnehmendenfeedback direkt in den Veranstaltungsablauf integriert, etwa über Kartenabfragen oder ein Reflexions-Plenum zum Abschluss.

Die externe Evaluation integrierte diese Erkenntnisse und unterstützte das Projektteam bei der Reflexion und Implikation der geleisteten Arbeit durch eigene Beobachtungen, Gespräche mit Teilnehmenden, der Moderation, Vertretung der Hochschul-Partner:innen oder die Teilnahme an internen Debriefings während der Veranstaltung.

4 Erkenntnisse und Nutzen der Evaluation

Weitere Details zu den Erkenntnissen und Ergebnissen siehe Robert Bosch Stiftung GmbH (2020).

4.1 Essener Veranstaltung bietet erkenntnisreichen „Probelauf“

Im Einzelnen wurden bereits während und nach der Veranstaltung in Essen aufseiten der Robert Bosch Stiftung einige Erkenntnisse offenbar, die sich als relevant für einen gelungenen Dialog erwiesen:

  • Das ungleiche Verhältnis von 2/3 Bürger:innen zu 1/3 Wissenschaftler:innen hatte zu einer ausgewogenen Diskussionskultur beigetragen. Die gleiche Wirkung hatten Namensschilder ohne Titel, die eine direkte Zuordnung einer Person zu einer der beiden Gruppen nicht ermöglichte. Man begegnete sich auf Augenhöhe und erfuhr erst im Gespräch miteinander, ob der eine Bürger oder die andere Wissenschaftlerin war.

  • Den beteiligten Wissenschaftler:innen war teilweise ihre Rolle unklar. Sind sie normalerweise gewohnt, auf Fachkonferenzen Vorträge vor anderen Fachleuten zu halten, waren sie in der Rolle als Laie (gegenüber anderen Disziplinen) oder als Zuhörende verunsichert. Auch Fragen nach der Arbeitsweise von Wissenschaft und dem persönlichen Arbeitsalltag hatten den gleichen Effekt. Auf ihre Rollen als Expert:innen, Laien und Zuhörende sowie auf die Beantwortung von Fragen, die über die reine Fachexpertise hinausgingen und vor allem auch auf die Nutzung einfacher und verständlicher Sprache, hätten sie besser vorbereitet werden müssen.

  • Eine konsequente Durchmischung der Gruppen erwies sich als hilfreich für gelungenen Dialog. Insgesamt sollte das Programm einfach und ohne zu viele Vorgaben gehalten werden. Tatsächlicher Dialog entwickelte sich am besten in Kleingruppen oder in Ess- und Kaffeepausen.

Inhaltlich kristallisierten sich neben konkreten gesellschaftlichen Fragen wie bspw. Klimawandel und Ernährung folgende Themen als interessant für die Teilnehmenden heraus: Werteverständnis von Wissenschaft, Kontrolle (durch den Staat), Transparenz, Finanzierung (durch die Industrie), „Glauben“ an Wissenschaft, Fortschritt, Unabhängigkeit, gutes Leben (trotz/dank Wissenschaft), Gemeinwohlorientierung von Forschung und „Lebensnähe“. Es wurde deutlich, wie wichtig es ist, Wissenschaft verständlich zu erklären. Auch Formate, die wissenschaftliche Grundbildung – sogenannte Scientific Literacy – vermittelten, stießen auf großes Interesse.

Das Interesse der Teilnehmenden an mehr Austausch und Engagement auch über die Veranstaltung hinaus sollte von Anfang an mitgedacht werden. Die Wirkung einer einmaligen Veranstaltung geht schnell verloren. Gewecktes Interesse sollte mit Vertiefungsmöglichkeiten oder Nachfolgeveranstaltungen erhalten und gestillt werden.

4.2 Angepasstes Veranstaltungskonzept in Stuttgart

Im Konzept der zweiten Veranstaltung in Stuttgart wurden die oben genannten Punkte sowie weitere Ergebnisse aus der externen Evaluation berücksichtigt und entsprechend eingearbeitet:

  • Der didaktische Aufbau der Veranstaltung wurde angepasst. Statt mit übergreifenden Fragen an die Wissenschaft den Dialog zu starten, wurden in Stuttgart zunächst konkrete Forschungsthemen vorgestellt, bevor die Moderation am zweiten Tag in sogenannten „Metaworkshops“ eine Brücke zu abstrakteren Themen (Unabhängigkeit der Wissenschaft, Vertrauen in die Wissenschaft, etc.) schlug.

  • Der Wunsch der Essener Teilnehmenden nach mehr Zeit für Diskussionen und ein Resümee im Plenum, führte zu einer deutlichen Entzerrung des Programms der Stuttgarter Veranstaltung. Es gab zwar weiterhin Wechsel zwischen Arbeits- und Diskussionsphasen, zugleich aber genügend Gelegenheiten für informellen Austausch beim gemeinsamen Essen oder in Kaffeepausen. Die Evaluation bestätigte, dass alle Beteiligten Berührungsängste mit jeweils der anderen Gruppe abbauen konnten.

  • Die Anpassung der Aufwandsentschädigung (100 € in Essen, 50 € in Stuttgart) trug dazu bei, dass in Stuttgart zwar bildungsfernere Milieus weniger gut erreicht wurden, es dafür aber auch weniger passive bis offen desinteressierte Teilnehmende gab, was sich wiederum förderlich auf die Gesprächskultur auswirkte.

  • Zudem wurden den Teilnehmenden in Stuttgart grundsätzlich etwas mehr Anleitung und Impulse geboten. Zwar hatte sich die Selbstorganisation der Diskussionsgruppen in Essen als förderlich für einen Dialog auf Augenhöhe erwiesen (Rollen für Moderation, Präsentation, Dokumentation etc. wurden zu Beginn selbst verteilt). Trotzdem schuf die Hinzunahme professioneller Moderator:innen in Stuttgart letztlich eine ergebnisorientiertere Struktur, welche die Balance im Dialog wahren und auch hitzige Diskussionen ausgewogen zusammenzufassen konnte.

  • Ebenfalls modifiziert wurde, dass sowohl Wissenschaftler:innen wie auch Bürger:innen meist als Laien über (fach-)fremde Themen diskutierten. So wurde den Sessions in Stuttgart ein fachlicher Impulsvortrag vorangestellt, um eine gemeinsame Wissensbasis für einen differenzierteren Dialog zu schaffen. Zudem wurden die Teilnehmenden vorab über die zur Diskussion stehenden Forschungsthemen informiert und konnten sich nach Interesse ihren „Platz“ buchen.

Des Weiteren wurden kurze interne ad-hoc-Beratungen in den Verlauf der Veranstaltung eingebaut, in denen das Projektteam der Robert Bosch Stiftung, com.X und die Moderation Rückmeldungen zum Verlauf verschiedener Programmmodule besprachen und kurzfristige Ablaufänderungen direkt umsetzten.

Die begleitende Evaluation hat in hohem Maße zur Verbesserung des Veranstaltungskonzepts beigetragen. Die Ergebnisse flossen in die im Nachgang publizierte Handreichung „Wie Hochschulen Bürger und Wissenschaftler ins Gespräch bringen – Mensch Wissenschaft! Miteinander reden. Voneinander lernen“ ein. Die Handreichung stellt den Lernprozess und die Evaluationsergebnisse auf anschauliche Art zur Verfügung. Zielgruppe sind Hochschulen und andere wissenschaftliche Einrichtungen, die mit der Broschüre Möglichkeiten aufgezeigt bekommen, wie sie Aktivitäten im Rahmen ihrer „Third Mission“ initiieren können, indem sie z. B. in ihrer Region selbst ähnliche Dialogveranstaltungen ausrichten. Die Broschüre enthält Tipps und Anleitungen zur Selbstevaluation und ist als eine Art „Rezept zum Nachkochen mit Geling-Garantie“ konzipiert. Ebenso gibt die Handreichung Beschäftigten der Wissenschaftskommunikation und Institutionsleitungen klare Belege und Entscheidungshilfen an die Hand, ob und wo es sich lohnt, in den Dialog mit der Gesellschaft zu investieren.

In Summe wurden mit „Mensch Wissenschaft!“ viele neue persönliche Beziehungen geschaffen, die modellhaft für eine bessere Verwurzelung von Wissenschaft in der Gesellschaft sorgten.