1 Einleitung

Im Coaching entwickelten sich in den letzten Jahren zahlreiche neue Strömungen, deren Wissen und Techniken in einer ebenfalls wachsenden Anzahl von Ausbildungsinstituten an zukünftige Coaches vermittelt wird. Der Umstand, dass Coach und Coaching keine geschützten Begriffe sind, ist hinlänglich bekannt und hat zu der bemängelnswerten Unübersichtlichkeit und Intransparenz des Coaching-Marktes geführt (Greif 2014; Möller und Hellebrandt 2016). Dem gegenüber beschäftigten sich bislang nur wenige wissenschaftliche Arbeiten mit der tatsächlichen Struktur dieser Ausbildungsangebote, z. B. deren Ausbildungs-Curriculum oder Praxisanteil (Greif 2015; Klenner und Bischofberger 2014; Möller 2016).

Da es bisweilen keine Übereinkünfte darüber gibt, was genau eine Ausbildung zum Coach beinhalten muss und welche Qualifikation ein Ausbilder für Coaches vorzuweisen hat, schickt sich auch dieser Teilbereich des Coaching-Sektors an, ähnlich intransparent zu werden. Mutmaßlich sollten dabei Qualitätskriterien oder -konzepte, wie sie bei anderen Bildungsangeboten zur Anwendung kommen, auch in Coaching-Ausbildungen gelten.

Evaluationen stellen ein wichtiges Steuerungsinstrument des internen Qualitätsmanagements dar und gelten als essenziell für das Bildungscontrolling (Wissenschaftsrat 2008). So wurde z. B. im Berliner Hochschulgesetz 2011 die Verpflichtung zur Durchführung regelmäßiger Evaluationen der Lehrveranstaltungen festgeschrieben (§ 8 a BerlHG). Die Deutsche Gesellschaft für Evaluation e. V. (DeGEval) definiert den Begriff Evaluation als systematische Untersuchung der Güte oder des Nutzens eines Evaluationsgegenstandes. Evaluation umfasst sowohl den Prozess der Evaluation wie auch dessen Produkt (DeGEval 2008). Laut Stockmann und Meyer (2014) müssen Evaluationen bereits im Vorfeld folgende Charakteristika zugeschrieben werden: der Gegenstand der Evaluation sollte klar festgelegt sein, es sollten objektivierende empirische Datenerhebungsmethoden für die Informationsgenerierung zum Einsatz kommen und anhand präzise definierter und offengelegter Kriterien mit Hilfe systematisch vergleichender Verfahren durchgeführt werden. Darüber hinaus sollten Evaluationen in der Regel von dafür ausgebildeten Personen (Evaluatoren/Evaluationsbeauftragten) durchgeführt werden mit dem Ziel, auf den Evaluationsgegenstand bezogene Entscheidungen zu treffen (Stockmann und Meyer 2014).

Neben Evaluationsmodellen, welche allgemein für Qualitätssicherung z. B. im Bildungsbereich entwickelt wurden (ISO EN 29990, 4‑Ebenen-Modell nach Kirckpatrick (Kirkpatrick und Kirkpatrick 2006), Input-Output-Modell (Bundesinstitut für Bildung 2006), Donabedian-Modell (Donabedian 1980), Modell des Bildungserfolges nach Rindermann (Rindermann und Amelang 1994), CIPP-Modell nach Stufflebeam (Stufflebeam 2003)), gibt es inzwischen auch speziell für Coaching-Ausbildungen konzipierte Evaluationsmodelle. Im Folgenden werden 3 gut untersuchte Evaluationsmodelle des Coaching-Ausbildungssektors beschrieben.

Das Coaching-Index-Qualitätsmodell nach Rauen (2007) vertritt einen evaluativen Ansatz, der die Qualität einer Coaching-Ausbildung anhand der Beurteilung durch Ausbildungs-Absolventen ermisst. Drexler und Möller stellten 2008 ein Verfahren zur Erfolgsmessung von Coaching-Weiterbildungen vor, welches als „Innsbrucker Modell“ benannt wurde. Dieses kompetenzfokussierte Modell beinhaltet nicht nur die von Möller selbst als happy sheets (bei Kirkpatrick smile sheets) kritisierten Teilnehmerbefragungen am Ende der Ausbildung, sondern ausführliche Prä- und Post-Messungen sowie begleitende Evaluationsverfahren, durch welche die Kompetenzentwicklung der Absolventen aufgezeigt werden soll (Drexler et al. 2009; Möller und Drexler 2011). Bezogen auf die Tätigkeitsfelder Coaching und Supervision bemüht sich das länder- und organsiationsübergreifende Projekt ECVision („A European System of Comparability and Validation of Supervisory Competences“) um die Schaffung einer einheitlichen Terminologie, eines konkreten Kompetenzprofils sowie eines Akkreditierungsmodels für Coaching- und Supervisions-Ausbildungen (ECVision 2015). Das vom ECVision erarbeitete Kompetenzprofil könnte somit zur Operationalisierung des Bewertungsvorgangs im Rahmen einer Coaching-Ausbildung verwendet werden. Allerdings wurden explizit für Coaching-Ausbildungen noch keine Referenztabellen oder ähnliches veröffentlicht. Ein weiterer Nachteil ist, dass das Kompetenzprofil im Speziellen nicht zwischen den Kompetenzen von Coaches und Supervisoren unterscheidet. Es werden vielmehr für beide Berufsbilder essentielle Kompetenzen aufgeführt, jeweils untergliedert in Kenntnisse, Fähigkeiten und Performance, so dass sich einmal mehr die Frage stellt, inwiefern sich die Tätigkeitsbereiche Coaching und Supervision überschneiden.

Unabhängig vom genutzten Evaluationsmodell ist die Aussagekraft und Nutzbarkeit einer Evaluation stets von deren Güte abhängig, die sich bspw. mittels der DeGEval-Standards beschreiben lässt (DeGEval 2002, 2008; Stockmann und Meyer 2014). Gegliedert nach 4 Hauptaspekten, Nützlichkeit (N), Durchführbarkeit (D), Fairness (F) und Genauigkeit (G), werden die einzelnen Evaluationsstandards subsummiert.

In der vorliegenden Studie wurde mittels eines online-basierten Fragebogens untersucht, in welcher Art und Weise zertifizierte Coaching-Ausbildungen evaluiert werden.

2 Methoden

2.1 Studien-Sample

Die in das Studien-Sample eingeschlossenen Coaching-Ausbilder wurden nach folgenden Kriterien selektiert. Der Wirkungsbereich sollte im deutschsprachigen Raum sein, also in Deutschland, Österreich oder der Schweiz/Luxemburg. Darüber hinaus wurde eine Empfehlung der Ausbildung über die Website eines Coaching-Verbandes, welcher in der Coaching-Datenbank von Christopher Rauen (www.coaching-report.de/coaching-markt/coaching-verbaende.html) aufgeführt wurde oder Mitglied im Round Table Coaching (www.roundtable-coaching.eu/der-roundtable-der-coachingverbaende/) als Grundlage der Auswahl genommen. Darunter fanden sich neben originären Coaching-Verbänden auch Mischverbände, welche Coaching explizit im Namen oder im Portfolio/Website verwenden. Ebenso wichtig war die Auffindbarkeit der entsprechenden Kontakt-Daten der zertifizierten Ausbilder über die Website der jeweiligen Coaching-Verbände. Eine Übersicht über die Coaching-Verbände, deren zertifizierte Coaching-Ausbildungen in die Liste der Befragungsadressaten aufgenommen wurden, liefert Tabelle S1 im Online-Zusatzmaterial. Die Auswahl resultierte in einem Sample von 394 Ausbildern, welche nachfolgend gebeten wurden an der Befragung teilzunehmen.

2.2 Erhebungsmethode

Die Online-Fragebogen-Plattform SoSci Survey (Leiner 2016; verfügbar unter: www.soscisurvey.de) ist ein professionelles Werkzeug zur Gestaltung von online-basierten Befragungen. Datenschutzrechtliche Rahmenbedingungen nach der Datenschutz-Grundverordnung (DGSVO) und Bundesdatenschutzgesetz (BDSG) wurden realisiert und sämtliche Datenübertragungen fanden Secure Socket Layer (SSL)-verschlüsselt statt. Für die nicht-kommerzielle und wissenschaftliche Nutzung der Plattform wurde durch SoSci Survey ein kostenfreier Zugang zu allen Funktionen des Programms gewährt. Hier standen vielfältige Frage- und Antworttypen, sowie Möglichkeiten zum Datei-Upload aber auch Filterfragen zum logischen Aufbau verschiedener Antwortpfade innerhalb des Surveys zur Verfügung. Der Datenexport wurde in Microsoft Excel® vorgenommen und die Daten wurden mit Hilfe von GraphPad Prism® graphisch aufbereitet.

2.3 Erstellung des Online-Fragebogens

Die Konstruktion des Fragebogens erfolgte unter Berücksichtigung allgemeiner Empfehlungen (Krosnick und Presser 2010) zunächst über die Formulierung einer Forschungsfrage: „In welcher Form finden Evaluationen im Kontext von Coaching-Ausbildungen statt?“

Ausgehend von dieser Forschungsfrage wurden folgende Programmfragen gestellt:

  • Welche Struktur weisen die Coaching-Ausbildungen auf?

  • Welche Erfahrung bezüglich der Durchführung von Evaluationen bringen die Ausbilder oder Evaluatoren in die Evaluation ein?

  • Welche Evaluationsverfahren werden von Coaching-Ausbildern angewandt?

  • Wie ist die Qualität und wie nützlich sind die durchgeführten Evaluationen?

Diese Programmfragen wurden in messbare Konstrukte überführt: Merkmale der Ausbildung, Erfahrungen der Evaluatoren, Merkmale und Qualitätsaspekte der Evaluationen, angewandte Evaluationsverfahren/Methoden, Relevanz/Praxisbezug der Evaluationen.

Diese Konstrukte wiederum lagen den einzelnen in die Befragung aufgenommenen Fragen zugrunde. Jede Testfrage wurde eindeutig formuliert und durch eine begleitende Handlungsanweisung erläutert. Die aufgeführten Antworten enthielten diskrete oder multiple Auswahlmöglichkeiten, welche als solche gekennzeichnet wurden. Zudem bestand für jede Frage die Möglichkeit einer freien Antwort in einem entsprechenden Textfeld.

Zudem sollten mit den Testfragen die DeGEval-Standards für Evaluation erfasst werden, wo immer dies durch Beantwortung einer oder mehrerer Fragen möglich war. Überschneidungen zwischen den einzelnen Konstrukten waren analog zu den Überschneidungen zwischen den einzelnen DeGEval-Qualitätsstandards nicht zu vermeiden.

2.4 Qualitative Inhaltsanalyse

Die Beantwortung der in der Einleitung beschriebenen Forschungsfrage erforderte ein entsprechendes Forschungsdesign und die Anwendung geeigneter qualitativer und quantitativer Analysemethodiken (Kelle und Erzberger 2009; Atteslander 2010; Früh 2007; Mayring 2002). Aufgrund einer verhältnismäßig geringen Fallzahl wurden qualitative in Kombination mit quantitativen Methoden angewendet. Somit kamen im Rahmen der vorliegenden Arbeit die sechs allgemeinen Gütekriterien qualitativer Forschung nach Mayring (2002) zur Anwendung: Verfahrensdokumentation, Interpretationsabsicherung, Regelgeleitetheit, Nähe zum Gegenstand, kommunikative Validierung und Triangulation.

2.5 Durchführung der Befragung

Im ersten Schritt wurden die Coaching-Verbände in einer Email über das geplante Forschungsvorhaben und seine Ziele informiert. Den Verbänden wurde darüber hinaus die Möglichkeit eingeräumt, eigene Ziele und Interessen kenntlich zu machen.

Die Befragung fand im Zeitraum zwischen dem 23.04.2018 und dem 04.06.2018 auf der Online-Plattform des socisurvey.de statt. Zum Befragungsbeginn wurde den ausgewählten Anbietern per Email ein personifizierter, nicht an dritte übertragbarer Link zum Fragebogen bereitgestellt. Die Daten wurden in anonymisierter Form auf der SoSci Survey-Plattform gespeichert.

2.6 Datenauswertung

Die Datenauswertung erfolgte mittels der Microsoft Excel® sowie Graph Pad Prism® Software. Die strukturierende Inhaltsanalyse wurde in Anlehnung an dem von Kuckartz (2012) beschriebenen Vorgehen durchgeführt. Alle Graphiken wurden mittels Graph Pad Prism® erstellt.

3 Ergebnisse und Diskussion

Im Fokus der Studie standen die evaluatorischen Anstrengungen der Ausbildungsanbieter, im Sinne der Selbstkontrolle den Erfolg ihrer Maßnahmen zu messen. Der Arbeit lag die Annahme zugrunde, dass Qualitätskriterien oder -konzepte, wie sie bei anderen Bildungsangeboten zur Anwendung kommen, auch in Coaching-Ausbildungen gelten sollten. Die Vielzahl der Qualitätsaspekte, sowie die Schwierigkeit, diese zu erfassen, erfordert unterschiedliche Herangehensweisen. Forschungsbestrebungen wie der Marburger-Coaching-Studie (DBVC e. V. 2013), die Arbeiten von Greif, Rauen, Möller, sowie Hellebrandt und Klenner, stellen Versuche dar, diese Aspekte der Qualität von Coaching-Ausbildungen zu erheben (Greif 2015; Klenner und Bischofberger 2014; Möller und Hellebrandt 2016; Rauen 2008).

Fraglich bleibt, ob die Kluft zwischen Coaching-Praxis und -Wissenschaft durch die bisherigen Bestrebungen beider Seiten ausreichend überbrückt werden konnte (Greif 2014; Möller und Hellebrandt 2016). Diverse Veröffentlichungen erschienen überaus kritisch und attestierten den praktizierenden Coaches und Coaching-Ausbildern mangelnde wissenschaftliche Fundierung (Möller et al. 2011; Möller und Hellebrandt 2016). Von Seite der Praktiker könnte wiederum den Wissenschaftlern Praxisferne und mangelnde Anwendbarkeit wissenschaftlicher Erkenntnisse vorgeworfen werden (Scholl et al. 2018). Durch die hier vorgestellte Studie soll mitunter ein Beitrag zur Überbrückung dieser Differenzen geleistet werden, denn Evaluation kann durch die immanente Ziel- und Zweckorientierung als angewandte Forschung verstanden werden (Götz 1993). Eine qualitativ hochwertige Evaluation stellt die Grundlage für effiziente wie effektive Steuerungsprozesse dar und kann daher für die unternehmerische Praxis der Coaching-Ausbildung von großem Nutzen sein.

Die Vorteile von Erfolgskontrollen innerhalb der Coaching-Ausbildungen liegen auf der Hand. Aus der Sicht potentieller Interessenten, welche sich zwischen verschiedenen kostenpflichtigen Coaching-Ausbildungsangeboten entscheiden müssen, stellt sich die Frage, ob sich die von ihnen getätigte Investition in die eigene Ausbildung lohnen wird. Qualitätskontrolle dient dadurch den unternehmerischen Interessen der Ausbildungsanbieter, die sich im Ausbildungsmarkt durch qualitativ hochwertige Ausbildungen von den Mitbewerbern absetzen können. Sie gehen durch die Zertifizierung auch eine gewisse Gewährleistungspflicht gegenüber ihren potentiellen Neumitgliedern ein und können im Zertifizierungsverfahren kontinuierlich die Einhaltung von Qualitätsstandards überwachen. Nicht zuletzt profitieren die letztendlichen Kunden der Coaching-Profession, die Coachees, die Wert darauf legen sollten, dass ihr Coach eine qualitativ hochwertige Ausbildung absolviert hat. Denn abgesehen von Empfehlungen anderer Coachees, ist die ohnehin schwer zu fassende Qualifikation der einzige prädiktive Marker für den Erfolg des Coachings.

3.1 Teilnahme an der Studie

Die Rücklaufquote der Befragung betrug 15,7 % (Abb. 1a). Betrachtet man online-basierte Verfahren generell, stellt diese Rücklaufquote einen eher unterdurchschnittlichen Wert dar, da hier Quoten von 20–47 % die Norm darstellen (Nulty 2008). Themenspezifisch schwankt dieser Wert allerdings stark. Die Literatur liefert auch Belege dafür, dass Umfragen mit niedrigen Rücklaufquoten akkuratere Messungen ergeben als Umfragen mit hoher Beteiligung (Visser et al. 1996).

Abb. 1
figure 1

Teilnahme an der Umfrage und Merkmale der Coaching-Ausbildungen. a Die 394 in die Studie eingeschlossenen Coaching-Ausbildungsteilnehmer wurden in 3 Gruppen unterteilt: die erste und größte Gruppe der Teilnehmer (graues Feld), beantwortete die Befragung nicht, in der zweiten Gruppe (weißes Feld) fanden sich die Teilnehmer, deren Datensätze ungültig beantowrtet wurden (bspw. durch Abbruch der Befragung), die dritte Gruppe (schwarzes Feld) stellte die Teilnehmer, welche die Befragung gültig beantwortete. Diese Datensätze wurden in der Studie analysiert. Die Balkendiagramme geben eine Übersicht über b die Anzahl der bisher von den Befragungsteilnehmern angebotenen Ausbildungen, c die Gruppenstärke dieser Ausbildungen sowie d die Struktur des Ausbildungsteams. Die Zahlen in den jeweiligen unterschiedlich gefärbten Feldern sowie über den Diagrammbalken entsprechen den Anzahlen der Befragungsteilnehmer

Full size image

Bezüglich der Rücklaufquote, gab es geringfügige Unterschiede zwischen den einzelnen deutschsprachigen Ländern. So lag die Rücklaufquote der in Schweiz, Liechtenstein und Österreich ansässigen Coaching-Ausbilder bei deutlich geringerer Fallzahl über der Rücklaufquote deutscher Ausbilder.

3.2 Allgemeine Merkmale der Coaching-Ausbildungen

Unter den Befragungsteilnehmern fand sich ein breites Spektrum an unterschiedlichen Erfahrungswerten auf dem Gebiet des Coaching-Ausbildungsmarktes. Wie in Abb. 1b dargestellt, hatte die größte Gruppe der Teilnehmer (20 von 62, also 32,3 %) bisher eine bis 10 Ausbildungen angeboten. Zusammengenommen (67,7 %) dominierten aber diejenigen, die 21–30 oder gar über 40 Coaching-Ausbildungen im Laufe der Jahre angeboten hatten. Dies lässt auf ein hohes Maß an Erfahrung und Professionalisierung im Bereich der Ausbildung zukünftiger Coaches schließen.

Da jedoch die durchschnittliche Dauer der von den Befragungsteilnehmern angebotenen Coaching-Ausbildungen im Rahmen der vorliegenden Studie nicht erfragt wurde, wurde unter den Teilnehmern nicht zwischen denjenigen differenziert, welche nach langen (1–2 Jahre) und kurzen Ausbildungskurricula einen Coaching-Abschluss verleihen.

Weiter wurde die Gruppenstärke der Coaching-Ausbildungen erfragt (Abb. 1c). Eine „mittlere“ Gruppengröße von 11–15 Teilnehmern schien unter den Befragungsteilnehmern (25 von 62, also 40,3 %) Standard zu sein. Eine „mittlere“ Teilnehmerzahl scheint demnach optimal, um entsprechende Interaktionen und Lernerfolge zu gewährleisten oder zumindest kosteneffiziente Ausbildungen anzubieten. Eine Gruppengröße von über 20 Teilnehmern wurde lediglich von 2 Ausbildungsanbietern angegeben.

Werden die Strukturen des Ausbildungsteams betrachtet (Abb. 1d), so gab die Mehrheit der Befragten an, die Ausbildung würde durch ein mehrköpfiges Team geleitet, wobei den größten Teil (25 von 62, also 40,3 %) davon einen verantwortlichen Ausbildungsleiter mit delegierbaren Dozententätigkeiten ausmacht. Im Verhältnis dazu gab ein geringerer Teil (11 von 62, entsprechend 17,7 %) der Befragungsteilnehmer den Ausbilder als Einzelperson an.

3.3 Evaluationen im Rahmen von Coaching-Ausbildungen

Wie in Abb. 2a dargestellt, nahmen an der Befragung mehrheitlich Coaching-Ausbilder teil, die Evaluationen durchführen. Diese stellten 57 von 62, also 91,9 % der Befragungsteilenehmer. Lediglich 5 Befragte (8,1 %) gaben an, keine Evaluationen durchzuführen. Angesichts des Zahlenverhältnisses von evaluierenden zu nicht-evaluierenden Befragungsteilnehmern ist zu erörtern, ob diejenigen Coaching-Ausbildungsanbieter, die keine Evaluationen durchführen, sich bereits im Vorfeld von der Umfrage nicht angesprochen gefühlt haben könnten. Die Hürde an der Befragung teilzunehmen, obwohl keine Evaluationen durchgeführt werden, wird als deutlich höher angenommen, so dass möglicherweise in Wirklichkeit eine schlechtere Ratio zwischen evaluierten und nicht-evaluierten Coaching-Ausbildungen besteht. Die Antworten der nicht-evaluierenden Untersuchungsteilnehmer gingen nicht in die hier beschriebene Analyse ein, sondern wurden separat betrachtet.

Abb. 2
figure 2

Evaluationen im Rahmen von Coaching-Ausbildungen. (a) Die 62 gültigen Fälle wurden in 2 Gruppen unterteilt, in Abhängigkeit davon, ob Evaluationen im Rahmen der angebotenen Coaching-Ausbildung stattfinden oder nicht. (b) Das Balkendiagramm ist eine Zusammenfassung der von den Ausbildungsanbietern angegebenen Evaluationszielen bzw. -zwecken. Mehrfachangaben, sowie die Angabe sonstiger, nicht aufgeführter Ziele/Zwecke im Feld für freie Texteingabe waren möglich (weitere), werden jedoch nicht im Detail ausgeführt. Die Zahlen in den jeweiligen unterschiedlich gefärbten Feldern sowie über den Diagrammbalken entsprechen den Anzahlen der Befragungsteilnehmer

Full size image

Als Gründe dafür, Evaluationen der Ausbildung nicht durchzuführen, wurde neben einem zu hohen Aufwand, fehlendem Nutzen oder keiner Notwendigkeit Evaluationen durchzuführen, auch fehlende Kenntnisse auf dem Gebiet der Evaluationsdurchführung angegeben. Ein Teilnehmer wies darauf hin, keine Kenntnisse auf dem Gebiet der Evaluation zu haben. Er könnte sich jedoch eine solche im Rahmen der von ihm angebotenen Coaching-Ausbildung durchaus vorstellen, sollte externe Unterstützung durch Experten angeboten werden. Es könnte daher im Interesse zertifizierender Coaching-Verbände liegen, den Ausbildern Unterstützung für die Durchführung von Evaluationen, bspw. durch entsprechende Leitfäden, zur Verfügung zu stellen, zumal 2 der nicht-evaluierenden Ausbilder angaben, Evaluationen möglicherweise doch durchführen zu wollen, wenn das die Voraussetzung für die Zertifizierung wäre. Darüber hinaus gaben auch nicht-evaluierende Ausbilder an, eine Evaluation potenziell durchzuführen, sollte es das Bedürfnis seitens der Ausbildungsteilnehmer geben. Drei der nicht-evaluierenden Ausbilder schrieben Ausbildungsevaluationen einen niedrigen Stellenwert zu. Auch hier könnte der Stellenwert von Evaluationen insbesondere seitens der Verbände betont und entsprechende Informationen zur Verfügung gestellt werden.

Der Stellenwert der Ausbildungsevaluationen wurde im Gegensatz dazu von evaluierenden Ausbildern überwiegend als wichtig bis sehr wichtig eingeschätzt. Dies gaben 44 der 57 (77,2 %) evaluierenden Studienteilnehmer an. Ein nur marginaler Teil (ca. 7 %) schrieb Evaluationen einen unbedeutenden bzw. völlig unbedeutenden Stellenwert zu (Daten nicht graphisch dargestellt).

Unterstrichen wird die Bedeutung der Evaluationen durch die mannigfaltigen Zielsetzungen, für welche sie von den Coaching-Ausbildern angewandt werden (Abb. 2b). Als wichtigster Evaluationszweck gilt den befragten Ausbildern die Erhebung der Teilnehmerzufriedenheit (47 von 57, also 82,5 %), gefolgt von Erfolgskontrollen der Ausbildungsmaßnahme (42 von 57, also 73,7 %) und einzelner Ausbildungsmethoden oder -seminare (angegeben durch 38 Teilnehmer, also 66,7 %). Zu den am seltensten genannten Evaluationszielen bzw. -zwecken gehörte die Rechenschaftslegung über die Ausbildung gegenüber dem zertifizierenden Verband (11 von 57, 19,3 %). Hier ist zu vermuten, dass Coaching-Verbände, welche sich zunehmend um Qualitätssicherung und Wissenschaftlichkeit bemühen, Evaluationen vermehrt als eine der Voraussetzungen für die Zertifizierung einfordern könnten, um eine Verbreitung zu unterstützen.

3.4 Anwendung von Evaluationsmodellen und -konzepten

Im Allgemeinen lässt sich sagen, dass Evaluationsmodelle für den allgemeinen Bildungsbereich sowie solche, die für den Coaching-Sektor entwickelt wurden, unter den Teilnehmenden bekannt sind und bei Coaching-Ausbildungen zum Einsatz kommen (Tabelle S2 im Online-Zusatzmaterial). Darüber hinaus haben einige Coaching-Ausbildungsinstitutionen (17,5 %) entweder intern oder in Kooperation mit Hochschulen eigene Evaluationsmodelle entwickelt. Die Mehrheit (45,6 %) wendet für Evaluationen der eigens angebotenen Coaching-Ausbildung nur ein Modell an. Hier sind Evaluationsmodelle nach Kirkpatrick oder nach Rauen führend. Sechs Teilnehmer (10,5 %) gaben an, dass dem von ihnen angewandten Evaluationsmodell sogar eine Kombination mehrerer gängiger Modelle zugrunde liegt. Beachtenswert ist jedoch der Umstand, dass fast die Hälfte der evaluierenden Befragungsteilnehmer (43,9 %) keine Angaben zu den von ihnen angewandten Evaluationsmodellen getätigt hatte. Auch wurden die DeGEval-Evaluationsstandards von keinem der Teilnehmer als für ihre Evaluationen relevante Referenz betrachtet. Dies wirft die Frage auf, ob die DeGEval-Standards bislang nicht ausreichende Verbreitung gefunden haben oder hinsichtlich ihrer Anwendbarkeit im Bereich der Coaching-Ausbildungen beschränkt sind. Gründe hierfür könnten mangelnde Anwendbarkeit, die Überschneidungen zwischen etlichen Standards und eingeschränkte Verfügbarkeit entsprechender Materialien sein.

3.5 Zeitpunkte bzw. Anlässe von Evaluationen

Wie aus den Datensätzen hervorging, werden Evaluationen in den meisten Fällen (44 von 57, also 77,2 %) am Ende der gesamten Coaching-Ausbildung durchgeführt (Abb. 3a). 54,4 % (31 von 57) Coaching-Ausbilder gab an, auch die einzelnen Seminare und Themenblöcke zu evaluieren. 47,4 % der befragten Ausbilder nannte neben einer Evaluation am Ende der gesamten Ausbildung mindestens noch einen weiteren Evaluationsanlass (wird im Artikel nicht grafisch gezeigt). Allerdings führt nur ein geringer Teil der Befragungsteilnehmer (8,8 %) Evaluationen zu mehr als 2 Anlässen durch, z. B. als zeitversetztes Follow-Up zur Ausbildung (Daten nicht graphisch dargestellt).

Abb. 3
figure 3

Praktische Durchführung von Evaluationen. (a) Angaben zum Zeitpunkt der Evaluationsdurchführung. (b) Angaben zur Durchführung von Meta-Evaluationen. (c) Auftraggeber der Evaluationen. (d) Angaben zu den Evaluationsverantwortlichen je nach interner oder externer Beauftragung. Die Zahlen über den jeweiligen unterschiedlich gefärbten Balken sind die entsprechenden Anzahlen der Befragungsteilnehmer. Mehrfachangaben waren bei (a) und (c) möglich. Die Zahlen über den jeweiligen unterschiedlich gefärbten Diagrammbalken und innerhalb der unterschiedlich gefärbten Felder in den Kreisdiagrammen entsprechen den Anzahlen der Befragungsteilnehmer

Full size image

3.6 Durchführung von Meta-Evaluationen

Fast die Hälfte (24 von 57, also 41,2 %) der befragten Coaching-Ausbilder gab an, Meta-Evaluationen durchzuführen (Abb. 3b). Die Erstellung von Meta-Evaluationen ist aufwendig und erfordert entsprechende Kenntnisse seitens der Evaluatoren. Meta-Evaluationen durchzuführen ergibt größere Erkenntnisgewinne, wenn Evaluationen bereits im Vorfeld regelmäßig durchgeführt wurden und miteinander verglichen werden können. Eine Meta-Evaluation kann aber auch dazu dienen, den Standard und die Qualität einer Evaluation bereits in der Planungsphase abzusichern. Der Umstand, dass viele der befragten Ausbilder Meta-Evaluationen durchführen, legt nahe, dass die Anwendung von Meta-Evaluationen einen längerfristigen Nutzen für die Ausbilder mit sich bringt und den Aufwand rechtfertigt.

3.7 Auftraggeber der Evaluationen

Auftraggeber der Evaluationen von Coaching-Ausbildungen sind in den meisten Fällen (48 von 57, also 84,2 %) die Weiterbildungsbeauftragten bzw. die Ausbildungsinstitution selbst (Abb. 3c). Ein kleiner Teil der Befragungsteilnehmer (6 von 57, also 10,5 %) gab Ausbildungsteilnehmer als diejenigen an, die Evaluationen der Ausbildung in Auftrag geben. Unerwarteter Weise nannte keiner der Coaching-Ausbilder einen Geschäftskunden als Auftraggeber der von ihm durchgeführten Evaluationen. Dabei ließe sich vermuten, dass falls eine Coaching-Ausbildung von einem Geschäftskunden in Auftrag gegeben wurde, dieser ebenfalls ein Interesse an einer Evaluation der von ihm finanzierten Veranstaltung haben könnte. Die meisten befragten Ausbilder (35 von 57, also 64,9 %) nannten einen Auftraggeber der Evaluation. Fast ein Drittel nannte jedoch 2–3 Auftraggeber. Darunter fanden sich am häufigsten die Weiterbildungsbeauftragten in Kombination mit dem zertifizierenden Coaching-Verband (Daten nicht in Abbildung gezeigt).

3.8 Evaluationsverantwortliche

Wie in Abb. 3d dargestellt, werden Evaluationen der hier betrachteten Coaching-Ausbildungen intern durchgeführt, wobei mit Abstand am häufigsten der Ausbildungsleiter selbst als Evaluator fungiert. Nur 4 (7 %) der Befragten geben an, einen externen Evaluator für die Evaluationsdurchführung einzusetzen. Daraus folgt, dass die Coaching-Ausbilder offenbar über hinreichende Evaluationskompetenzen verfügen und wissen, wie sie ihre eigenen Evaluationszwecke verfolgen können. Es scheint also, dass die Vorteile der internen Evaluation (Praxisnähe, Aufwand, Kosten) die Vorteile externer Evaluation in Coaching-Ausbildungen überwiegen. Zu überlegen wäre, ob die zertifizierenden Coaching-Verbände gegebenenfalls externe, professionelle Evaluatoren bereitstellen könnten, um die Aussagekraft der Evaluationen weiter zu erhöhen.

3.9 Methoden der Datenerhebung in Evaluationen

Wenn man betrachtet, auf welcher Datengrundlage die Evaluationen vorgenommen werden, wird deutlich, dass hauptsächlich die Bewertungen der Ausbildungsteilnehmer (96,5 %, also bei 55 von 57) in die Evaluationen eingehen (Abb. 4a). Nachgeordneter Bedeutung sind die Bewertungen durch die Dozenten (25 von 57, also 43,9 %) und der Ausbildungsleitung (10 von 57, also 17,5 %). Von den befragten Coaching-Ausbildern bezogen lediglich 15,8 % die Bewertungen aller an der Ausbildung beteiligten Personengruppen, also 3, in die Evaluation ein (Abb. 4b).

Abb. 4
figure 4

An der Datenerhebung beteiligte Personengruppen, Zugang zum Evaluationsbericht und Umsetzung der Evaluationsergebnisse. (a) Das Balkendiagramm zeigt die unterschiedlichen Personengruppen, welche von den Coaching-Ausbildungsanbietern um eine Bewertung, die in die Evaluation der Ausbildung einfließt, gebeten werden. (b) Das Kreisdiagramm zeigt die Anzahlen der bei (a) angegebenen Personengruppen, deren Bewertung in die Evaluationsergebnisse einfließt. (c) Übersicht der Personengruppen mit Zugang bzw. der Art des Zugangs zum Evaluationsbericht. (d) Übersicht über die Umsetzung der Evaluationsergebnisse. Die Zahlen über den jeweiligen unterschiedlich gefärbten Balken bzw. Feldern im Kreisdiagramm (c) entsprechen den Anzahlen der Befragungsteilnehmer. Mehrfachantworten waren bei (a)–(d) möglich

Full size image

Eine große Methodenvielfalt kommt bei der Erhebung der Bewertungen der Ausbildungsteilnehmer zum Einsatz (Tabelle S3 im Online-Zusatzmaterial). Eine freie Feedbackrunde ist das gängigste Verfahren (74,5 %), gefolgt von Papier-Fragebögen (69,1 %) und Abschlusspräsentationen (49,1 %). Kleingruppenarbeit (30,9 %), Online-Fragebögen (21,8 %) und Interviews (20 %) kommen hingegen seltener zu Einsatz. Immerhin 14,5 % der Befragten nehmen Prä‑/Postmessungen bei Ausbildungs-Absolventen vor, für welche ein hoher Erkenntnisgewinn bei zugleich hohem Aufwand angenommen werden muss. Auch die Kombination verschiedener Erhebungsmethoden ist durchaus gängig, denn über drei Viertel (83,6 %) der befragten Ausbilder wandten 2 oder mehr Verfahren an.

Auch zur Erhebung der Bewertungen bei den Ausbildungs-Dozenten (Tabelle S4 im Online-Zusatzmaterial) kommt mit noch deutlicherem Abstand vorrangig die freie Feedbackrunde (84 %), mutmaßlich innerhalb eines Ausbildungsgremiums zum Einsatz. Untergeordnete Bedeutungen haben Fragebögen (22,8 %) und Interviews (24 %), wobei auch hier analog zur Befragung der Ausbildungsteilnehmer in mehr als der Hälfte (56 %) 2 oder mehr Verfahren zum Einsatz kommen.

Als bedeutendste Methode zur Erfolgskontrolle, zur Erhebung der Teilnehmerzufriedenheit und der Bewertung der Ausbildung durch die Dozenten kann also die freie Feedbackrunde angenommen werden, (Tabelle S3 im Online-Zusatzmaterial). Wie in Abb. 5a graphisch dargestellt, findet diese laut dem Großteil (86 %) der befragten Coaching-Ausbilder unter Moderation statt und wird in mehr als der Hälfte (58,1 %) der Fälle dokumentiert. Zuvor vereinbarte Feedback-Regeln kommen in etwas weniger als der Hälfte der Fälle (44 %) zum Einsatz. Angaben zur Gruppengröße wurden von rund einem Viertel (25,6 %) der befragten Ausbilder gemacht und betrugen in diesem Fall unter 15 Teilnehmer der Feedbackrunde.

Abb. 5
figure 5

Evaluationsdurchführung: Merkmale von Feedbackrunden und Interviews sowie durchschnittliche Rücklaufquote bei Evaluationsdurchführung. Die Balkendiagramme fassen die von den Befragungsteilnehmern angegebenen Merkmale von Feedbackrunden (a) und Interviews (b) dar sowie eine von den Ausbildern geschätzte Rücklaufquote bei Evaluationsdurchführung (c) dar. Die Zahlen über den jeweiligen unterschiedlich gefärbten Balken entsprechen den Anzahlen der Befragungsteilnehmer. Mehrfachantworten waren bei (a) und (b) möglich

Full size image

Ein Vorteil der Feedbackrunde liegt in der Unmittelbarkeit der erhaltenen Bewertungen und bietet den Ausbildungsteilnehmern sogleich die Möglichkeit im Rahmen der Coaching-Ausbildung erworbene Fertigkeiten zum Einsatz zu bringen. Zudem sichern Feedbackrunden maximale Rücklaufquoten. Nachteilig ist sicherlich die mangelnde Standardisierbarkeit, insbesondere wenn Dokumentation und regelgeleitetes Vorgehen fehlen. Ob in diesen Fällen von einer guten Nutzbarkeit des Teilnehmerfeedbacks über die Feedbackrunde hinaus ausgegangen werden kann, bleibt unklar.

Betrachtet man Fragebogen-basierte Evaluationen, so sieht man an den Ergebnissen, welche in Tabelle S3 im Online-Zusatzmaterial zusammengefasst wurden, dass der Papier-Fragebogen (69,1 %) im Vergleich zum Online-basierten Verfahren (21,8 %) die gängigere Methode ist, Beurteilungen bei Seminarteilnehmern einzuholen. Dies könnte an den besseren Rücklaufquoten von Papier-Fragebögen liegen. Von den Befragten wurden überwiegend (59,2 %) Rücklaufquoten von über 80 % bei Fragebogen-basierten Evaluationsverfahren angegeben (Abb. 5b). Da im Sinne eines systematischen Fehlers des Studiendesigns versäumt wurde, getrennte Rücklaufquoten für Papier- und Online-basierte Fragebögen zu erfassen, wird gemutmaßt, dass dieser hohe Wert im Großen auf die Papier-Fragebögen zurückgeht. Diese Annahme wird gestützt durch meta-analytische Daten zum Vergleich der Rücklaufquoten von Papier- und Online-Fragebögen, den zu Folge die Rücklaufquoten für Papier-Fragebögen bei ca. 33–75 % und für Online-Fragebögen bei ca. 20–47 % liegen (Nulty 2008).

Ein Nachteil des Papier-Fragebogens stellt die händische Übertragung der Daten in eine geeignete Übersichtsform dar. Dieser wird jedoch in Kauf genommen, da u. a. die Verarbeitung online generierter Daten ebenfalls Kenntnisse verschiedener Datenverarbeitungsprogramme voraussetzt.

Wie bereits oben geschrieben, kommen Interviews nur selten als Datenerhebungsmethode zum Einsatz. Nur ein Fünftel der Ausbildungsanbieter führt Interviews bei Seminarteilnehmern durch, ca. ein Viertel – bei Dozenten. Davon führen die meisten (63,6 %) ein persönliches Interview durch, welches in dem meisten Fällen (72,7 %) durch einen Leitfaden gestützt wird (Abb. 5c). Zu vermerken ist, dass nur bei 5 von 11 Befragten (45,5 %), bei denen das Interview zum Einsatz kommt, eine Dokumentation stattfindet. Telefonische Interviews werden weitaus seltener vorgenommen (27,3 %). Ein Vorteil des telefonischen Interviews könnte die Möglichkeit sein, zeitversetzte Erhebungen („follow-up“) zur Ausbildung durchzuführen, während „face to face“ Interviews im Normalfall stattfinden, solange die Ausbildungsteilnehmer noch vor Ort sind. Beachtenswert ist auch der Umstand, dass 63,6 % der Coaching-Ausbilder die gesamte Gruppe der Ausbildungsteilnehmer interviewen, während 27,3 % nur eine Stichprobe befragt (Abb. 5c).

Es bleibt zu vermuten, dass der Kostenfaktor von Ausbildungsevaluationen abträglich auf die Durchführung von professionellen Evaluationen im Allgemeinen und dadurch auch auf die Auswahl der Methoden wirkt. Allerdings kann nicht mit Sicherheit postuliert werden, ob eine wesentliche Veränderung der Evaluationspraxis im Sinne einer Professionalisierung den Nutzen auf Seiten der kostentragenden Coaching-Ausbilder angemessen erhöhen würde.

3.10 Analyse der hochgeladenen Dokumente

Die Möglichkeit Dateien hochzuladen, um tiefere Einblicke in die Evaluationspraxis zu gewähren, wurde von ca. 19,3 % wahrgenommen, so dass letztendlich 11 Fragebögen (Tabelle S5 im Online-Zusatzmaterial), 2 Evaluationspläne und 4 Evaluationsberichte vorlagen. Diese geringe Dokumentenzahl (verglichen mit der Anzahl der Befragungsteilnehmer) kann durch zusätzlichen Aufwand und datenschutzrechtliche Bedenken erklärt werden. Verallgemeinerbare Aussagen über Evaluationspläne, -Berichte, -Fragebögen oder -Interviewleitfäden können daher nicht gemacht werden. Untersuchte strukturelle Merkmale der Fragbögen waren Fragenzahl und Fragentypus (offen vs. geschlossen, diskret vs. dimensional). Die Anzahl der Fragen variiert sehr stark (zwischen 9 und 220 Fragen). Durchschnittlich wurden im Rahmen der Evaluation ca. 24 Fragen (Median) gestellt, für welche überwiegend dimensionale Antwortmöglichkeiten vorgegeben waren. In allen Fällen wurden die Themenbereiche Lehrinhalt/‑umfang/‑material, Lehrpersonal, und die Atmosphäre bzw. die Gruppendynamik erfragt. In 90,9 % wurden darüber hinaus der Gesamteindruck/-zufriedenheit der Teilnehmer und Praxisbezug der Ausbildung seitens der Coaching-Ausbilder untersucht. In einigen wenigen Fällen war zudem der Lernerfolg der Teilnehmer oder die Organisation der Ausbildung von Bedeutung. Ebenfalls wurde in wenigen Fällen erfragt, wie die Teilnehmer das Preis/Leistungsverhältnis der Ausbildung einschätzen und ob sie die Ausbildung bzw. die Ausbildungsinstitution weiterempfehlen würden.

3.11 Berichtlegung im Rahmen von Evaluationen

Über 80 % der Coaching-Ausbilder gab an, einen Evaluationsbericht anzufertigen (Daten nicht graphisch dargestellt), was dafür spricht, dass dieses Ergebnis die Norm unter den Coaching-Ausbildungsanbietern widerspiegelt. Zu vermerken ist, dass der Bericht mehrheitlich (35 von 57, also 61,4 %) an die an der Ausbildung beteiligten Dozenten bzw. den Ausbildungsbeauftragten weitergegeben wird (Abb. 3c). Betrachtet man die möglichen Konsequenzen der Evaluationen, welche von den meisten Befragungsteilnehmern genannt wurden, also direkte Veränderungen an den Ausbildungscurricula, an den Lehrmethoden bzw. am Ausbildungsteam, stellt der Evaluationsbericht ein direktes Feedback zu den Tätigkeiten der Lehrbeauftragten dar. Fast 60 % der Befragten gab noch mindestens eine weitere Personengruppe an, welcher der Zugang zum Evaluationsbericht gewährt würde (Daten nicht graphisch dargestellt). Diese Tatsache spiegelt durchaus wieder, dass sich die Anbieter um Transparenz bemühen. Dass der Evaluationsbericht allgemein zugänglich gemacht werden würde, bspw. über eine Veröffentlichung in einer Fachzeitschrift oder Website, gaben lediglich ca. 10 % der Befragten an (Daten nicht graphisch dargestellt). Dabei könnte ein allgemein einsehbarer Evaluationsbericht die Qualität einer Coaching-Ausbildung unterstreichen und das Interesse potenzieller Auszubildender bzw. Kunden erhöhen. Neben der Website des Ausbildungsanbieters wäre die Website der zertifizierenden Verbände als mögliche Plattform zur Veröffentlichung der Evaluationsberichte denkbar. Dies würde nicht zuletzt das Interesse und die Motivation der Ausbilder an Evaluationen incl. eines Evaluationsberichtes und somit auch die Nützlichkeit der Maßnahme erhöhen.

Den Ausbildungsteilnehmern den auf Basis ihrer Bewertungen angefertigten Evaluationsbericht zur Verfügung zu stellen, wird allerdings nur von ca. 21 % (12 von 57) der Coaching-Ausbilder umgesetzt. Die Informationsbedarfe der Ausbildungsteilnehmer werden demnach von der Mehrheit der Ausbilder als vernachlässigbar eingeschätzt.

3.12 Umsetzung der Evaluationsergebnisse

Nahezu sämtliche der befragten Coaching-Ausbilder gaben an, die mittels der Evaluationen gewonnen Erkenntnisse auch umzusetzen (Abb. 3d). Bei 89 % der Coaching-Ausbilder (51 von 57) wird durch Veränderungen an Lehrplan oder Ausbildungs-Curriculum auf die Schlussfolgerungen aus den Evaluationen reagiert. Ca. 84 % (48 von 57) nimmt Veränderungen der Ausbildungsstruktur, wie z. B. der Dauer der Stundenblöcke, der Gruppengröße bzw. des Praxisanteils vor. Auch scheinen 64 % der verantwortlichen Ausbilder (37 von 57) personelle Konsequenzen bei den eingesetzten Dozenten in Abhängigkeit von der Teilnehmerzufriedenheit zu erwägen. Immerhin 59 % (34 von 57) setzen nachfolgend Änderungen an der technischen oder räumlichen Ausstattung um. Diese Zahlen verdeutlichen den großen Einfluss der Ausbildungs-Evaluationen auf sämtliche relevante Ausbildungsaspekte und die multilateralen Vorteile, welche aus der Durchführung qualitativ hochwertiger Evaluationen gezogen werden können.

4 Fazit

Die Studie zur Evaluationspraxis in Coaching-Ausbildungen des deutschen Sprachraums erfasste in deskriptiver Weise einzelne strukturelle Merkmale von Coaching-Ausbildungssettings und der stattfindenden Ausbildungsevaluationen. Es konnte gezeigt werden, dass nahezu sämtliche der befragten Coaching-Ausbilder Evaluationen durchführen und die dadurch gewonnenen Ergebnisse in die strukturellen und inhaltlichen Verbesserungen der Ausbildungssituationen einfließen lassen. Analog dazu wird den Evaluationen seitens der Ausbilder ein bedeutender Stellenwert beigemessen, was sich auch an einer Reihe unterschiedlicher Zielsetzungen der Evaluationen zeigt.

Den Evaluationen liegen in der Mehrzahl die Bewertungen der Ausbildungsteilnehmer nach einzelnen Ausbildungsmodulen oder zum Abschluss der Ausbildung zu Grunde. Zu bemängeln ist allerdings der Umstand, dass die Seminarteilnehmer nur in einem geringen Maße Zugang zur Berichtlegung über die Evaluationen erhalten und dadurch im Großen und Ganzen von der Teilnahme an der Evaluation nicht profitieren können.

Zur Erhebung der Bewertungen der Ausbildungsteilnehmer kommt ein breites Spektrum an Methoden zum Einsatz. Unter den Methoden führend sind freies Feedback und Fragebögen in Papierform, für die jeweils ein unterschiedliches Profil im Grad der Erfüllung der DeGEval-Standards besteht, was so gesehen zu Ungunsten des freien Feedbacks ausfällt.

Allem Anschein nach fanden die Standards kaum Verbreitung unter Evaluatoren der Coaching-Ausbildungen. Innerhalb der Standards liegen zwar inhaltliche Überschneidungen und Unschärfen sowie inverse Korrelationen einiger einzelner Standards, diese erweisen sich jedoch nach Ansicht der Autorin als geeignete Leitgedanken zur Durchführung von Evaluationen in Coaching-Ausbildungen.

Die vorliegende Arbeit ergänzt durch den neuartigen und flächendeckenden Ansatz Studien der Vergangenheit, welche sich auf weitere differenzierte Qualitätsaspekte der stattfindenden Coaching-Ausbildungen konzentrierten, wie z. B. wissenschaftliche Grundlagen oder Lehrmethoden.