1 Einleitung

In den vergangenen Jahren haben das informelle Lernen und die damit verbundenen Möglichkeiten der Anerkennung und Validierung dieser Bildungsleistung zunehmend an Bedeutung gewonnen. Im europäischen Kontext wurde diese Entwicklung spätestens mit dem Memorandum für Lebenslanges Lernen (Kommission der Europäischen Gemeinschaften 2000) angestoßen und führte europaweit zu Bestrebungen, die außerhalb des schulischen Kontextes erworbenen Kompetenzen sichtbar zu machen (z. B. Bjørnåvold 2001; Cedefop 2009; Erpenbeck et al. 2017). Auch aus wissenschaftlicher Sicht nahm das Interesse an Kompetenzbilanzierungs- und Validierungsverfahren zu (z. B. Geldermann et al. 2009; Dehnbostel 2011; Bohlinger und Münchhausen 2012; Annen 2012). Während im EU-Raum die Bilanzierung und Validierung von informellen Lernleistungen entsprechend vonseiten der Bildungspolitik und der Wissenschaft initiiert und vorangetrieben wurden, waren es in der Schweiz Organisationen der Zivilgesellschaft und die Berufsverbände, die sich für die Interessen ihrer Mitglieder einsetzten und wesentlich zur Entwicklung von Validierungsverfahren beitrugen. Diese Organisationen und Verbände erarbeiteten seit den 1950er Jahren in Zusammenarbeit mit Bund und Kantonen Verfahren, um ausbildungslosen, erfahrenen Berufsleuten den Zugang zu einem formalen Bildungsabschluss zu ermöglichen (Schmid 2018). Vor diesem Hintergrund ist auch das Validierungsverfahren in der Erwachsenenbildung zu verstehen. Im Jahr 2001 wurde der erste Titel „Erwachsenenbildner/in“ auf der Basis eines Kompetenzbilanzierungsverfahrens vergeben (Salini 2014). Seither wurde das Verfahren kontinuierlich den jeweiligen Anforderungen angepasst und ist zwischenzeitlich breit akzeptiert. Keine Beachtung kam bislang aus wissenschaftlicher Perspektive den Beurteilungsinstrumenten und der Frage zu, ob diese Instrumente den klassischen Gütekriterien genügen und objektiv, valide und reliabel sind und beglaubigen können, dass die jeweiligen Kandidatinnen und Kandidaten über hinreichende Kompetenzen für eine Tätigkeit in der Erwachsenenbildung verfügen. Ein Forschungsprojekt der Pädagogischen Hochschule der Fachhochschule Nordwestschweiz (PH FHNW) ist diesem Gesichtspunkt nachgegangen und hat überprüft, wie und nach welchen Kriterien die Kompetenzen der Erwachsenenbildnerinnen und -bildner beurteilt und bewertetFootnote 1 werden und welche Aspekte in diesen Beurteilungen besonders hervorgehoben und zur Legitimation der Bewertung verwendet werden. Der nachfolgende Bericht erörtert zunächst das Gleichwertigkeitsbeurteilungsverfahren (GWB-Verfahren) in der Erwachsenenbildung und setzt es in Bezug zum aktuellen Wissensstand von Validierungsinstrumenten und -prozessen (2), legt die spezifischen Herausforderungen für die Beurteilung und Bewertung im Rahmen dieses Verfahrens dar (3), expliziert die Forschungsmethode (4) und geht daran anschließend mithilfe der Analysefolie der drei Gütekriterien auf inhaltliche Aspekte der Beurteilung und Bewertung ein (5–7). Der Bericht schließt mit einem Fazit (8), das eine Abkehr von den klassischen Gütekriterien anregt und stattdessen für die Etablierung validierungsspezifischer Qualitätskriterien plädiert, die für die künftige Konzeption von qualitativen Verfahren zur Zertifizierung informell erworbener Kompetenzen zur Anwendung kommen könnten.

2 Das Validierungsverfahren in der Erwachsenenbildung

Anders als in Deutschland vollzieht sich die Professionalisierung der Erwachsenenbildung in der Schweiz als Verberuflichung, d. h. angehende Erwachsenenbildnerinnen und -bildner absolvieren kein akademisches Studium, sondern besuchen Weiterbildungsveranstaltungen, um eine formelle Berechtigung als Dozierende bzw. als Dozierender in der Erwachsenenbildung zu erwerben. Dabei sind verschiedene Abschlüsse bzw. Qualifizierungsstufen möglich, die jeweils modular aufeinander aufbauen: Elementar ist das SVEB-Zertifikat, das vom Schweizerischen Verband für Weiterbildung (SVEB) ausgestellt wird und grundlegende didaktische Kompetenzen in der Gestaltung von Lehr-Lernsettings mit Erwachsenen nachweist. Das SVEB-Zertifikat gilt bei den meisten Weiterbildungsanbietern als Mindestvoraussetzung für eine Lehrtätigkeit in der Erwachsenenbildung und wird auch von nebenberuflich oder mit einem geringen Umfang in der Weiterbildung tätigen Personen eingefordert. Mit dem Besuch von weiteren vier Weiterbildungsmodulen kann der Fachausweis „AusbildnerIn“ erworben werden. Er qualifiziert für eine hauptberufliche Tätigkeit insbesondere in disponierenden Funktionen in Institutionen der Erwachsenenbildung. Das Diplom „AusbildungsleiterIn“ schließlich ermöglicht die Übernahme von Leitungsfunktionen in der Bildungsarbeit mit ErwachsenenFootnote 2.

Die drei anerkannten BildungsabschlüsseFootnote 3 können auf regulärem Qualifizierungsweg durch das Absolvieren von Weiterbildungsveranstaltungen erworben werden. Für bereits erfahrene Erwachsenenbildnerinnen und -bildner besteht aber auch die Möglichkeit, ihre Kompetenzen, Fähigkeiten und Fertigkeiten, die sie im Rahmen ihrer Tätigkeiten, in individuellen Aus- und Weiterbildungen oder auch im Selbststudium entwickelt haben, über ein Validierungsverfahren zertifizieren zu lassen. Beide Qualifizierungswege führen im Falle des Fachausweises und des Diploms zu eidgenössisch anerkannten Abschlüssen. Grundlage dafür bildet das Berufsbildungsgesetz (BBG 2002), das diese beiden Qualifizierungen in der Höheren Berufsbildung (Tertiär B) verortet und Validierungsverfahren als eine Form der Berufsprüfung explizit zulässt. Entsprechend handelt es sich beim Validierungsverfahren für diese beiden Abschlüsse um das Konvergenzprinzip (Laur-Ernst 2003) bzw. um einen integrativen Bildungstypus (Schneeberger et al. 2009), wonach informell erworbene Kompetenzen an anerkannten Qualifikationsstandards gemessen und als gleichwertig eingestuft werden. Bei Erfüllung der festgelegten Anforderungen erhalten die Kandidatinnen und Kandidaten ein entsprechendes Zertifikat, und zwar losgelöst davon, wo und auf welche Art und Weise die geforderten Kompetenzen erworben wurden. Das SVEB-Zertifikat hat dagegen keine gesetzliche Grundlage. Es ist jedoch als Verbandszertifikat in der Praxis breit anerkannt und kann ebenfalls über ein Validierungsverfahren erworben werden. Voraussetzung für die Akzeptanz eines solchen Verfahrens ist der Einbezug aller relevanter Akteure aus Bildung, Politik und der Arbeitswelt (Geldermann et al. 2009; Cedefop 2009). Laur-Ernst (2003) spricht in diesem Zusammenhang vom Parallelitätsprinzip, während Schneeberger et al. (2009) die Bezeichnung „autonomer Typus“ verwenden. Diese Form der Validierung betont die Eigenständigkeit informell erworbener Kompetenzen und setzt auf spezielle Verfahren zu ihrer Identifizierung und Bewertung abgekoppelt vom formalen Bildungssystem. Dadurch entfallen die qualitativen Restriktionen formalisierter staatlicher Standards.

Grundsätzlich können informell und non-formal erworbene Kompetenzen auf unterschiedliche Art und Weise sichtbar gemacht und validiert werden. Zunächst gilt es zu unterscheiden zwischen quantitativen und qualitativen Verfahren. Bei quantitativen bzw. objektiven Verfahren wird davon ausgegangen, dass sich Kompetenzen ähnlich wie naturwissenschaftliche Größen definieren und messen lassen (Erpenbeck et al. 2017). Bei dieser Beurteilungsform werden strukturierte, hochstandardisierte Vorgehensweisen mit kleinem Handlungs- bzw. Antwortspielraum verwendet mit dem Ziel, möglichst exakte Erklärungen für die jeweiligen Kompetenzen herzuleiten. Als Methode eingesetzt werden Tests mit vorgegebenen, geschlossenen Antwortmöglichkeiten (Strauch et al. 2009). Qualitativen Verfahren liegt dagegen die Annahme zugrunde, dass Objektivität für human- und sozialwissenschaftliche Variablen prinzipiell nicht erreichbar ist. Diese Verfahren streben deshalb eine Einschätzung und Beschreibung der Kompetenzen an. Die Kompetenzen werden möglichst ganzheitlich mithilfe von flexiblen und offenen Verfahren erfasst. Die Lebenswelt und die Biografie des Einzelnen stehen im Mittelpunkt. Eine weitere Unterscheidung kann zwischen Selbst- und Fremdbeurteilungen gemacht werden. Selbsteinschätzungen sind stark subjektiv geprägt und werden vor allem für die Sichtbarmachung und Reflexion der eigenen Kompetenzen gebraucht. Typische Verfahren sind die biografische Methode, die Portfolio-Methode sowie die deklarative Methode. Die Kandidatinnen und Kandidaten äußern sich dabei zu ihrem belegbaren Lernen, in dem sie anhand von vorgegebenen Kriterien einen Text verfassen, ihre Kompetenzen beschreiben und plausibilisieren. Bei Fremdeinschätzungen hingegen wird eine Person durch eine oder mehrere Personen beurteilt. Dabei ist die beurteilende Person auf Sichtbares bzw. auf Auskünfte der einzuschätzenden Person angewiesen. Typische Fremdbeurteilungen sind Verfahren wie Tests, Assessments, Beobachtungen, Arbeitsproben und Interviews (Annen und Bretschneider 2014; Dehnbostel 2011).

Um in der Schweiz in der Erwachsenenbildung ein Zertifikat über das GWB-Verfahren zu erhalten, müssen die Antragstellenden nebst einem aussagekräftigen Lebenslauf und dem Nachweis einer Mindestzahl an Praxisstunden eine Selbstbeurteilung basierend auf verbindlichen Kompetenzprofilen verfassen und darin darlegen, wo und wie sie die erwachsenenbildnerischen Fähigkeiten und Fertigkeiten erworben haben. Die Antragstellenden werden vom SVEB aufgefordert, in ihrer Selbstbeurteilung von den festgelegten Kompetenzanforderungen auszugehen und dazu Praxisbeispiele, Reflexionen sowie Ressourcen zu dokumentieren. Betont wird darin die Wichtigkeit aussagekräftiger Nachweisdokumente, mithilfe derer die Selbstbeurteilung ergänzt werden muss, um die beschriebenen Kompetenzen zu plausibilisieren. Dazu zählen Diplome, Kursbestätigungen, Arbeitszeugnisse, Kursevaluationen, Arbeitsproben etc. Das GWB-Verfahren ist somit den qualitativen Selbstbeurteilungen zuzuordnen, das jedoch durch die Erbringung von Nachweisdokumenten Aspekte einer Fremdbeurteilung enthält. Es kommt dem Portfolio-Verfahren am nächsten, hat aber einen summativen Charakter, wogegen Portfolios insbesondere in den Volksschulen eher formativ ausgerichtet sind (Elsholz und Rohs 2014).

3 Herausforderungen an das Bewertungsinstrument

Ausgangspunkt bei der Bewertung der eingereichten Selbstbeurteilungen durch Expertinnen und Experten ist das Kompetenzprofil, das eine Rahmung im Sinne einer kriterialen bzw. fachlichen Bezugsnorm vornimmt (Sacher 2011). Es gibt vom SVEB keine Leitlinien darüber, welche und wie viele der aufgeführten Kompetenzen, Ressourcen und Haltungen zwingend nachgewiesen werden müssen. Auch wird auf den Einsatz typischer Bewertungsraster verzichtet, die eine Unterteilung der eingereichten Dossiers in Analyseeinheiten mit daran orientierten spezifischen Beurteilungskriterien und skalierten Ausprägungsgraden vorsehen (Keller 2011; Sacher 2014; Winter 2012). So zählt letztlich nur die Alternativentscheidung (Rheinberg 2014) „bestanden/nicht bestanden“, die sich aber nicht auf einzelne Kompetenzen, sondern auf das Dossier als Ganzes bezieht. Für die Expertinnen und Experten besteht dadurch die Gefahr, dass sie sich in ihrer Beurteilung und Bewertung vom Gesamteindruck steuern lassen, der sich nach einer ersten, oberflächlichen Durchsicht unkontrolliert einschleichen und zu subjektiven Einschätzungen führen kann. Diese Gefahr ist durch die Heterogenität der eingereichten Dossiers besonders hoch. Expertinnen und Experten müssen u. a. deshalb ausgebildete und berufserfahrene Erwachsenenbildnerinnen und -bildner sein. Sie müssen zudem an regelmäßig stattfindenden Weiterbildungen teilnehmen.

Anstatt ausgeklügelte Bewertungsinstrumente zur Verfügung zu stellen, verlangt der SVEB von seinen Expertinnen und Experten, dass sie zur Beurteilung und Bewertung der eingereichten Anträge ein schriftliches Gutachten verfassen, das einerseits auf die Individualität der einzelnen Gesuche eingeht und andererseits das Kompetenzprofil als Grundlage nimmt, um die summative Alternativentscheidung „zertifizieren/nicht zertifizieren“ nachvollziehbar aufzuzeigen. Gewöhnlich orientieren sich Bewertungsverfahren an den drei klassischen Gütekriterien: Mit Blick auf die Bewertung der GWB-Anträge macht die Objektivität Aussagen darüber, ob andere Personen dieselbe Bewertung abgeben würden wie jene Personen, die die Bewertung vorgenommen haben. Die Reliabilität gibt an, ob das GWB-Verfahren den wahren Ausprägungsgrad der Leistung ausweist und nicht über Gebühr von Messfehlern verfälscht wird. Die Validität schließlich ist gegeben, wenn tatsächlich jene Kompetenzen gemessen werden, die man messen will (Krapp 2008; Paradies et al. 2005). Angesichts der Notwendigkeit, die Beurteilung und Bewertung entlang von Standards vorzunehmen, ist zu fragen, ob diese Gütekriterien – oder allenfalls gewisse Aspekte daraus – für das GWB-Verfahren geeignet sind oder ob bei der Beurteilung und Bewertung von Textmaterial auf andere Kriterien geachtet werden müsste. Diese Frage bildet den Ausgangspunkt einer umfassenden Analyse von Gutachten, die im Rahmen des GWB-Verfahrens in der Erwachsenenbildung verfasst wurden. Außerdem wurde den Fragen nachgegangen, ob und inwiefern sich die Expertinnen und Experten in ihren Gutachten auf die kriteriale bzw. fachliche Bezugsnorm bzw. auf das Kompetenzprofil beziehen, welche Aspekte darin besonders gewichtet oder kaum erwähnt werden, auf welche Gesichtspunkte unabhängig vom Kompetenzprofil zusätzlich Bezug genommen wird, mit welchen Begründungen die Expertinnen und Experten ihre Entscheidungen legitimieren und welche Argumente für oder gegen eine Zertifizierung angeführt werden.

4 Datenkorpus und Forschungsmethode

Der SVEB gibt für das Verfassen der Gutachten eine Struktur vor, die von allen Expertinnen und Experten eingehalten werden muss. Zunächst muss eine Auflistung und Würdigung aller geleisteten Aus- und Weiterbildungen sowie der beruflichen Tätigkeiten der Antragstellenden inkl. chronologischer Erfassung der beigelegten Nachweisdokumente erfolgen. Dieses Kapitel schließt mit einer „Stellungnahme der Experten zum Dossier“, in der eine erste Würdigung und Einschätzung zur Qualität des eingereichten Dossiers vorgenommen wird. Daran anschließend folgt das Kapitel „Bericht zur Selbstbeurteilung“, in dem ausführlich auf die von den Antragstellenden beschriebenen erwachsenenpädagogischen Kompetenzen eingegangen wird. Im Kapitel „Abschließende Stellungnahme und Antrag der Experten an die Geschäftsleitung AdA“Footnote 4 werden die wichtigsten Aspekte aus dem Dossier nochmals thematisiert und eine Empfehlung formuliert, ob und weshalb das Zertifikat erteilt werden sollte oder nicht. Das Verfahren sieht somit eine funktionale Trennung zwischen den Aufgaben der Expertinnen und Experten sowie den Verpflichtungen der AdA-Geschäftsleitung vor. Bei der AdA-Geschäftsleitung können von den Antragstellenden auch Einsprachen gegen den Entscheid eingereicht werden.

Die Grundgesamtheit der untersuchten Dokumente bestand aus 475 Expertinnen- und Expertengutachten, die in den Jahren 2010 bis 2014 in der Deutschschweiz auf der Grundlage von Anträgen für das SVEB-Zertifikat verfasst wurden. Daraus wurden zufällig 76 Gutachten gezogen, die die Analyseeinheit für die Forschung bildeten. Um in diesen Gutachten die Bezüge zum Kompetenzprofil rekonstruieren zu können, wurde dieses vereinfacht und in themenspezifische Codes überführt. Da die einzelnen Kompetenzen, Ressourcen und Haltungen nicht trennscharf voneinander abgegrenzt werden konnten, mussten einige Kompetenzen und Ressourcen zusammengeführt werden. So entstand ein Codesystem mit insgesamt 18 Codes, die allesamt einen Bezug zum Kompetenzprofil enthielten. Diese deduktive Codebildung wurde ergänzt mit einem induktiven Vorgehen (Mayring 2015; Kuckartz 2014), das die Bildung weiterer Codes aus dem Material heraus vorsah. Diese Codes sollten darüber Auskunft geben, welche zusätzlichen Argumentationsstränge die Expertinnen und Experten nebst den Bezügen zum Kompetenzprofil in ihren Gutachten aufgreifen und womit sie ihre Bewertungen begründen. Dieses induktive Vorgehen wurde für alle beschriebenen Kapitel in den Gutachten eingesetzt, das deduktive Vorgehen kam nur im Kapitel „Bericht zur Selbstbeurteilung“ zur Anwendung, da nur dort konkrete Bezüge zum Kompetenzprofil vorzufinden sind.

5 Subjektive Einschätzungen

Die Analyse des ersten Kapitels („Stellungnahme des Experten bzw. der Expertin zum Dossier“) gibt Hinweise auf die Komplexität einer objektiven Beurteilung und Bewertung ohne vorgegebene Bezugspunkte. Die Bezugspunkte müssen sich die Expertinnen und Experten selbst schaffen, indem sie in den Dossiers bildungs- und berufsbiografische Daten der Antragstellenden auflisten und eine Einschätzung über deren Qualität vornehmen. Am häufigsten vorzufinden sind in diesem knapp gehaltenen Kapitel objektive Fakten wie Hinweise zu den dem Dossier beigelegten Nachweisdokumenten. Am zweithäufigsten finden sich dann aber fluide Daten in Form von Bemerkungen zum Aufbau des Dossiers, und zwar im negativen wie auch im positiven Sinne, wobei die Wertigkeit nicht durch eine vorgegebene Skalierung, sondern durch die Expertin oder den Experten vorgenommen wird. Solche subjektiv gefärbten Einschätzungen treffen auch auf weitere Aspekte zu wie bei Erläuterungen zu der Art und Weise der Dossierpräsentation, zu den vorhandenen Kompetenzen, über die berufliche Erfahrung sowie über die Bildungsaspirationen. Es sind persönliche Eindrücke, die die Expertinnen und Experten leiten, die losgelöst von objektiven Kriterien existieren. Tatsächlich sind bereits in diesem Kapitel Hinweise zu finden, ob ein Gesuch angenommen oder abgelehnt wird. Gute Chancen auf eine positive Bewertung haben vor allem Anträge, in deren Gesuch Nachweisdokumente im Allgemeinen sowie Nachweisdokumente zu Aus- und Weiterbildungen im Speziellen positiv erwähnt werden und die Expertinnen und Experten der Meinung sind, dass der Aufbau des Dossiers gut oder gar überdurchschnittlich gut gelungen ist. Mit einer Ablehnung müssen Antragstellende rechnen, deren Gesuche in Bezug auf die Beschreibung ihrer Person und ihrer Kompetenzen als mangelhaft und schlecht strukturiert beurteilt werden und bei denen Arbeitszeugnisse und Nachweisdokumente zu Aus- und Weiterbildungen fehlen. Ein kausaler Zusammenhang liegt diesen vordergründigen Korrelationen allerdings nicht zugrunde, handelt es sich bei diesen Angaben doch vielmehr um Prozentualverteilungen, die eine Tendenz in die erwähnte Richtung ausweisen. Dennoch kann unter Vorbehalt davon ausgegangen werden, dass mit dem GWB-Verfahren das klassische Gütekriterium der Objektivität nicht restlos eingehalten werden kann. Die Auswertungen legen aber nahe, dass eine Kontrolle der subjektiven Einschätzungen zwar nicht explizit, implizit jedoch durch die Fachexpertise und Erfahrung der Expertinnen und Experten erfolgt. So sind die Aussagen in diesem Kapitel in allen Gutachten ähnlich, sowohl was das Wording als auch was die Inhalte betrifft. Fachfremde Themen oder Formulierungen sind keine vorzufinden.

6 Das Kompetenzprofil als Wegweiser

Die Standards bzw. die fachlichen Bezugsnormen in Form des Kompetenzprofils sind wichtige Stützen im Beurteilen und Bewerten der eingereichten Anträge. Dies zeigt eine Auszählung der in den Gutachten vorzufinden Bezüge zum Kompetenzprofil: Insgesamt weisen 23 % der gesamten Textmenge Verbindungen zu den erwarteten Kompetenzen auf. Die wichtigste und am häufigsten thematisierte Kompetenz ist die „Gestaltung von Lerneinheiten“. Im Wesentlichen geht es bei dieser Kompetenz um die Modellierung von erwachsenengerechten Lernsettings unter Berücksichtigung einer zielführenden, lernförderlichen und motivationssteigernden Methoden- und Medienwahl, der Aktivierung zur Teilnahme am Vermittlungsgeschehen und der Anwendung grundlegender didaktischer Modelle bei der Wahl und der Durchführung von Lerneinheiten. Im Grunde genommen ist diese Kompetenz die Kernkompetenz zum Erwerb des SVEB-Zertifikates und wird, wie eine Analyse der Anträge vor einigen Jahren ergeben hat (Kraus et al. 2015; Kraus und Schmid 2013), von den Antragstellenden auch entsprechend häufig erwähnt. Kompetenzen im Zusammenhang mit Selbstreflexionsprozessen, die das eigene Verhalten, das didaktische Vorgehen in Bezug auf Planung und Gestaltung von Lehrveranstaltungen, die Bilanzierung der eigenen Stärken und Schwächen betreffen sowie die Identifikation des individuellen Entwicklungspotenzials werden in den Gutachten mit 19 % am zweithäufigsten aufgegriffen. Weitere Bezüge, die in den Gutachten zum Kompetenzprofil vorzufinden sind, sind die Formulierung von Zielen und deren Überprüfung (11 %), die Teilnehmenden-Orientierung (11 %), Beschreibungen der Organisation, in der die Antragstellenden beschäftigt sind (7 %), die Beziehungsgestaltung (6 %) sowie Rückmeldungen (3 %), die sich auf mündliche und schriftliche Äußerungen vonseiten der Kursleitenden zum Lernfortschritt der Teilnehmenden beziehen.

Im Vergleich zu den Kompetenzen werden in den Gutachten die im Kompetenzprofil aufgeführten Ressourcen mit 4 % und die Haltungen mit 1 % der gesamten Textmenge kaum thematisiert. Dies mag u. a. damit zusammenhängen, dass vor allem die Ressourcen im Kompetenzprofil unsystematisch und unübersichtlich abgebildet sind und es sowohl für die Antragstellenden als auch für die Expertinnen und Experten schwierig ist, darauf Bezug zu nehmen. Einzelne Aspekte werden in den Gutachten aber dennoch erwähnt: Gruppendynamik, Planung der Vermittlungssequenz, motivationsförderndes Engagement, Fachkenntnisse etc. Aufseiten der Haltungen sind es der Respekt, die Wahrung von Distanz sowie die Flexibilität, die in einzelnen Gutachten aufgeführt werden. Unabhängig davon, ob es sich um Kompetenzen, Ressourcen oder Haltungen handelt, wird in den Gutachten nicht aufgeführt, ob ein spezifischer Aspekt des Kompetenzprofils durch die Antragstellenden zu wenig oder gar nicht angesprochen wurde.

Zu fragen ist an dieser Stelle, ob die Bezugnahme auf das Kompetenzprofil, die in den Gutachten durch die Expertinnen und Experten vorgenommen wird, einen Einfluss auf die Gesamtbewertung hat. Um dazu eine Einschätzung machen zu können, wurden die Bezüge der einzelnen Gutachten ausgezählt, in eine Rangfolge gebracht und mit der Schlussbewertung abgeglichen. Zu beobachten ist eine Häufung von abgelehnten Gutachten mit wenigen Bezügen zum Kompetenzprofil, wenn auch nur von einer Tendenz und nicht von einer Kausalität gesprochen werden kann. Der Bezug zum Kompetenzprofil scheint entsprechend nur eine Entscheidungsgrundlage unter vielen für oder gegen eine Zertifizierung zu sein. Tatsächlich ist das Kompetenzprofil aber das maßgebliche Messinstrument, und vor dem Hintergrund dieser Befunde ist unklar, ob das Instrument die interessierenden Merkmale auch hinreichend erfasst (Berthold 2017). Eine Einschätzung der Inhaltsvalidität ist angesichts dieser Tatsachen schwierig. Die Expertinnen- und Expertengutachten geben zu wenig Anhaltspunkte darüber, was Kern und Inhalt ihrer Messung bzw. der Beurteilung und Bewertung ist und welche Relevanz dabei das Kompetenzprofil und dessen einzelne Kompetenzen einnehmen.

7 Begründungsstrukturen und Bilanzierung

Nebst den Bezügen zum Kompetenzprofil im Kapitel „Bericht zur Selbstbeurteilung“ beinhalten die Gutachten noch weitere Beurteilungs- und Bewertungsaspekte, die vom SVEB nicht vorgegeben werden und von den Expertinnen und Experten nach eigenem Gutdünken in die Gutachten integriert wurden. Ebenfalls auf dieser Grundlage erfolgt in einem darauffolgenden Kapitel die abschließende Bilanzierung in Form einer Stellungnahme, die mit einem kurzen Antrag für oder gegen eine Zertifizierung zuhanden der AdA-Geschäftsstelle formuliert wird. Die Gefahr von Messfehlern ist bei dieser Beurteilungsform aufgrund fehlender Messinstrumente besonders hoch.

Eine Auszählung der codierten Textstellen in den beiden Abschnitten zeigt auf, dass den Nachweisdokumenten eine überragende Bedeutung zukommt. Mit ihnen soll sichergestellt werden, dass die Selbstbeurteilungen kongruent mit den Fremdbeurteilungen sind und dadurch bestätigt wird, dass die Antragstellenden über die erwachsenenpädagogischen Erfordernisse verfügen. Speziell erwähnt werden Dokumente wie Arbeitszeugnisse, Kursauswertungen, Bildungszertifikate, Praxisbeispiele sowie Unterrichtsunterlagen. Wichtig sind den Expertinnen und Experten ferner spezifische erwachsenenpädagogische Fähigkeiten und Fertigkeiten, die sich am besten mit den Begriffen Performanz und Kompetenzen ausdrücken lassen. Beide Gesichtspunkte haben keinen Bezug zum Kompetenzprofil und sind in allgemeiner Form abgefasst, so dass eine Zuordnung zur kriterialen bzw. fachlichen Bezugsnorm nicht möglich ist. Des Weiteren werden die Aus- und Weiterbildungen sowie die beruflichen Erfahrungen thematisiert. Beide Dimensionen werden insbesondere dann aufgegriffen, wenn sie eine Relation zur Pädagogik oder zur Erwachsenenbildung haben. Es folgen zahlreiche Nennungen mit mehr oder weniger erwachsenenpädagogischen Bezügen. Dazu zählen beispielsweise Themen wie theoretische Perspektiven, die Persönlichkeit sowie die persönlichen Motivationen der Antragstellenden, fachliche Aus- und Weiterbildungen, die Beschreibung des individuellen Lernprozesses etc. Gänzlich unabhängig von erwachsenenpädagogischen Bezügen sind die individuellen Eindrücke der Expertinnen und Experten zur Gestaltung der Dossiers bzw. zur Gestaltung einzelner Teile des Dossiers. Es handelt sich dabei um die einzigen Textstellen in diesen beiden Abschnitten, in denen die Meinungen und Haltungen der Expertinnen und Experten deutlich zum Ausdruck kommen. Die restlichen, vom Kompetenzraster losgelösten Passagen sind beschreibender Art, und die Expertinnen und Experten treten kaum in Erscheinung.

Das Fehlen von Nachweisdokumenten sowie die mangelhafte Darstellung erwachsenenpädagogischer Kompetenzen und Performanz sind gewichtige Gründe, die zu einer Ablehnung des Antrags führen können. Hinzu kommen die eher subjektiven Einschätzungen durch die Expertinnen und Experten, wenn sie der Meinung sind, dass die Selbstbeurteilung ungenügend oder widersprüchlich ist. Auf der anderen Seite erhöht sich die Wahrscheinlichkeit auf ein positives Gutachten, wenn die Selbstbeurteilung ausführlich ausfällt, die erwachsenenpädagogischen Kompetenzen hinreichend dargestellt sind und wenn die Kandidatinnen und Kandidaten Aus- und Weiterbildungen vorweisen können sowie über berufliche Erfahrung verfügen.

Die Analyse der offenen Form der Beurteilung und Bewertung, die unabhängig vom Kompetenzprofil vorgenommen wird, stellt heraus, dass die Expertinnen und Experten in ihren Gutachten ähnliche Themen aufgreifen und es eine einheitliche Tendenz für eine positive oder negative Bewertung gibt. Entsprechend wird die Messung durch Fachexpertise und nicht durch die Instrumente gesichert.

8 Fazit

Die dargestellten Befunde machen deutlich, dass die der quantitativen Forschung entnommenen Gütekriterien nicht unmittelbar auf qualitative Verfahren übertragen werden können (Pryborski und Wohlrab-Sahr 2010). So kann mit Blick auf die Objektivität nicht abschließend festgestellt werden, ob zwei Expertinnen oder Experten unabhängig voneinander zum gleichen Ergebnis kommen würden. Ähnlich verhält es sich mit der Validität. Da es sich beim Kompetenzprofil nicht um ein Messinstrument, sondern um Kompetenzbeschreibungen erwachsenenbildnerischer Tätigkeiten handelt, wird es von den Expertinnen und Experten unterschiedlich angewendet und für verschiedene Argumentationslinien gebraucht. Selbst die detaillierte Analyse der Gutachten hat nicht aufzeigen können, ob mit dem GWB-Verfahren die relevanten Kompetenzen auch hinreichend beurteilt und bewertet werden. Auch bei der Reliabilität gibt es Anzeichen dafür, dass die Expertinnen und Experten zwar unabhängig vom Kompetenzprofil die gleichen Themen beurteilen, ob ihnen dabei allerdings Fehler unterlaufen, die dem Verfahren geschuldet wären, kann nicht abschließend evaluiert werden. Diese Unsicherheit machen in den Gutachten auch die Befunde zu den abschließenden Bewertungen deutlich: Es gibt keine einheitlichen Kategorien, wonach ein Antrag durch die Expertinnen und Experten gutgeheißen oder abgelehnt wird.

Es stellt sich deshalb die Frage, ob eine stark strukturierte Beurteilung und Bewertung pädagogischer Fähigkeiten und Fertigkeiten, wie sie bei der Anwendung einer quantitativen Messmethode notwendig sein müssten, allenfalls zielführender für dieses Validierungsverfahren wäre. Eine Zerstückelung pädagogischer Handlungsräume in einzelne, voneinander abgegrenzte Kompetenzbereiche würde jedoch den Blick auf die Fähigkeit, in komplexen Situationen unter Einbezug der Vernetzung verschiedener Kompetenzbereiche professionell handeln zu können, verschließen. Deshalb erscheint eine offene, ganzheitliche Form der Beurteilung und Bewertung mithilfe eines schriftlichen Gutachtens plausibel. Gleichzeitig macht die Analyse der Expertinnen- und Expertengutachten im GWB-Verfahren aber auch deutlich, dass mit dieser Beurteilungs- und Bewertungsform andere Gütekriterien als die der quantitativ-empirischen Forschung entnommenen zur Anwendung kommen müssen. Die Befunde dieser Untersuchung legen Gütekriterien für die Sicherung der Qualität des GWB-Verfahrens auf verschiedenen Ebenen nahe:

Qualitätssicherung durch Bewertungsinstrumente (s. auch Moser 2003):

  • Fachlich-kriteriale Bezugsnomen (Sacher 2011) sind unerlässlich. Im GWB-Verfahren sind diese in Form eines Kompetenzprofils vorhanden. Dadurch wird das summativ ausgerichtete Verfahren zumindest teilweise messbar.

  • Fachlich-kriteriale Bezugsnormen bzw. Kompetenzprofile müssen einfachen Formulierungen folgen und dürfen in Aufbau und Struktur nicht zu komplex sein.

  • Die Gliederung in einzelne Kapitel und Unterkapitel muss in allen Gutachten standardisiert und für alle Expertinnen und Experten verbindlich sein.

Qualitätssicherung durch inhaltliche Setzungen:

  • Die Nachweisdokumente sind im GWB-Verfahren zentral. Die Expertinnen und Experten verlassen sich also weniger auf die Selbstbeurteilung als vielmehr auf Fremdeinschätzungen, die durch unterschiedliche Akteure beigebracht werden (s. auch Annen und Bretschneider 2014; Dehnbostel 2011).

  • Die Performanz, die Selbstreflexion und Evaluation, die Zielformulierung und Zielüberprüfung sowie die Analyse der Teilnehmenden ist ein wichtiger Bestandteil in der Beurteilung und Bewertung der Gesuche. Diese Aspekte können nebst dem Kompetenzprofil als zusätzliche Referenzstandards (Laur-Ernst 2003) interpretiert werden.

Qualitätssicherung durch Qualifikation:

  • Die Gleichwertigkeitsbeurteilungen müssen durch erfahrene Erwachsenenbildnerinnen und -bildner durchgeführt werden. Diese Expertinnen und Experten greifen die vor ihrem Erfahrungshintergrund bedeutsamen Themen auf. Die Gutachten enthalten entsprechend ausschließlich professionsbezogene Inhalte.

  • Die Expertinnen und Experten müssen für ihre Tätigkeit als Begutachtende ausgebildet werden (s. auch Geldermann et al. 2009; Cedefop 2009). Dies geschieht im GWB-Verfahren sowohl im Rahmen von Einführungskursen als auch anlässlich halbjährlich stattfindender Treffen, in denen die Erfahrungen ausgetauscht werden und dadurch eine kommunikative Validierung (Bohl 2012) stattfindet.

Qualitätssicherung durch die Verfahrensstruktur:

  • Beurteilung, Bewertung und Zertifizierung müssen getrennt voneinander vorgenommen und entsprechend von unterschiedlichen Akteuren durchgeführt werden.

  • Die Verfahren müssen transparent, strukturiert und klar geregelt sein. Die einzelnen Prozessschritte müssen aufeinander aufbauen und von allen Kandidatinnen und Kandidaten in gleicher Art und Weise durchlaufen werden (s. Mayring 2015).

  • Einsprachen bei ablehnenden Entscheiden müssen möglich und durch die Struktur des Verfahrens bearbeitbar sein. Dadurch erhöht sich die Glaubwürdigkeit des Verfahrens (s. auch Rat der Europäischen Union 2004).

Der Beurteilung und Bewertung der eingereichten Dossiers kommt große Bedeutung zu, handelt es sich doch bei den ausgestellten Zertifikaten um Bescheinigungen mit Entsprechungen im Bildungssystem und gesetzlicher Verankerung bzw. um in der Erwachsenenbildung breit akzeptierte Zertifikate (Laur-Ernst 2003; Schneeberger et al. 2009). Unter Berücksichtigung der auf verschiedenen Ebenen angesiedelten Gütekriterien ist die Beurteilung und Bewertung im GWB-Verfahren jedoch mithilfe eines offen formulierten Gutachtens ein gangbarer Weg, eine Annäherung an das komplexe Zusammenspiel verschiedener Kompetenzbereiche zu finden und die beschriebenen Kompetenzen bewertbar zu machen. Eine Übertragung dieser Kriterien auf andere Validierungsverfahren ist unter Wahrung der jeweiligen Voraussetzungen vor Ort denkbar.