1 Stand der Kompetenzen von Geflüchteten auf dem deutschen Arbeitsmarkt

Seit Anfang 2015 sind mehr als 1,3 Mio.Footnote 1 Asylsuchende nach Deutschland gekommen, rund zwei Drittel aus Syrien, Afghanistan und Irak. Viele dieser Menschen können aufgrund einer positiven Asyl-Entscheidung in Deutschland bleiben, d. h. sie gelten als anerkannte Geflüchtete oder erhalten einen anderen Schutzstatus (BAMF 2016, 2017). Um mehr über den Bildungshintergrund der Asylsuchenden zu erfahren, wurden bereits im September 2016 im Rahmen einer repräsentativen IAB-BAMF-SOEP-Befragung 2349 Geflüchtete interviewt.Footnote 2 Rund 13 % der Befragten gaben an, einen Hochschulabschluss und 6 % einen beruflichen Abschluss zu besitzen. Im Vergleich zu deutschen Staatsbürgerinnen und Staatsbürgern – hier hatten 21 % einen Hochschulabschluss und 59 % einen beruflichen Abschluss – ist das formale Bildungsniveau geringer. Dies schließt jedoch nicht aus, dass berufliche Fähigkeiten, Kenntnisse und Fertigkeiten vorhanden sind, die z. B. durch On-the-job-Training oder andere Arbeitserfahrungen erworben wurden und von Arbeitgebern in Deutschland nachgefragt sind.

Die meisten dieser Länder kennen kein Ausbildungssystem, das mit dem deutschen Berufsbildungssystem vergleichbar wäre. Viele handwerkliche, technische und kaufmännische Berufe werden deshalb in den Herkunftsländern ohne formelle Ausbildung ausgeübt. (Brücker et al. 2016, S. 6–7)

Von den befragten Personen gaben 73 % an, bereits vor der Einreise nach Deutschland Berufserfahrungen gesammelt zu haben, davon rund 45 % als Arbeiterinnen und Arbeiter oder Angestellte ohne Führungsposition, 13 % als Angestellte in Führungsposition und 27 % als Selbstständige (von Gostomski et al. 2016, S. 7). Im Durchschnitt weisen Geflüchtete, die als Arbeiterinnen oder Angestellte beschäftigt waren, neun Jahre Berufserfahrung auf. Zum Zeitpunkt der Befragung waren jedoch nur 14 % der Befragten in Deutschland erwerbstätig. Da etwa 90 % der Befragten angaben, dauerhaft in Deutschland bleiben zu wollen (von Gostomski et al. 2016, S. 6), scheinen vermehrte Bemühungen um eine gelungene Integration in die deutsche Gesellschaft und den deutschen Arbeitsmarkt erforderlich. Bislang üben Geflüchtete auch nach längerer Aufenthaltsdauer überwiegend einfache berufliche Tätigkeiten aus (Winther und Jordanoski 2016, S. 35) und dies trotz mittleren und hohen Bildungsniveaus. Nach vierjährigem Aufenthalt gehen entsprechend rund 65 % dieser Gruppe einer Beschäftigung unterhalb ihres Bildungsniveaus nach (Fendel und Romiti 2015, S. 18).

Die geschilderte Lage der Geflüchteten ist mit Blick auf die Integration in den deutschen Arbeitsmarkt problematisch: Zum einen können vorhandene Kompetenzen oft nicht nachgewiesen werden, da aufgrund eines informellen oder non-formalen Erwerbs keine formalen Nachweise wie Zeugnisse oder Zertifikate vorliegen. Die Vermittlung in eine Erwerbstätigkeit ist nur schwer möglich, da Arbeitgebern eine Entscheidungsgrundlage fehlt, wenn ausländische Abschlüsse nicht durch formale Nachweise belegt bzw. aufgrund fehlender Kenntnis ausländischer (Aus‑)Bildungssysteme nicht eingeordnet werden können. In der Folge verbleiben viele Geflüchtete in Helfertätigkeiten und werden damit unterhalb ihres Qualifikationsniveaus eingesetzt. Für eine gelingende Integration in den deutschen Arbeitsmarkt ist es also notwendig, vorhandene fachliche Kompetenzen einerseits sichtbar und andererseits für den Arbeitsmarkt verwertbar zu machen.

In den letzten Jahren sind im Rahmen bildungspolitisch initiierter Projekte verschiedene Ansätze und Instrumente zur Kompetenzfeststellung entstanden, die versuchen non-formal und informell erworbene Kompetenzen zu erfassen. Dazu gehören beispielsweise das Verbundprojekt VALIKOM der Handwerks‑, Industrie- und Handelskammern (Rehbold und Oehme 2017) oder umfangreiche Testbatterien, wie sie im Rahmen der Forschungsinitiative ASCOT entwickelt und beforscht wurden (Beck et al. 2016). Mit Blick auf die spezielle Zielgruppe der Geflüchteten weisen bestehende Verfahren jedoch einige Nachteile auf:

Sie sind erstens zeit- und/oder personalaufwändig, sodass ein flächendeckender Einsatz bei der großen Personengruppe der Geflüchteten kaum möglich scheint. Zweitens erfordert der Einsatz Sprachkenntnisse im Deutschen, die in der Regel erst nach längerem Aufenthalt in Deutschland vorhanden sind. Übersetzungen in verschiedene Sprachen liegen in der Regel nicht vor, was häufig den Einsatz von Dolmetschern erforderlich macht. Eine schnelle und effiziente Erfassung von informell oder non-formal erworbenen beruflichen Kompetenzen kann daher mit diesen Instrumenten (derzeit) oft nicht geleistet werden. Eine mögliche Lösung ist der Einsatz von zeiteffizienten papier- oder computerbasierten Testverfahren in verschiedenen Testsprachen und mit Bezug zu deutschen Referenzberufen. Anhand von deutschen Referenzberufen können fachliche Kompetenzen erfasst werden, die unter anderem durch Arbeitserfahrung, Erwerbstätigkeit oder in anderen Kontexten erworben wurden und möglicherweise für den Einsatz auf dem deutschen Arbeitsmarkt relevant sind.

Der vorliegende Beitrag befasst sich mit der Frage, wie solche berufsfachlichen Kompetenzen von Geflüchteten getestet werden können. Um einer Beantwortung dieser Frage näher zu kommen, wird anhand des Projekts IdA KompetenzCheck demonstriert, dass Kompetenztests für Geflüchtete nötig sind, und dass eine nachweisliche valide Kompetenzfeststellung über derartige Kompetenztests möglich ist. Auch jenseits der Zielgruppe Geflüchteter bieten Kompetenztests vielfältige Chancen für den Arbeits- und Weiterbildungsmarkt. Im vorliegenden Projekt wurden jedoch keine Erkenntnisse zu anderen Personengruppen generiert.

2 Multimediale Testverfahren zur Feststellung fachlicher Kompetenzen

In den letzten Jahren und Monaten sind neben einem klaren Problembewusstsein (Döring und Severing 2016) auch zunehmend Projekte zur Entwicklung von berufsfachlichen Kompetenzfeststellungsverfahren zu konstatieren: Das Spektrum reicht dabei von einfachen Selbsteinschätzungen (z. B. Erpenbeck und von Rosenstiel 2007) bis zu zeitaufwändigen Verfahren, die auf Simulationen oder der Kombination von verschiedenen Instrumenten wie Fachgesprächen, Bilanzierungsbögen und Arbeitsproben basieren (z. B. Oehme und Rehbold 2017; Nickolaus et al. 2011).

In Projekten wie dem IdA KompetenzCheck (s. unten) oder MYSKILLS: Berufliche Kompetenzen Erkennen (Döring et al. 2016; Herdin und Wink 2016) werden für ausgewählte Referenzberufe Testverfahren entwickelt, über die zeiteffizient große Personenkreise parallel getestet werden können. Den Testverfahren ist ein ähnlicher Ansatz gemeinsam: Es geht um eine valide Erfassung fachlicher Kompetenzen, die über eine reine Selbsteinschätzung hinausgeht und Rückschlüsse auf eine mögliche Handlungsfähigkeit in Bezug auf typische Handlungsfelder eines Referenzberufs zulässt.

Berufliche Kompetenzen sind kontextspezifische Leistungsdispositionen, die sich funktional auf Situationen und Anforderungen in beruflichen Kontexten beziehen. (Döring et al. 2016, S. 68; vgl. Klieme und Leutner 2006; Weinert 2001; Terzer et al. 2008)

Unter einem beruflichen Kontext lässt sich wiederum jeder abgrenzbare Bereich eines Berufsbildes fassen, der grundlegende Anforderungen widerspiegelt (Baethge und Seeber 2016). Mit Blick auf verbreitete Rahmenwerke zu Kompetenzen im beruflichen Kontext (KMK 2011; AK DQR 2011) lassen sich derart verstandene Kompetenzen konzeptuell als Bestandteil von Fachkompetenz ansehen, welche wiederum als definierender Bestandteil umfassender beruflicher Handlungskompetenz verstanden wird, im Sinne einer „Bereitschaft und Befähigung des Einzelnen, sich in beruflichen, gesellschaftlichen und privaten Situationen sachgerecht durchdacht sowie individuell und sozial verantwortlich zu verhalten“ (KMK 2011, S. 15).

Für die Messung von berufsbezogenen Kompetenzen empfehlen Baethge und Seeber (2016) den Rückgriff „auf berufstypische Arbeitshandlungen, -prozesse und -produkte, die weitgehend unabhängig von spezifischen betrieblichen Organisationsstrukturen und Arbeitsplatzbedingungen modelliert werden“ (ebd. S. 19 f). Benötigt werden also Testverfahren, die typische Handlungssituationen von (Referenz‑)Berufen in den Blick nehmen und diese mit Hilfe von Testaufgaben möglichst realitätsnah und authentisch abbilden.

Mit Blick auf moderne Kompetenztests lassen sich zwei Umsetzungsmöglichkeiten unterscheiden:

  • Der erste Ansatz basiert auf komplexen (Computer‑)Simulationen, in denen interaktiv bestimmte Aufgaben zu erfüllen sind (z. B. Walker et al. 2016; Fischer et al. 2015).

  • Der zweite Ansatz – der in der vorliegenden Arbeit näher beleuchtet wird – basiert auf Fragen zu Arbeitshandlungen, -prozessen und -produkten, die in Hinblick auf eine Problemsituation zu beantworten sind, welche über Texte, Bilder und Videos dargestellt wirdFootnote 3 (z. B. Döring et al. 2016; Kaspar et al. 2016; Seeber 2016).

In allen genannten Fällen wird Authentizität mit beruflichen Arbeitssituationen im Rahmen der Testverfahren angestrebt. Empirisch lassen sich wesentliche Anteile dessen, was sich über Performanz in Computersimulationen messen lässt, nachweislich auch über text-, bild- und/oder videobasierte Tests erfassen (so berichten z. B. Abele et al. (2016) für einen Test der Kompetenz von Kfz-Mechatronikern, dass simulationsbasierte Tests untereinander in derselben Größenordnung korrelieren wie ein simulationsbasierter Test mit einem inhaltlich ähnlichen videobasierten Test). Während computerbasierte Simulationen oft zeitaufwändig sind und daher vorwiegend in wissenschaftlichen Untersuchungen Verwendung finden, ist die Testdauer bei text-, bild- oder videobasierten Tests (im Folgenden TBV-Tests) in der Regel geringer, was eine zeitökonomische reliable Testung mit einer großen Anzahl unterschiedlicher Items erleichtert.

Dabei ist hervorzuheben, dass die Kompetenztestung über TBV-Tests in verschiedener Hinsicht über die Erfassung rein theoretischer Fachkenntnisse hinausgeht: Zum einen muss zur Lösung handlungsbezogener Aufgaben das erforderliche Fachwissen situationsadäquat anwendbar sein, was neben explizitem Wissen auch implizites Wissen erfordert, das in der Regel nicht einfach in Worte zu fassen ist. Dieser Zusammenhang wird durch die hohen Korrelationen mit simulationsbasierten Testverfahren unterstrichen. Das Einbringen impliziten Wissens in die Testung wird auch durch die Darstellungsweise von TBV-Tests ermöglicht: Die Darstellung von Handlungssituationen und Antwortoptionen erfolgt deshalb bei TBV-Tests nicht ausschließlich sprachlich (über Texte und ggf. Zahlenangaben), sondern auch visuell (über Bilder und Videos). Dadurch können Aufgaben teilweise auch durch implizites Wissen (z. B. das Wiedererkennen eines Werkzeugs, das in einer bestimmten Situation erforderlich ist) gelöst werden, ohne dass explizites Fachwissen verfügbar sein muss. Außerdem sind neben Kenntnissen auch kognitive Fertigkeiten wie Lesen und Rechnen für die Lösung mancher Aufgaben erforderlich (vgl. zu „kognitiven Fertigkeiten“ Anderson 1982). Motorische Fertigkeiten sind zwar in der Regel nicht direkt Teil der Testung (Döring et al. 2016, S. 23), allerdings ist für die richtige Lösung der Aufgaben teilweise eine Reflexion auf erforderliche manuelle Abläufe nötig, was eine entsprechende individuelle Erfahrung voraussetzt (vgl. Baethge und Seeber 2016).

2.1 Testentwicklung

In der Literatur existiert bisher keine allgemein anerkannte Systematik, an der man die Entwicklung von Kompetenztests entlang von Berufen und ihrer zugrunde liegenden Ausbildungsordnung ausrichten könnte und die gleichzeitig den Forderungen von Seeber und Baethge (s. oben) gerecht wird.

Für die hier betrachtete Testentwicklung wurde folgendes Vorgehen gewählt, das als Blaupause für beliebige berufliche Kontexte betrachtet werden kann und in Abb. 1 skizziert ist.

Abb. 1
figure 1

Allgemeine Prozessbeschreibung der Konstruktion von Kompetenztests

Full size image

Zu Beginn werden die Einsatzfelder bestimmt, über die der Test eine Aussage treffen soll,Footnote 4 d. h. es wird spezifiziert, (1) welche Kompetenzen gemessen werden sollen, (2) in welchen Einsatzfeldern sich diese Kompetenzen bei der Berufsausübung zeigen, und (3) welche konkreten Handlungssituationen in jedem Handlungsfeld zu bewältigen sind, um auf Kompetenz im Handlungsfeld zu schließen.

Die folgenden beiden Schritte des Konstruktionsprozesses befassen sich mit der Validierung und Erweiterung der bisherigen Überlegungen: Die identifizierten Handlungsdispositionen, -felder, und -situationen sind daraufhin zu prüfen, ob sie einerseits durch bestehende Ordnungsmittel wie Ausbildungsverordnungen und Rahmenlehrpläne abgedeckt werden (4) sowie andererseits der beruflichen Praxis gerecht werden (5). Das Resultat dieser Schritte ist ein konzeptuell vollständiges Kompetenzmodell, das alle unterscheidbaren Dimensionen (sog. Kompetenzstruktur) und alle curricular und praktisch relevanten bzw. unterscheidbaren Schwierigkeitsgrade (sog. Kompetenzniveaus) abdeckt (vgl. Klieme und Leutner 2006).

In einem nächsten Schritt werden (6) von Fachexperten Aufgaben entwickelt, die Rückschlüsse auf die oben bestimmten Leistungsdispositionen erlauben, und (7) die Aufgaben als text-, bild- oder videobasiertes Testverfahren umgesetzt. Im Anschluss wird eine mindestens zweistufige empirische Überprüfung des Testverfahrens durchgeführt (8). Qualitativ wird an Probanden der angezielten Zielgruppe das Testverfahren auf seine Funktionsfähigkeit, sachliche Korrektheit, Verständlichkeit und Unmissverständlichkeit der Aufgaben überprüft (9). Quantitativ wird das angedachte Messmodell an einer Stichprobe der Zielgruppe getestet, um die Güte des entwickelten Verfahrens festzustellen und bei Bedarf Revisionen an den zugrunde gelegten theoretischen Annahmen (bzw. dem verwendeten Messmodell) oder an den entwickelten Testaufgaben vorzunehmen.

Das skizzierte Vorgehen bildet die Grundlage für die hier vorgestellten Verfahren und bildet auch die Grundlage für die 2017 und 2018 entwickelten Testverfahren der Bundesagentur für Arbeit unter dem Titel MYSKILLS und wird im Folgenden näher erläutert.

2.2 Besonderheiten bei der Zielgruppe Geflüchteter

Bei der Entwicklung von Kompetenztests für die Zielgruppe der Geflüchteten sind einige Besonderheiten zu beachten. Zum einen sind aufgrund der Vielzahl an Geflüchteten zeiteffiziente Verfahren gefragt, an denen parallel eine Vielzahl an Personen teilnehmen können. Gleichzeitig sollen reliable und valide Aussagen über die Kompetenzen der Getesteten abgeleitet werden können (Döring und Severing 2016). Darüber hinaus sollten die Testergebnisse, um einen Nutzen für die Getesteten entfalten zu können, anschlussfähig in Bezug auf den deutschen Arbeitsmarkt sein (Hecker et al. 2019). Vor diesem Hintergrund liegt es nahe, computerbasierte Testverfahren einzusetzen, und die Gestaltung der Testaufgaben/-materialien an betriebliche Realitäten in Deutschland anzulehnen.

Ein zentrales Thema bei der Testung von Geflüchteten stellt die Testsprache dar. Ein kompetenter Umgang mit der deutschen Sprache stellt zwar in vielen Berufen eine Voraussetzung für erfolgreiche Arbeit dar, sollte aber nicht mit beruflicher Kompetenz vermengt werden. Um berufliche Kompetenz unabhängig von sprachlicher Kompetenz testen zu können, müssen Sprachbarrieren überwunden werden. Hierzu bietet es sich an, die Tests in den jeweiligen Herkunftssprachen anzubieten. Neben einer Übersetzung ins Englische und Arabische (um nur zwei Beispiele zu nennen) lassen sich auch durch einfache Sprache und die Einbindung multimedialer Darstellungen Sprachbarrieren reduzieren (Döring und Severing 2016). Besondere Schwierigkeiten sind zu bedenken, wenn Fachbegriffe übersetzt oder umschrieben werden müssen. So lautet eine mögliche Übersetzung des Fachbegriffs „Geogitter“ etwa شبكة من مادة اللدائن لغرض تثبيت أساسات البناء (grob „Gitter aus Kunststoff, das zur Stabilisierung des Untergrundes von Bauarbeiten dient“). Diese Übersetzung wäre jedoch problematisch im Kontext einer Aufgabe wie „Wozu dienen Geogitter?“. Auch um Differential Item Functioning (Koller et al. 2012) für verschiedene Testsprachen zu vermeiden, kann es sich anbieten, Fachbegriffe zu umschreiben. Umgekehrt kann es jedoch auch auftreten, dass bei gängigen Fachbegriffen eine Umschreibung zu Verwirrung und vermeidbarer Mehrdeutigkeit führt, sodass die Empfehlung nicht ohne Augenmaß umgesetzt werden sollte. Bei computerbasierten Tests ist überdies konfundierenden Effekten von Medienkompetenz entgegenzuwirken (z. B. durch einfache und intuitive Gestaltung – orientiert an bekannten Eingabeformaten wie gängigen Formularen – oder durch einführende Tutorials).

2.3 Beispiel IdA KompetenzCheck im Bereich Metallbearbeitung und -verarbeitung

Im Rahmen der Initiative Integration durch Ausbildung und Arbeit (IdA) der Vereinigung der Bayerischen Wirtschaft e. V. (vbw) wurden mit den IdA KompetenzChecks vom Forschungsinstitut Betriebliche Bildung (f-bb) Kompetenztests für ausgewählte Branchen (Metall, Elektro, Logistik und Garten‑/Landschaftsbau) entwickelt, um berufliche Vorerfahrungen und Kompetenzen von Geflüchteten zu testen und eine erste Standortbestimmung vorzunehmen. Die Testkonstruktion folgte dabei im Wesentlichen dem oben vorgestellten Prozess der Testentwicklung (Abschn. 2.1) unter Berücksichtigung von Besonderheiten der Zielgruppe Geflüchteter (Abschn. 2.2).

Im Rahmen der IdA KompetenzChecks werden Personen in einer von vier Testsprachen (Deutsch, Englisch, Französisch oder Arabisch) mit Beschreibungen, Abbildungen und (in der computerbasierten Fassung) Videos realistischer Handlungssituationen konfrontiert und müssen darauf bezogene Fragen zu Handlungen und Prozessabläufen beantworten, die Rückschlüsse auf berufsfachliche Kompetenzen erlauben. Im Falle des IdA KompetenzChecks für den Bereich der Metallbearbeitung und -verarbeitung werden Kompetenzen in drei Handlungsfeldern gemessen: (1) Kompetenz beim Herstellen von Bauteilen und Baugruppen; (2) Kompetenz beim Einrüsten, Umrüsten und Bestücken von Maschinen und Anlagen, sowie (3) Kompetenz beim Prüfen und Messen in der Qualitätskontrolle. Diese drei Kompetenzen wurden in Anlehnung an das Teilqualifizierungsmodell für den Beruf des Maschinen- und Anlagenführers (Zeller, Neumann, Kohl, Krenn & Küfner, 2011) sowie in enger Zusammenarbeit mit fachlichen Experten konzeptualisiert, decken das Berufsbild jedoch nicht vollständig ab.

Die Kompetenz in jedem Handlungsfeld wird beim IdA KompetenzCheck in Form eines separaten Teilergebnisses gemessen. Dem liegt ein einfaches und bzgl. seiner Annahmen sparsames Messmodell zugrunde: Wer schon einmal in einem Handlungsfeld gearbeitet hat, hat ipso facto Erfahrung im Umgang mit den zum Handlungsfeld gehörenden Handlungssituationen und weiß aus diesem Grund mit größerer Wahrscheinlichkeit die richtigen Antworten auf diesbezügliche handlungsbezogene Fragen.Footnote 5 Auf Basis dieser Überlegungen wird aus den Antworten einer Person auf ihre Disposition zu Leistungen im Handlungsfeld geschlossen.

3 Methode

Auf Basis der bereits beschriebenen Vorgehensweise (siehe Abschn. 2.1) wurde unter Berücksichtigung der Besonderheiten Geflüchteter (siehe Abschn. 2.2) mit dem IdA-KompetenzCheck im Bereich Metallbe- und -verarbeitung (siehe Abschn. 2.3) ein Testverfahren entwickelt, das die Feststellung von Kompetenzen in ausgewählten Handlungsfeldern dieser Branche unterstützen soll. Im Folgenden werden empirische Ergebnisse zu diesem Test berichtet, um zu überprüfen, ob auf die beschriebene Art und Weise berufliche Kompetenzen getestet werden können.

3.1 Stichprobe

Getestet wurden n = 162 Geflüchtete im Rahmen des IdA-Projektes. Von den teilnehmenden Personen sind etwa 68 % männlich und 11 % weiblich (21 % fehlende WerteFootnote 6). Im Durchschnitt sind die Personen etwa 30 Jahre alt (M = 32,2; SD = 7,6). Bzgl. der Testsprache bearbeiteten 59 % den Test in deutscher Sprache, 22 % in englischer Sprache und 19 % in arabischer Sprache. Berufserfahrung war – für den Fall, dass Berufserfahrung vorlag – in Jahren anzugeben. Fehlende Angaben waren entsprechend als 0 zu werten. 31 % der Befragten erhielten einen Wert größer 0, die restlichen 69 % einen Wert von 0. Im Median verfügten die Befragten mit Berufserfahrung über 3 Jahre Erfahrung.

3.2 Datenerhebung und -aufbereitung

Die Daten wurden im Rahmen von IdA 1000 in Integrationskursen zwischen März 2016 und April 2017 in Gruppentestungen erhoben. Die Teilnahme an einem der KompetenzChecks war freiwillig (wobei Berufserfahrung im jeweiligen Referenzberuf im Rahmen der Ausschreibung als wünschenswert dargestellt wurde, aber nicht zwingend erforderlich war). Die Teilnehmenden bearbeiteten unter Aufsicht von Kursleitung und je einem Projektmitarbeitenden eine papierbasierte Version des IdA KompetenzChecks. Als Anreiz wurde den Teilnehmenden eine vorläufige Rückmeldung über die festgestellten Kompetenzen zugestellt.

Jede unabhängige Antwort wurde binär als richtig oder falsch bewertet. Items mit extremer Schwierigkeit, die also von keiner Person oder von jeder Person gelöst werden konnten, wurden vor den folgenden Analysen entfernt (dies betraf lediglich ein Item in Testabschnitt 2, welches von keiner Person aus dem Kreis der Teilnehmenden richtig beantwortet wurde). Das Unterlassen einer Antwort wurde generell mit 0 bewertet.

3.3 Auswertung

Zur Auswertung wurde das herkömmliche Rasch-Modell angewendet, welches den Summenwert über alle binär bewerteten Items als suffiziente Statistik zur Schätzung des zu messenden Personenparameters annimmt. Die Schwierigkeit der Items wurde, wie bei der Rasch-Modellierung üblich, für jeden Testbereich auf eine Summe von 0 normiert (Summe-Null-Normierung, Bühner 2005) wodurch die Personenparameter im Verhältnis zur Itemschwierigkeiten kriteriumsorientiert interpretiert werden können.

Von einem komplexeren zweiparametrischen logistischen (2PL) Modell wird abgesehen, weil dieses durch eine Verdopplung der zu schätzenden Parameter eine Verringerung der Schätzgenauigkeit impliziert hätte und weil im 2PL-Modell bei der Bestimmung des Personenparameters Items mit hoher Trennschärfe mehr wiegen als Items mit niedriger Trennschärfe (unabhängig von der Item-Schwierigkeit), selbst wenn theoretisch alle Items als gleichermaßen wichtig für kompetentes Verhalten erachtet werden (Robitzsch 2009). Auch eine Beurteilung der absoluten Ausprägungen von Modell- und Itemfit unterbleibt an dieser Stelle aufgrund der für diesen Zweck unzureichend großen Stichprobe von unter 500 Teilnehmenden (Stone und Yumoto 2004). Die Analysen der vorliegenden Arbeit basieren demgegenüber auf Schätzwerten der Personen- bzw. Itemparameter. Diese können den Analysen von Stone und Yumoto (2004) zufolge bereits ab 100 Teilnehmenden mit ausreichender Genauigkeit geschätzt werden.

4 Ergebnisse

Kompetenzen sind bekannt als verhältnismäßig heterogene Konstrukte (vgl. Fischer und Neubert 2015). Dennoch ist die Reliabilität des vorliegenden Tests für alle Testabschnitte aufgrund einer ausreichend großen Itemzahl als gut zu bewerten (α > 0,87, siehe Abb. 2) und die Trennschärfe aller Items ist größer als 0.

Abb. 2 zeigt die Itemschwierigkeit (Itemparameter) der verwendeten Items (Abbildung rechts, in weiß dargestellt) und stellt diese den Kompetenzausprägungen (Personenparametern) der getesteten Personen (Abbildung links, in dunkleren Farbtönen dargestellt) gegenüber. Wie die Abbildung verdeutlicht, entspricht der Durchschnitt der Personenparameter für alle drei Testabschnitte in etwa dem Durchschnitt der normierten Itemparameter.

Abb. 2
figure 2

Histogramm der Itemschwierigkeiten (rechts in weiß) und der Kompetenz in jedem der drei Testabschnitten (TA, links in dunkleren Farbtönen)

Full size image

Effekte der Berufserfahrung wurden für jeden Testabschnitt über einen t‑Test bestimmt, in den die dichotomisierte Berufserfahrung (Berufsjahre >0) als unabhängige Variable einging und der Personenparameter als abhängige Variable. Signifikante Effekte von Berufserfahrung auf die Leistungen im jeweiligen Testabschnitt finden sich in allen drei Testbereichen (TA1: t = 3,14; df = 77,77; p< 0,01; TA2: t = 2,74; df = 107,45; p< 0,01; TA3: t = 2,82; df = 104,11; p < 0,01). Dies kann als Beleg für die Behauptung verstanden werden, dass mit den entwickelten Aufgaben in der Tat durch Arbeitserfahrung erworbene Fachkompetenzen gemessen werden.

5 Diskussion

Mit der vorliegenden Arbeit legen wir eine Systematik vor, anhand derer Kompetenztests für unterschiedliche berufliche Kontexte entwickelt werden können (siehe Abschn. 2.1) und demonstrieren anhand von Daten zum IdA KompetenzCheck im Bereich Metallbe- und -verarbeitung die Reliabilität und Validität des entwickelten Testverfahrens. Wie unsere Ergebnisse zeigen, scheint es möglich, fachliche Kompetenzen auf reliable und valide Weise zeiteffizient zu erfassen. Die Aufgaben wurden sorgfältig ökologisch und curricular validiert, und die erwartungsgemäßen Effekte von Berufserfahrung auf die Kompetenzen im oben berichteten Test bieten einen empirischen Anhaltspunkt dafür, dass auf diese Weise ausgewählte fachliche Kompetenzen bei Geflüchteten effektiv und effizient gemessen werden können.

Der IdA KompetenzCheck liefert damit einen wertvollen Beitrag zur Validierung von Lernergebnissen nicht-zertifizierten non-formalen und informellen Lernens. Allerdings ist hervorzuheben, dass der IdA KompetenzCheck aus Gründen der Praktikabilität nicht das Ziel hat, berufliche Handlungskompetenz in ihrer vollen Breite zu erfassen. Aspekte wie Sprachfertigkeit, Sozial- und Selbstkompetenz sind nicht Gegenstand der Testung, und auch die getesteten Fachkompetenzen decken das Berufsbild nicht vollständig ab. Der IdA KompetenzCheck wurde als Testverfahren entwickelt, um einen ersten Anhaltspunkt über die Kompetenzen in unterschiedlichen berufsrelevanten Handlungsfeldern zu gewinnen. Als solches bietet er vor allem für Personen ohne klassische Qualifikationen und Kompetenznachweise eine Möglichkeit, das Vorhandensein von Kompetenzen zu belegen. Im Gegensatz zu herkömmlichen Prüfungen reduziert der IdA KompetenzCheck durch die vorliegenden Testsprachen (Deutsch, Englisch, Arabisch und Französisch) und die Einbindung von Bildern und (in der computerbasierten Version) Videos von Handlungssituationen die Sprachbarriere. Gleichzeitig bietet er – im Gegensatz zu vielen anderen praxisnahen Verfahren, wie z. B. Arbeitsproben – aufgrund seiner hochgradig standardisierten Präsentation Ergebnisse, die über verschiedene Teilnehmende hinweg vergleichbar sind. Als wissenschaftlich entwickeltes Verfahren bietet er den Vorteil (gegenüber manchem ausländischen Abschlusszeugnis von zertifizierenden Stellen unbekannter Herkunft), dass empirische Belege seiner Gültigkeit vorliegen, die von Interessierten vor einer Interpretation der Ergebnisse herangezogen werden können. Die enge Anbindung der Ergebnisrückmeldung an bestehende Teilqualifizierungsmodelle wiederum fördert die Anschlussförderlichkeit der Testergebnisse. Unter der Annahme, dass die Testinhalte des IdA KompetenzCheck Metall die beruflichen Anforderungen adäquat repräsentieren, lässt sich beispielsweise feststellen, dass die getestete Stichprobe eine durchschnittliche Kompetenz in allen getesteten Handlungsfeldern aufweist, dass die getesteten Kompetenzen mit Berufserfahrung einher zu gehen scheinen und dass sich die Kompetenz einzelner Getesteter in jedem Handlungsfeld mit einer hohen Reliabilität bestimmen lässt.

Generell sind neben den Vorzügen des IdA KompetenzCheck jedoch auch seine Grenzen anzuerkennen: Der IdA KompetenzCheck wird z. B. ausschließlich auf Papier oder am Computer bearbeitet und erfordert kein praktisches Tätigwerden. Auch wenn die gestellten Fragen in gewissem Maße durchaus Rückschlüsse auf berufliche Erfahrung erlauben (vgl. hierzu die Ausführungen in Abschn. 2 und die empirischen Validitätsbelege in Abschn. 4) scheint es angebracht, den IdA KompetenzCheck um weitere Verfahren zu ergänzen (z. B. Arbeitsproben), um ein ganzheitliches Bild von den Kompetenzen einer Person zu gewinnen, da motorische Fertigkeiten nicht direkt Gegenstand der Testung sind.

Auch der Forschungsstand zum IdA KompetenzCheck und ähnlichen Verfahren muss zum jetzigen Zeitpunkt als vorläufig beurteilt werden: Die empirische Erprobung der psychometrischen Qualität von Tests, die gemäß der hier vorgeschlagenen Systematik entwickelt wurden, befindet sich aktuell noch in vollem Gange und eine umfassende Kriteriums- und Konstruktvalidierung steht noch aus. Auch ein empirischer Nachweis für den Nutzen des IdA KompetenzCheck für die betriebliche Praxis, bzw. für die Zielgruppe Geflüchteter, steht zurzeit noch aus. Die vorliegende Arbeit versteht sich insofern lediglich als erster Anhaltspunkt für die Praktikabilität, Reliabilität und Validität des vorgestellten Verfahrens zur Testentwicklung. Ein abschließendes Urteil scheint zum jetzigen Zeitpunkt jedoch weder angemessen noch sinnvoll.

Weitere Forschung bietet sich insbesondere in Bezug auf Subgruppenunterschiede oder komplexere Messmodelle an, die sich in Bezug auf die Heterogenität der Zielgruppe empfehlen könnten (z. B. die Modellierung latenter Klassen, vgl. Rost 1990), sobald eine ausreichend umfassende Datengrundlage vorliegt. Borsboom und Mellenbergh (2007, S. 98) bemerken ergänzend dazu, wie unpassend das traditionelle reflektive Messmodell – also ein Messmodell, welches zur Annahme hat, dass eine höhere Ausprägung des latenten Konstrukts zur Konsequenz hat, bzw. sich darin widerspiegelt/reflektiert, dass Testaufgaben mit einer höheren Wahrscheinlichkeit gelöst werden können (Fischer und Neubert 2015) – bei der Vermessung von Wissensbeständen erscheint:

the proportion of facts you know does not make a difference for whether you can answer a particular question (you either can or cannot, which depends on whether you know the answer), but this proportion does make a difference to the number of questions you can answer (assuming that they are a representative sample from the domain).

Überträgt man diese Überlegungen von Borsboom und Mellenbergh (2007) auf den Bereich der Kompetenztestung, bleibt festzustellen, dass ein Kompetenztest durchaus Validität aufweisen kann (also messen kann, was er zu messen vorgibt), ohne über eine ausgeprägte Reliabilität zu verfügen (also ohne dass die Antworten auf einzelne Items des Tests korrelieren müssten; vgl. auch Fischer und Neubert 2015). Ein großer Anteil richtig gelöster Aufgaben lässt in diesem Fall also auf Kompetenz schließen, auch wenn die Ausprägung der Kompetenz sich nicht kausal und gleichermaßen auf die Beantwortung aller Items auswirken muss. Dabei ist anzumerken – und durchaus im Einklang mit den vorgelegten empirischen Ergebnissen – dass sich Validität und Reliabilität durchaus nicht ausschließen müssen. Wie Fischer und Neubert (2015) erörtern kann es gerade bei breit angelegten Kompetenzen, die eine heterogene Menge an Anforderungen umfassen, für eine reliable und valide Messung erforderlich sein, mehrere Komponenten von Kompetenz separat zu messen (also z. B. getrennt nach homogenen Handlungsfeldern, wie im IdA KompetenzCheck erfolgt).

Die separate Messung mehrerer berufsrelevanter Kompetenzen trägt dabei nicht nur den o. g. messtheoretischen Erwägungen Rechnung, sondern bietet auch einen praktischen Mehrwert für Geflüchtete und Betriebe: Dadurch, dass der IdA KompetenzCheck Testergebnisse auf der Ebene von berufsrelevanten Handlungsfeldern ausweist, erhalten die Getesteten die Möglichkeit, vorliegende Kompetenzen auch dann differenziert zu belegen, wenn eine umfassende berufliche Handlungsfähigkeit noch nicht vorliegt. Sowohl die Getesteten als auch Betriebe, erhalten auf diese Weise einen aussagekräftigen Anhaltspunkt dafür, in welchen Handlungsfeldern fachliche Kompetenzen vorliegen und in welchen Handlungsfeldern ggf. Weiterbildungsbedarf besteht. Im besten Fall eröffnet die differenzierte Ergebnisrückmeldung des IdA KompetenzCheck die Möglichkeit, Personen einerseits zielführend zu fördern und andererseits passgenau den Stellen zuzuweisen, für die sie sich aufgrund der vorliegenden Kompetenzen am besten eignen. Auf Basis bisheriger Erfahrungen mit der Zielgruppe der Geflüchteten ist zu erwarten, dass weitere Qualifizierung vor einem beruflichen Einsatz oftmals notwendig ist – nicht nur vor dem Hintergrund fehlender Kenntnis der deutschen (Fach‑)Sprache. Je konkreter die Tests Aussagen in Bezug auf die Einsatzfähigkeit am Arbeitsmarkt machen, desto zielgerichteter können fehlende Fertigkeiten nachqualifiziert werden, um bestehende Lücken gezielt zu schließen. Die bedarfsorientierte Nachqualifizierung kann teilweise auf Basis von Anpassungsqualifizierungen erfolgen. Jedoch erlangen Geflüchtete so keinen in Deutschland anerkannten Berufsabschluss. Alternativ können Berufsanschlussfähige Teilqualifikationen (TQ) zum Einsatz kommen, wie sie von der Bundesagentur für Arbeit gefördert werden. Teilqualifikationen sind Qualifizierungsbausteine, die systematisch in Teilschritten auf einen Berufsabschluss vorbereiten (z. B. Zeller et al. 2011). Alle Teile zusammen ergeben einen vollständigen Beruf. Bei hoher Passung zwischen Teilqualifizierung und Handlungsfeldern des Testverfahrens besteht so die Möglichkeit genau die noch fehlenden aber für einen Beruf notwendigen Kompetenzen zu erwerben. Über die Externenprüfung besteht dann die Möglichkeit, einen formalen Berufsabschluss zu erreichen.

Angesichts der schwierigen Lage vieler Geflüchteter auf dem deutschen Arbeitsmarkt, und dem vielerorts beklagten Fachkräftemangel, bieten Verfahren wie der IdA KompetenzCheck sowohl für Geflüchtete als auch für deutsche Betriebe eine wertvolle Chance, vorhandenes Potential nutzbar zu machen.

Vor diesem Hintergrund möchten wir anregen, den IdA KompetenzCheck (ebenso wie zahlreiche andere Verfahren der Kompetenzfeststellung) weder als vollumfängliches Diagnostikum beruflicher Handlungskompetenz misszuverstehen, noch ihn aufgrund der o. g. Grenzen zu verwerfen. Wir halten den IdA KompetenzCheck vielmehr für einen gelungenen Beitrag zu einer Validierung von Kompetenzen, die im Rahmen von nicht-zertifiziertem, non-formalem und informellem Lernen erworben wurden, der jedoch im Sinne einer ganzheitlichen Beurteilung von beruflicher Handlungskompetenz (KMK 2011) andere Verfahren der Kompetenzfeststellung nicht ersetzen, sondern nur ergänzen kann.

Grundsätzlich sollte jedwede Erfassung rein fachlicher Kompetenzen zum Zwecke einer ganzheitlichen Beurteilung stets ergänzt werden (Fischer und Neubert 2015) um weitere Aspekte einer umfassend verstandenen beruflichen Handlungskompetenz (KMK 2011).