Skip to main content
SpringerLink
Log in

Spezifika der beruflichen Kompetenzdiagnostik – Inhalte und Methodologie

Specifics of vocational competence measurement – contents and methodology

Zeitschrift für Erziehungswissenschaft volume 17, pages 9–32 (2014)Cite this article

Zusammenfassung

Kompetenzorientierte Assessmentverfahren fungieren als konstitutiver Bestandteil eines evaluationsbasierten und (international) vergleichbaren beruflichen Bildungssystems. Darüber hinaus rücken die Verfahren auch zunehmend als Anstoß für die Gestaltung von Lernprozessen und gleichsam als Lernmittel im Sinne formativer Assessments in den Fokus beruflicher Kompetenzmessung. Diese Anwendungsbereiche setzen jedoch eine breite Legitimationsbasis der kompetenzbasierten Assessmentverfahren voraus (Accountability). Allerdings bestehen gerade für den beruflichen Bereich sowohl im Hinblick auf die theoretischen Ausarbeitungen als auch hinsichtlich empirischer Modellierungen Unsicherheiten darüber, wie sich Leistungszuwächse und berufliche Professionalisierung analysieren und interpretieren lassen. Der Beitrag versucht hier in Form eines Problemaufrisses zunächst die Besonderheiten beruflicher Kompetenzmessungen sowie deren methodologische Implikationen herauszuarbeiten. Anschließend werden anhand konzeptioneller Modelle sowie empirischer Beispiele Anregungen zum Umgang mit den beschriebenen Problematiken präsentiert.

Abstract

Competence-based assessments form an integral part of an evaluation-oriented and (internationally) comparable vocational educational system. Also from a didactical perspective their influence for the monitoring of learning processes as well as for their deployment as formative assessments is growing. The various fields of application require a broadly based legitimacy (accountability), which is currently not yet in place: The present state of competency measurement is characterised by considerable uncertainties concerning the theoretical elaboration as well the empirical modelling of competences. The article accordingly elaborates the main specificities of vocational competence as well as their methodological implications for competence assessments. Furthermore, conceptual models as well as empirical examples will be presented, suggesting approaches to handle the described specificities of vocational competence measurements.

This is a preview of subscription content, access via your institution.

Access options

Buy single article

Instant access to the full article PDF.

USD 39.95

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Abb. 1
Abb. 2
Abb. 3
Abb. 4

Notes

  1. Zusätzlich zur Relevanz wurden die Häufigkeit sowie der Schwierigkeitsgrad der Berufsaufgaben und der Qualifikationsanforderungen erfasst (im Detail vgl. hierzu Breuer et al. 2009).

  2. Beschreibt die Steigung der IC-Funktion und damit inhaltlich die Trennschärfe.

  3. Dieses Verfahren erlaubt eine gemeinsame Positionierung von Items aus unterschiedlichen Tests auf einer einheitlichen Metrik. Hierzu werden die Itemparameter einer Gruppe von Items, welche an verschiedenen Personenstichproben kalibriert wurden, auf einer gemeinsamen Metrik positioniert.

Literatur

  • Achtenhagen, F., & Winther, E. (2009). Konstruktvalidität von Simulationsaufgaben: Computergestützte Messung berufsfachlicher Kompetenz am Beispiel der Ausbildung für Industriekaufleute. Abschlussbericht zur Einreichung beim BMBF. Professur für Wirtschaftspädagogik der Georg-August Universität Göttingen.

  • Adams, R. J., Wilson, M., & Wang, W.-C. (1997). The multidimensional random coefficients multinomial logit model. Aapplied Psychological Measurement, 21(1), 1–23.

    Article  Google Scholar 

  • Adams, R. J., & Wu, M. (Hrsg.). (2002). PISA 2000 technical report. Paris: OECD.

  • Andrich, D. (1978). A rating formulation for ordered response categories. Psychometrika, 43, 561–573.

    Article  Google Scholar 

  • Angoff, W. A. (1971). Scales, norms and equivalent scores. In R. L. Thorndike (Hrsg.), Educational measurement (2. Aufl., S. 508–600). Washington, DC: American Council on Education.

  • Anderson, L. W., & Krathwohl, D. R. (2001). A taxonomy for learning, teaching and assessing. A revision of bloom’s taxonomy of educational objectives. New York: Springer.

    Google Scholar 

  • Baethge, M., & Arends, L. (2009). Feasibility Study VET-LSA: A comparative analysis of occupational profiles and VET programmes in eight European countries. Bonn: BMBF.

    Google Scholar 

  • Baethge, M., Achtenhagen, F., Arends, L., Babic, E., Baethge-Kinsky, V., & Weber, S. (2006). Berufsbildungs-PISA-Machbarkeitsstudie. Stuttgart.

  • Baker, F. (2001). The basics of item response theory. ERIC clearinghouse on assessment and evaluation. College Park: University of Maryland, College Park.

  • Baumert, J., Artelt, C., Klieme, E., & Stanat, P. (2001). PISA. Programme for International Student Assessment. Zielsetzung, theoretische Konzeption und Entwicklung von Messverfahren. In F. E. Weinert (Hrsg.), Leistungsmessungen in Schulen (S. 285–310). Weinheim: Beltz.

  • Berk, R. A., & Rossi, P. H. (1998). Thinking about program evaluation. Newbury Park: Sage. Berufsbildungsgesetz (BBiG) vom 23. März 2005.

  • Birnbaum, A. (1968). Some latent trait models and their use in inferring an examinee’s ability. In F. M. Lord & M. R. Novick (Hrsg.), Statistical Theories of Mental Test Scores (S. 397–472). Massachusetts: Addison-Wesley.

  • Bloom, B. S. (1956). Taxonomy of educational objectives, handbook I: The cognitive domain. New York: David McKay Co Inc.

    Google Scholar 

  • Breuer, K., Hillen, S., & Winther, E. (2009). Comparative international analysis of occupational tasks and qualification requirements for the labour market and assessment tasks at the end of VET in participating countries – business and administration. In M. Baethge & L. Arends (Hrsg.), Feasibility study VET-LSA. A comparative analysis of occupational profiles and vet programmes in 8 european countries.international report. Bonn: BMBF.

  • Briggs, D., & Wilson, M. (2004). An introduction to multidimensional measurement using Rasch-models. In E. V. Smith & R. M. Smith (Hrsg.), Introduction to Rasch-measurement (S. 322–342). Maple Grove: JAM Press.

    Google Scholar 

  • Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Mahwah: Lawrence Erlbaum Associates.

    Google Scholar 

  • Fleishman, E. A., Costanza, D. P., & Marshall-Mies, J. (1999). Abilities. In N. G., Peterson, M. D., Mumford, W. C., Borman, P. R., Jeanneret, & E. A., Fleishman (Hrsg.), An occupational information system for the 21st century: The development of O*NET (S. 175–195). Washington, DC: American Psychological Association.

    Book  Google Scholar 

  • Gibbons, R., Bock, D., Hedeker, D., Weiss, D. J., Segawa, E., Bhaumik, D. K., Kupfer, D. J., Frank, E., Grochocinski, V. J., & Stover, A. (2007). Full-information item bifactor analysis of graded response data. Applied psychological measurement, 31, 4.

  • Gruber, H., Law, L.-C., Mandl, H., & Renkl, A. (1996). Situated learning and transfer: State of the art. In P. Reimann & H. Spada (Hrsg.), Learning in humans and machines: Towards an interdisciplinary learning science (S. 168–188). Oxford: Pergamon.

  • Hacker, W. (1986). Arbeitspsychologie. Psychische Regulation von Arbeitstätigkeiten. Bern: Huber.

    Google Scholar 

  • Hartig, J., & Höhler, J. (2008). Rrepresentation of competencies in multidimensional irt-models with within-item and between-item multidimensionality. Zeitschrift für psychologie, 216(2), 89–101.

    Google Scholar 

  • Hesse, H.-G. (2006). Das Potenzial von Kompetenzmodellen für die Entwicklung von Diagnoseinstrumenten im Bereich der Berufsberatung. In B.-J. Ertelt & H.-D. Braun (Hrsg.), Paradigmenwechsel in der Arbeitsmarkt- und Sozialpolitik? (S.  363–372). Brühl: Fachhochschule des Bundes für öffentliche Verwaltung.

  • Holland, P. W., & Rubin, D. B. (1982). Test equating. New York: Academic Press.

    Google Scholar 

  • Kiplinger, L. (2008). Reliability of large scale assessment and accountability systems. In K. E. Ryan & L. A. Shepard (Hrsg.), The future of test-based educational accountability (S. 93–114). New York: Routledge.

  • Klotz, V. K., & Winther, E. (2012). Kompetenzmessung in der kaufmännischen Berufsausbildung: Zwischen Prozessorientierung und Fachbezug. Eine Analyse der aktuellen Prüfungspraxis. Berufs – und Wirtschaftspädagogik online, 22(7). http://www.bwpat.de/ausgabe22/klotz_winther_bwpat22.pdf.

  • KMK. (1996). Handreichung für die Erarbeitung von Rahmenlehrplänen der Kultusministerkonferenz (KMK) für den berufsbezogenen Unterricht in der Berufsschule und ihre Abstimmung mit Ausbildungsordnungen des Bundes für anerkannte Ausbildungsberufe. Bonn.

  • Kolen, M. J. (1984). Effectiveness of analytic smoothing in equipercentile equating. Journal of Educational Statistics, 9, 25–44.

    Article  Google Scholar 

  • Kolen, M. J., & Brennan, R. L. (1995). Test equating, scaling, and linking. Methods and practices. New York: Springer.

    Google Scholar 

  • Lehmann, R. & Seeber, S. (Hrsg.). (2007). ULME III. Untersuchungen von Leistungen, Motivation und Einstellungen der Schülerinnen und Schüler in den Abschlussklassen der Berufsschulen. Hamburg: HIBB.

  • Mandl, H., Gruber, H., & Renkl, A. (1993). Kontextualisierung von Expertise. In H. Mandl, D. M., & H.-J. Kornadt (Hrsg.), Entwicklung und Denken im kulturellen Kontext (S. 203–228). Göttingen: Hogrefe.

  • Marzano, R. J., & Kendall, J. S. (2008). Designing and assessing educational objectives: Applying the new taxonomy. Thousand Oaks, CA: Corwin Press.

    Google Scholar 

  • Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrica, 47, 149–174.

    Article  Google Scholar 

  • Max, C. (1999). Entwicklung von Kompetenz – ein neues Paradigma für das Lernen in Schule und Arbeitswelt. Frankfurt a. M.: Peter Lang.

    Google Scholar 

  • Mislevy, R. J. & Haertel, G. D. (2006). Implications of evidence-centered design for educational testing. Educational Measurement: Issues and Practice, 25(4), 6–20.

    Google Scholar 

  • Muraki, E. (1992). A generalized partial credit model: Application of an EM algorithm. Applied Psychological Measurement, 16, 159–176.

    Article  Google Scholar 

  • Nickolaus, R. (2008). Die Erfassung fachlicher Kompetenzen und ihrer Entwicklung in der beruflichen Bildung – Forschungsstand und Perspektiven. In Zlatkin- Troitschanskaia, Olga (Hrsg.), Stationen Empirischer Bildungsforschung (2011, S. 331–351). Wiesbaden: VS-Verlag für Sozialwissenschaften.

    Google Scholar 

  • Nickolaus, R., Gschwendter, T., & Abele, S. (2009). Die Validität von Simulationsaufgaben am Beispiel der Diagnosekompetenz von Kfz-Mechatronikern. Vorstudie zur Validität von Simulationsaufgaben im Rahmen eines VET-LSA. Abschlussbericht für das Bundesministerium für Bildung und Forschung. Stuttgart.

  • Nunnally, J. C. (1978). Psychometric Theory (2nd Aufl.). New York.

  • OECD. (2008a). Employment Outlook 2008. Paris: OECD.

    Google Scholar 

  • OECD. (2008b). Education at a Glance 2008: OECD Indicators. Paris: OECD.

    Google Scholar 

  • Petersen, N. S., Kolen, M. J., & Hoover, H. D. (1989). Scaling, norming and equating. In R. L. Linn (Hrsg.), Educational Measurement (3rd Aufl., S. 221–262). New York: Macmillan.

  • Pittich, D. (2011). Studie zur Überprüfung des Zusammenhangs von Verständnis und Fachkompetenz bei Auszubildenden des Handwerks. In U. Fasshauer, E. Wuttke, & B. Fürstenau (Hrsg.), Grundlagenforschung zum Dualen System und Kompetenzentwicklung in der Lehrerbildung (S. 91–102). Opladen: Budrich.

  • Rauner, F., & Piening, D. (2010). Umgang mit Heterogenität in der beruflichen Bildung. EineHandreichung des Projekts KOMET. Universität Bremen.

  • Rauner, F., Haasler, B., Heinemann, L., & Grollmann, P. (2009). Messen beruflicher Kompetenzen. Münster: LIT-Verlag.

    Google Scholar 

  • Rost, J. (2004). Lehrbuch Testtheorie und Testkonstruktion. Bern: Hans Huber.

    Google Scholar 

  • Rost, J., & von Davier, M. (1993). Measuring different traits in different populations with the same items. In R. Steyer, K. F. Wender, & K. F. Widaman (Hrsg.), Psychometric methodology. Proceedings of the 7th European Meeting of the Psychometric Society in Trier. Stuttgart: Gustav Fischer Verlag.

  • Roth, H. (1971). Pädagogische Anthropologie. Entwicklung und Erziehung. Bd. II. 1. Aufl. Hannover: Hermann Schroedel Verlag.

  • Ryan, K. E. (2008). Fairness issues and educational accountability. In K. E. Ryan & L. A. Shepard (Hrsg.), The future of test-based educational accountability (S. 191–208). New York: Routledge.

  • Samejima, F. (1969). Estimation of latent ability using a response pattern of graded scores. Psychometrika, 34(4), 100–114.

    Google Scholar 

  • Seeber, S. (2008). Ansätze zur Modellierung beruflicher Fachkompetenz in kaufmännischen Ausbildungsberufen. Zeitschrift für Berufs- und Wirtschaftspädagogik, 104(1), 74–97.

    Google Scholar 

  • Seeber, S., Nickolaus, R., XY, E., Achtenhagen, F., Breuer, K., et al. (2010). Kompetenzdiagnostik in der Berufsbildung Begründung und Ausgestaltung eines Forschungsprogramms. Berufsbildung in Wissenschaft und Praxis, Beilage zu 1/2010, 1–15.

  • Shavelson, R. J. (2008). Reflections on quantitative reasoning: An assessment perspective. In B. L. Madison & L. A. Steen (Hrsg.), Calculation vs. context: Quantitative literacy and its implications for teacher education (S. 27–47). Mathematical Association of America.

  • Shrout, P. E. & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86, 420–428.

    Google Scholar 

  • Straka, G. A., & Macke, G. (2011). Handlungsorientierung in der Berufsschule – eine erfolgversprechende Unterrichtsmethode? Zeitschrift für Berufs- und Wirtschafts-pädagogik, 107(3), 451–456.

    Google Scholar 

  • Volpert, W. (1983). Handlungsstrukturanalyse als Beitrag zur Qualifikationsforschung. Köln: Pahl-Rugenstein.

    Google Scholar 

  • von Davier, M., & Yamamoto, K. (2004). Partially observed mixtures of IRT models: An extension of the generalized partial credit model. Applied Psychological Measurement 28(6), 389–406. http://apm.sagepub.com/content/28/6/389.refs. Zugegriffen: 11. Aug. 2012.

  • von Davier, A. A., Holland, P. W., & Thayer, D. T. (2004). The kernel method of equating. New York: Springer.

    Google Scholar 

  • Weinert, F. E. (2001). Vergleichende Leistungsmessung in Schulen – eine umstrittene Selbstverständlichkeit. In F. E. Weinert (Hrsg.), Leistungsmessungen in Schulen (S. 17–32). Weinheim: Beltz.

  • Weiss, D. J., & Davison, M. L. (1981). Test theory and methods. Annual Review of Psychology, 32, 1.

    Google Scholar 

  • Winther, E. (2010). Kompetenzmessung in der beruflichen Bildung. Bielefeld: Bertelsmann.

    Google Scholar 

  • Winther, E. (2011). Das ist doch nicht fair! – Mehrdimensionalität und Testfairness in kaufmännischen Assessments. Zeitschrift für Berufs- und Wirtschaftspädagogik, 107(2), 218–238.

    Google Scholar 

  • Winther, E., & Achtenhagen, F. (2009). Skalen und Stufen kaufmännischer Kompetenz. Zeitschrift für Berufs- und Wirtschaftspädagogik, 105(4), 521–556.

    Google Scholar 

  • Wright, B. D., & Stone, M. H. (1979). Best test design. Chicago: MESA Press.

    Google Scholar 

  • Wu, M. L., Adams, R. J., Wilson, M. & Haldane, S. A. (2007). ACER ConQuest. Version 2.0. Generalised Item Response Software. Camberwell: ACER Press.

  • Yu, C. Y., & Muthén, B. O. (2002). Evaluation of model fit indices for latent variable models with categorical and continuous outcomes (Technical Report). Los Angeles: University of California at Los Angeles, Graduate School of Education and Information Studies.

    Google Scholar 

Download references

Author information

Authors and Affiliations

  1. Universität Paderborn, Warburger Straße 100, 33098, Paderborn, Deutschland

    Esther Winther & Viola Katharina Klotz

Authors
  1. Esther Winther
    View author publications

    You can also search for this author in PubMed Google Scholar

  2. Viola Katharina Klotz
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to Esther Winther.

Additional information

Der Beitrag ist entstanden im Rahmen des Teilprojekts „Kompetenzorientierte Assessments in der beruflichen Bildung“ (Wi 3597/1-1 sowie Wi 3597/1-2) des DFG-Schwerpunktprogramms „Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen“ (SPP 1293).

Rights and permissions

Reprints and Permissions

About this article

Cite this article

Winther, E., Klotz, V. Spezifika der beruflichen Kompetenzdiagnostik – Inhalte und Methodologie. Z Erziehungswiss 17 (Suppl 1), 9–32 (2014). https://doi.org/10.1007/s11618-013-0455-4

Download citation

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s11618-013-0455-4

Schlüsselwörter

Keywords

search

Navigation