Advertisement

Innovationen in der Lehre messbar machen

Psychometrische Validierung des Messinstrumentes „Radio-Prak“ am Beispiel eines klinisch-praktischen Seminars der interventionellen Radiologie
  • J. BartelsEmail author
  • J. Backhaus
  • R. Kickuth
  • F. Fluck
  • S. König
  • A. Augustin
Originalien
  • 38 Downloads

Zusammenfassung

Hintergrund

Vor dem Hintergrund der Reform der medizinischen Ausbildung mit einem stärkeren Fokus auf klinisch-praktischen Fertigkeiten wurde ein umstrukturiertes Seminar der interventionellen Radiologie mithilfe eines neu entwickelten Fragebogens evaluiert.

Ziel der Arbeit

Die Wissensvermittlung in der Humanmedizin erfolgt zunehmend im Rahmen anwendungsbezogener Lehrformate. Ein geeignetes Evaluationsinstrument stellt eine essenzielle Voraussetzung dar, die Qualität der Lehrveranstaltungen zu bewerten. Ziel der Studie war es, das Seminar „Interventionelle Radiologie“ zu evaluieren und den Fragebogen „Radio-Prak“ zu validieren.

Material und Methoden

Im Sommersemester 2018 wurden 123 teilnehmenden Studierende des neu etablierten Seminars gebeten, ihre Bewertungen anhand von 23 Items auf einer 5‑stufigen Likert-Skala zu dokumentieren. Die Validierung des „Radio-Prak“ erfolgte mittels explorativer Faktoren- und Reliabilitätsanalyse. Die differenzielle Validität wurde anhand von Gruppenunterschieden untersucht.

Ergebnisse

Das Seminar „Interventionelle Radiologie“ wurde insgesamt sehr positiv bewertet (Bewertung = 1,31, auf einer Skala von 1 = sehr gut bis 5 = ungenügend). Es ergaben sich die 2 Hauptfaktoren „didaktische Qualität“ und „praktische Qualität“ (jeweils 5 Items, α = 0,68). Das Seminar wurde umso positiver bewertet, je angemessener die Übungszeit empfunden wurde (p < 0,05). Darüber hinaus fiel die signifikant defensivere Selbsteinschätzung der Studentinnen zum Item „Ich habe dank des Seminars mein räumliches Vorstellungsvermögen verbessert“ auf (p < 0,05).

Diskussion

Der Fragebogen „Radio-Prak“ stellt ein reliables und valides Instrument zur Messung der Konzeptions- und Durchführungsqualität des klinisch-praktischen Seminars dar. Die Studierenden beurteilten die didaktische Dimension, räumten aber auch dem Praxisanteil einen hohen Stellenwert bei der Bewertung ein.

Schlüsselwörter

Psychometrische Evaluation Interventionelle Radiologie Medizinische Lehre Hands-on-Seminar Simulation in der Lehre 

Making innovation in teaching measurable

Psychometric validation of the “Radio-Prak”: a questionnaire using the example of a clinical practical seminar in interventional radiology

Abstract

Background

As part of the reform of medical education with a stronger focus on clinical–practical skills, a restructured seminar on interventional radiology was evaluated using a newly developed questionnaire.

Objectives

Because knowledge in medical education is increasingly transferred by means of application-based teaching formats, a suitable evaluation tool is essential to assess the quality of newly implemented teaching courses. The aim of this study was to evaluate the seminar on interventional radiology and to validate the “Radio-Prak” questionnaire psychometrically in the process.

Materials and methods

In the summer semester of 2018, 123 students participating in the newly established seminar were asked to document their satisfaction using the “Radio-Prak” questionnaire with 23 items employing a 5-point Likert scale. We evaluated the questionnaire psychometrically by performing exploratory factor (EFA) and reliability analysis and examined differential validity by group differences.

Results

The newly structured seminar on interventional radiology was met with great approval by students (mean global rating = 1.31, on a grading scale where 1 = very good, 5 = insufficient). EFA revealed that the questionnaire consisted of two main factors “didactic quality” and “practical quality” (five items each, α = 0.68). The seminar was rated more positively when students perceived the time for practice as sufficient (p < 0.05). Furthermore, female students demonstrated significantly less self-esteem, identified by the item “I have improved my spatial ability through the seminar,” (p < 0.05).

Conclusion

The “Radio-Prak” questionnaire is both reliable and valid as an instrument to evaluate the quality of a clinical–practical seminar. The students assessed the didactic dimension, but also rated the practical component as important in the assessment.

Keywords

Psychometrical evaluation Interventional radiology Medical education Hands-on seminar Simulation in education 

Notes

Einhaltung ethischer Richtlinien

Interessenkonflikt

J. Bartels, J. Backhaus, R. Kickuth, F. Fluck, S. König und A. Augustin geben an, dass kein Interessenkonflikt besteht.

Für diesen Beitrag wurden von den Autoren keine Studien an Menschen oder Tieren durchgeführt. Für die aufgeführten Studien gelten die jeweils dort angegebenen ethischen Richtlinien.

Literatur

  1. 1.
    für Gesundheit DB. Approbationsordnung für Ärzte vom 27. Juni 2002. Bundesgesetzblatt 2002; 1: 2405–2435Google Scholar
  2. 2.
    Gudjons H (2007) Frontalunterricht-neu entdeckt: Integration in offene Unterrichtsformen. Utb, StuttgartGoogle Scholar
  3. 3.
    Frank MS, Dreyer K (2001) Empowering radiologic education on the Internet: a new virtual website technology for hosting interactive educational content on the World Wide Web. J Digit Imaging 14:113–116CrossRefGoogle Scholar
  4. 4.
    Richardson ML, Norris TE (1997) On-line delivery of continuing medical education over the World-Wide Web: an on-line needs assessment. AJR Am J Roentgenol 168:1161–1164.  https://doi.org/10.2214/ajr.168.5.9129405 CrossRefPubMedGoogle Scholar
  5. 5.
    Weinberger E, Jakobovits R, Halsted M (2002) MyPACS.net: a Web-based teaching file authoring tool. AJR Am J Roentgenol 179:579–582.  https://doi.org/10.2214/ajr.179.3.1790579 CrossRefPubMedGoogle Scholar
  6. 6.
    Hahn E, Fischer M (2009) Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT). GMS Z Med Ausbild 26:2009–2026Google Scholar
  7. 7.
    Hmelo-Silver CE, Duncan RG, Chinn CA (2007) Scaffolding and achievement in problem-based and inquiry learning: a response to Kirschner, Sweller, and. Educ Psychol 42:99–107CrossRefGoogle Scholar
  8. 8.
    Van Merrienboer JJ, Kester L, Paas F (2006) Teaching complex rather than simple tasks: Balancing intrinsic and germane load to enhance transfer of learning. Appl Cognit Psychol 20:343–352CrossRefGoogle Scholar
  9. 9.
    Gibson KA, Boyle P, Black DA et al (2008) Enhancing evaluation in an undergraduate medical education program. Acad Med 83:787–793CrossRefGoogle Scholar
  10. 10.
    WHO (2007) Process of translation and adaptation of instrumentsGoogle Scholar
  11. 11.
    Muniz J, Elosua P, Hambleton RK (2012) International Test Commission Guidelines for test translation and adaptation. Psicothema 25:151–157Google Scholar
  12. 12.
    Machines IB (2013) IBM SPSS Statistics for Windows, Version 22.0. IBM Corp Armonk, NYGoogle Scholar
  13. 13.
    Beavers AS, Lounsbury JW, Richards JK et al (2013) Practical considerations for using exploratory factor analysis in educational research. Pract Assess Res Eval 18:1–13Google Scholar
  14. 14.
    Möltner A, Schellberg D, Jünger J (2006) Grundlegende quantitative Analysen medizinischer Prüfungen. GMS Z Med Ausbild 23:2006–2023Google Scholar
  15. 15.
    MacCallum RC, Widaman KF, Zhang S et al (1999) Sample size in factor analysis. Psychol Methods 4:84CrossRefGoogle Scholar
  16. 16.
    Rasch D, Guiard VJPS (2004) The robustness of parametric statistical methods. Psychology Science 46:175–208Google Scholar
  17. 17.
    Osborne JW, Costello AB (2009) Best practices in exploratory factor analysis: Four recommendations for getting the most from your analysis. Pan-Pacific Manag Rev 12:131–146Google Scholar
  18. 18.
    McGaghie WC, Issenberg SB, Petrusa ER et al (2016) Revisiting ‘A critical review of simulation-based medical education research: 2003–2009’. Med Educ 50:986–991CrossRefGoogle Scholar
  19. 19.
    Wissenschaftsrat D (2015) Empfehlungen zur Weiterentwicklung des Medizinstudiums in Deutschland auf Grundlage einer Bestandsaufnahme der humanmedizinischen Modellstudiengänge 2015. Google ScholarGoogle Scholar
  20. 20.
    Javaid A (2017) The future of medical education: meeting the global standards. Khyber Med Univ J 9:115–116Google Scholar
  21. 21.
    Council E (1998) International standards in medical education: assessment and accreditation of medical schools’–educational programmes. A WFME position paper. Med Educ 32:549–558CrossRefGoogle Scholar
  22. 22.
    Weller J, Boyd M, Cumin D (2014) Teams, tribes and patient safety: overcoming barriers to effective teamwork in healthcare. Postgrad Med J 90:149–154CrossRefGoogle Scholar
  23. 23.
    Brydges R, Hatala R, Zendejas B et al (2015) Linking simulation-based educational assessments and patient-related outcomes: a systematic review and meta-analysis. Acad Med 90:246–256CrossRefGoogle Scholar
  24. 24.
    Branstetter IVBF, Humphrey AL, Schumann JB (2008) The long-term impact of preclinical education on medical students’ opinions about radiology. Acad Radiol 15:1331–1339CrossRefGoogle Scholar
  25. 25.
    Issenberg BS, McGaghie WC, Petrusa ER et al (2005) Features and uses of high-fidelity medical simulations that lead to effective learning: a BEME systematic review. Med Teach 27:10–28CrossRefGoogle Scholar
  26. 26.
    Wayne DB, Didwania A, Feinglass J et al (2008) Simulation-based education improves quality of care during cardiac arrest team responses at an academic teaching hospital: a case-control study. Chest 133:56–61CrossRefGoogle Scholar
  27. 27.
    Hyde JS, Fennema E, Ryan M et al (1990) Gender comparisons of mathematics attitudes and affect: a meta-analysis. Psychol Women Q 14:299–324CrossRefGoogle Scholar
  28. 28.
    Lufler RS, Zumwalt AC, Romney CA et al (2012) Effect of visual–spatial ability on medical students’ performance in a gross anatomy course. Anat Sci Ed 5:3–9CrossRefGoogle Scholar
  29. 29.
    Jha AK, Duncan BW, Bates DW (2001) Simulator-based training and patient safety. Making health care safer: a critical analysis of patient safety practices. 45:511–518Google Scholar
  30. 30.
    Marsh HW (1984) Students’ evaluations of university teaching: Dimensionality, reliability, validity, potential baises, and utility. J Educ Psychol 76:707CrossRefGoogle Scholar

Copyright information

© Springer Medizin Verlag GmbH, ein Teil von Springer Nature 2019

Authors and Affiliations

  • J. Bartels
    • 1
    Email author
  • J. Backhaus
    • 1
  • R. Kickuth
    • 2
  • F. Fluck
    • 2
  • S. König
    • 1
  • A. Augustin
    • 2
  1. 1.Institut für Medizinische Lehre und Ausbildungsforschung Würzburg (IMLA)WürzburgDeutschland
  2. 2.Institut für Diagnostische und Interventionelle RadiologieUniversitätsklinikum WürzburgWürzburgDeutschland

Personalised recommendations