Advertisement

Innovationen in der Lehre messbar machen

Psychometrische Validierung des Messinstrumentes „Radio-Prak“ am Beispiel eines klinisch-praktischen Seminars der interventionellen Radiologie

Making innovation in teaching measurable

Psychometric validation of the “Radio-Prak”: a questionnaire using the example of a clinical practical seminar in interventional radiology

  • 17 Accesses

Zusammenfassung

Hintergrund

Vor dem Hintergrund der Reform der medizinischen Ausbildung mit einem stärkeren Fokus auf klinisch-praktischen Fertigkeiten wurde ein umstrukturiertes Seminar der interventionellen Radiologie mithilfe eines neu entwickelten Fragebogens evaluiert.

Ziel der Arbeit

Die Wissensvermittlung in der Humanmedizin erfolgt zunehmend im Rahmen anwendungsbezogener Lehrformate. Ein geeignetes Evaluationsinstrument stellt eine essenzielle Voraussetzung dar, die Qualität der Lehrveranstaltungen zu bewerten. Ziel der Studie war es, das Seminar „Interventionelle Radiologie“ zu evaluieren und den Fragebogen „Radio-Prak“ zu validieren.

Material und Methoden

Im Sommersemester 2018 wurden 123 teilnehmenden Studierende des neu etablierten Seminars gebeten, ihre Bewertungen anhand von 23 Items auf einer 5‑stufigen Likert-Skala zu dokumentieren. Die Validierung des „Radio-Prak“ erfolgte mittels explorativer Faktoren- und Reliabilitätsanalyse. Die differenzielle Validität wurde anhand von Gruppenunterschieden untersucht.

Ergebnisse

Das Seminar „Interventionelle Radiologie“ wurde insgesamt sehr positiv bewertet (Bewertung = 1,31, auf einer Skala von 1 = sehr gut bis 5 = ungenügend). Es ergaben sich die 2 Hauptfaktoren „didaktische Qualität“ und „praktische Qualität“ (jeweils 5 Items, α = 0,68). Das Seminar wurde umso positiver bewertet, je angemessener die Übungszeit empfunden wurde (p < 0,05). Darüber hinaus fiel die signifikant defensivere Selbsteinschätzung der Studentinnen zum Item „Ich habe dank des Seminars mein räumliches Vorstellungsvermögen verbessert“ auf (p < 0,05).

Diskussion

Der Fragebogen „Radio-Prak“ stellt ein reliables und valides Instrument zur Messung der Konzeptions- und Durchführungsqualität des klinisch-praktischen Seminars dar. Die Studierenden beurteilten die didaktische Dimension, räumten aber auch dem Praxisanteil einen hohen Stellenwert bei der Bewertung ein.

Abstract

Background

As part of the reform of medical education with a stronger focus on clinical–practical skills, a restructured seminar on interventional radiology was evaluated using a newly developed questionnaire.

Objectives

Because knowledge in medical education is increasingly transferred by means of application-based teaching formats, a suitable evaluation tool is essential to assess the quality of newly implemented teaching courses. The aim of this study was to evaluate the seminar on interventional radiology and to validate the “Radio-Prak” questionnaire psychometrically in the process.

Materials and methods

In the summer semester of 2018, 123 students participating in the newly established seminar were asked to document their satisfaction using the “Radio-Prak” questionnaire with 23 items employing a 5-point Likert scale. We evaluated the questionnaire psychometrically by performing exploratory factor (EFA) and reliability analysis and examined differential validity by group differences.

Results

The newly structured seminar on interventional radiology was met with great approval by students (mean global rating = 1.31, on a grading scale where 1 = very good, 5 = insufficient). EFA revealed that the questionnaire consisted of two main factors “didactic quality” and “practical quality” (five items each, α = 0.68). The seminar was rated more positively when students perceived the time for practice as sufficient (p < 0.05). Furthermore, female students demonstrated significantly less self-esteem, identified by the item “I have improved my spatial ability through the seminar,” (p < 0.05).

Conclusion

The “Radio-Prak” questionnaire is both reliable and valid as an instrument to evaluate the quality of a clinical–practical seminar. The students assessed the didactic dimension, but also rated the practical component as important in the assessment.

This is a preview of subscription content, log in to check access.

Access options

Buy single article

Instant unlimited access to the full article PDF.

US$ 39.95

Price includes VAT for USA

Abb. 1
Abb. 2

Literatur

  1. 1.

    für Gesundheit DB. Approbationsordnung für Ärzte vom 27. Juni 2002. Bundesgesetzblatt 2002; 1: 2405–2435

  2. 2.

    Gudjons H (2007) Frontalunterricht-neu entdeckt: Integration in offene Unterrichtsformen. Utb, Stuttgart

  3. 3.

    Frank MS, Dreyer K (2001) Empowering radiologic education on the Internet: a new virtual website technology for hosting interactive educational content on the World Wide Web. J Digit Imaging 14:113–116

  4. 4.

    Richardson ML, Norris TE (1997) On-line delivery of continuing medical education over the World-Wide Web: an on-line needs assessment. AJR Am J Roentgenol 168:1161–1164. https://doi.org/10.2214/ajr.168.5.9129405

  5. 5.

    Weinberger E, Jakobovits R, Halsted M (2002) MyPACS.net: a Web-based teaching file authoring tool. AJR Am J Roentgenol 179:579–582. https://doi.org/10.2214/ajr.179.3.1790579

  6. 6.

    Hahn E, Fischer M (2009) Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT). GMS Z Med Ausbild 26:2009–2026

  7. 7.

    Hmelo-Silver CE, Duncan RG, Chinn CA (2007) Scaffolding and achievement in problem-based and inquiry learning: a response to Kirschner, Sweller, and. Educ Psychol 42:99–107

  8. 8.

    Van Merrienboer JJ, Kester L, Paas F (2006) Teaching complex rather than simple tasks: Balancing intrinsic and germane load to enhance transfer of learning. Appl Cognit Psychol 20:343–352

  9. 9.

    Gibson KA, Boyle P, Black DA et al (2008) Enhancing evaluation in an undergraduate medical education program. Acad Med 83:787–793

  10. 10.

    WHO (2007) Process of translation and adaptation of instruments

  11. 11.

    Muniz J, Elosua P, Hambleton RK (2012) International Test Commission Guidelines for test translation and adaptation. Psicothema 25:151–157

  12. 12.

    Machines IB (2013) IBM SPSS Statistics for Windows, Version 22.0. IBM Corp Armonk, NY

  13. 13.

    Beavers AS, Lounsbury JW, Richards JK et al (2013) Practical considerations for using exploratory factor analysis in educational research. Pract Assess Res Eval 18:1–13

  14. 14.

    Möltner A, Schellberg D, Jünger J (2006) Grundlegende quantitative Analysen medizinischer Prüfungen. GMS Z Med Ausbild 23:2006–2023

  15. 15.

    MacCallum RC, Widaman KF, Zhang S et al (1999) Sample size in factor analysis. Psychol Methods 4:84

  16. 16.

    Rasch D, Guiard VJPS (2004) The robustness of parametric statistical methods. Psychology Science 46:175–208

  17. 17.

    Osborne JW, Costello AB (2009) Best practices in exploratory factor analysis: Four recommendations for getting the most from your analysis. Pan-Pacific Manag Rev 12:131–146

  18. 18.

    McGaghie WC, Issenberg SB, Petrusa ER et al (2016) Revisiting ‘A critical review of simulation-based medical education research: 2003–2009’. Med Educ 50:986–991

  19. 19.

    Wissenschaftsrat D (2015) Empfehlungen zur Weiterentwicklung des Medizinstudiums in Deutschland auf Grundlage einer Bestandsaufnahme der humanmedizinischen Modellstudiengänge 2015. Google Scholar

  20. 20.

    Javaid A (2017) The future of medical education: meeting the global standards. Khyber Med Univ J 9:115–116

  21. 21.

    Council E (1998) International standards in medical education: assessment and accreditation of medical schools’–educational programmes. A WFME position paper. Med Educ 32:549–558

  22. 22.

    Weller J, Boyd M, Cumin D (2014) Teams, tribes and patient safety: overcoming barriers to effective teamwork in healthcare. Postgrad Med J 90:149–154

  23. 23.

    Brydges R, Hatala R, Zendejas B et al (2015) Linking simulation-based educational assessments and patient-related outcomes: a systematic review and meta-analysis. Acad Med 90:246–256

  24. 24.

    Branstetter IVBF, Humphrey AL, Schumann JB (2008) The long-term impact of preclinical education on medical students’ opinions about radiology. Acad Radiol 15:1331–1339

  25. 25.

    Issenberg BS, McGaghie WC, Petrusa ER et al (2005) Features and uses of high-fidelity medical simulations that lead to effective learning: a BEME systematic review. Med Teach 27:10–28

  26. 26.

    Wayne DB, Didwania A, Feinglass J et al (2008) Simulation-based education improves quality of care during cardiac arrest team responses at an academic teaching hospital: a case-control study. Chest 133:56–61

  27. 27.

    Hyde JS, Fennema E, Ryan M et al (1990) Gender comparisons of mathematics attitudes and affect: a meta-analysis. Psychol Women Q 14:299–324

  28. 28.

    Lufler RS, Zumwalt AC, Romney CA et al (2012) Effect of visual–spatial ability on medical students’ performance in a gross anatomy course. Anat Sci Ed 5:3–9

  29. 29.

    Jha AK, Duncan BW, Bates DW (2001) Simulator-based training and patient safety. Making health care safer: a critical analysis of patient safety practices. 45:511–518

  30. 30.

    Marsh HW (1984) Students’ evaluations of university teaching: Dimensionality, reliability, validity, potential baises, and utility. J Educ Psychol 76:707

Download references

Author information

Correspondence to J. Bartels.

Ethics declarations

Interessenkonflikt

J. Bartels, J. Backhaus, R. Kickuth, F. Fluck, S. König und A. Augustin geben an, dass kein Interessenkonflikt besteht.

Für diesen Beitrag wurden von den Autoren keine Studien an Menschen oder Tieren durchgeführt. Für die aufgeführten Studien gelten die jeweils dort angegebenen ethischen Richtlinien.

Rights and permissions

Reprints and Permissions

About this article

Verify currency and authenticity via CrossMark

Cite this article

Bartels, J., Backhaus, J., Kickuth, R. et al. Innovationen in der Lehre messbar machen. Radiologe (2020) doi:10.1007/s00117-019-00631-y

Download citation

Schlüsselwörter

  • Psychometrische Evaluation
  • Interventionelle Radiologie
  • Medizinische Lehre
  • Hands-on-Seminar
  • Simulation in der Lehre

Keywords

  • Psychometrical evaluation
  • Interventional radiology
  • Medical education
  • Hands-on seminar
  • Simulation in education