Advertisement

„Interactive augmented reality systems“

Hilfsmittel zur personalisierten Patientenaufklärung und Rehabilitation

Interactive augmented reality systems

Aid for personalized patient education and rehabilitation

Zusammenfassung

Hintergrund

Im Rahmen der Patientenaufklärung spielt der Informationsaustausch sowohl für die Patienten-Compliance bei medizinischen oder rehabilitativen Behandlungen als auch zum Erhalt der Einwilligung von Patienten zu einem operativen Eingriff eine zentrale Rolle.

Ziele der Arbeit

In diesem Beitrag wird das Augmented-reality-System „Magic Mirror“ als mögliches Hilfsmittel für die Patientenaufklärung und Rehabilitation sowie als unterstützendes Lehrmittel für die Anatomielehre betrachtet.

Material und Methoden

Magic Mirror bietet dem Benutzer die Möglichkeit, sowohl ein detailliertes, anatomisches 3D-Modell des menschlichen Körpers als auch Schnittbilder aus volumetrischen Datensätzen interaktiv in einer Art digitalem Spiegel zu untersuchen.

Ergebnisse

Erste Ergebnisse aus dem Bereich Rehabilitation und Anatomielehre demonstrieren das Potenzial des Magic Mirror. Auch für die Patientenaufklärung bietet das System interessante Vorteile, verglichen mit bisherigen Aufklärungsmethoden.

Schlussfolgerung

Neuartige Technologien wie Augmented reality öffnen die Tür für viele Innovationen in der Medizin. Auch in Zukunft werden patientenorientierte Systeme wie der Magic Mirror verstärkt in Bereichen wie Aufklärung und Rehabilitation zum Einsatz kommen. Um den Nutzen dieser Systeme zu maximieren, bedarf es weiterer Evaluationsstudien, die die genauen Anwendungsszenarien untersuchen und einen iterativen Optimierungsprozess der Systeme anstoßen.

Abstract

Background

During patient education, information exchange plays a critical role both for patient compliance during medical or rehabilitative treatment and for obtaining an informed consent for an operative procedure.

Objective

In this article the augmented reality system “Magic Mirror” as an additive tool during patient education, rehabilitation as well as anatomical education is highlighted.

Material and methods

The Magic Mirror system allows the user of the system to inspect both a detailed model of the 3‑dimensional anatomy of the human body and volumetric slice images in a virtual mirror environment.

Results

First preliminary results from the areas of rehabilitation and learning anatomy indicate the broad potential of the Magic Mirror. Similarly, the system also provides interesting advantages for patient education situations in comparison to traditional methods of information exchange.

Conclusion

Novel technologies, such as augmented reality are a door opener for many innovations in medicine. In the future, patient-specific systems, such as the Magic Mirror will be used increasingly more in areas such as patient education and rehabilitation. In order to maximize the benefits of such systems, further evaluation studies are necessary to find out about the best use cases and to start an iterative optimization process of these systems.

This is a preview of subscription content, log in to check access.

Access options

Buy single article

Instant unlimited access to the full article PDF.

US$ 39.95

Price includes VAT for USA

Abb. 1
Abb. 2
Abb. 3
Abb. 4

Literatur

  1. 1.

    Azuma RT (1997) A survey of augmented reality. Presence Teleoperator Virtual Environ 6(4):355–385

  2. 2.

    Azuma R, Baillot Y, Behringer R, Feiner S, Julier S, MacIntyre B (2001) Recent advances in augmented reality. IEEE Comput Graph Appl 21(6):34–47

  3. 3.

    Bajura M, Fuchs H, Ohbuchi R (1992) Merging virtual objects with the real world: seeing ultrasound imagery within the patient. ACM SIGGRAPH Comput Graph 26(2):203–210

  4. 4.

    Chen L, Day T, Tang W, John NW (2017) Recent developments and future challenges in medical mixed reality. IEEE International Symposium on Mixed and Augmented Reality.

  5. 5.

    Estai M, Bunt S (2016) Best teaching practices in anatomy education: a critical review. Ann Anat 30(208):151–157

  6. 6.

    Fuchs H, Livingston MA, Raskar R, Keller K, Crawford JR, Rademacher P, Drake SH, Meyer AA (1998) Augmented reality visualization for laparoscopic surgery. International Conference on Medical Image Computing and Computer-Assisted Intervention, S 934–943

  7. 7.

    Kinnersley P, Phillips K, Savage K, Kelly MJ, Farrell E, Morgan B, Whistance R, Lewis V, Mann MK, Stephens BL, Blazeby J (2013) Interventions to promote informed consent for patients undergoing surgical and other invasive healthcare procedures. Cochrane Database Syst Rev. https://doi.org/10.1002/14651858.CD009445.pub2

  8. 8.

    Kugelmann D, Stratmann L, Nühlen N, Bork F, Hoffmann S, Samarbarksh G, Pferschy A, von der Heide AM, Eimannsberger A, Fallavollita P, Navab N (2017) An augmented reality magic mirror as additive teaching device for gross anatomy. Ann Anat 215:71–77. https://doi.org/10.1016/j.aanat.2017.09.011

  9. 9.

    Livingston MA, Garrett WF, Hirota G, Whitton MC, Pisano ED, Fuchs H (1996) Technologies for augmented reality systems: realizing ultrasound-guided needle biopsies. Proceedings of the 23rd annual conference on computer graphics and interactive techniques, S 439–446

  10. 10.

    Ludmerer KM (1999) Time to heal: American medical education from the turn of the century to the era of managed care. Oxford University Press, OXford

  11. 11.

    Ma M, Fallavollita P, Blum T, Eck U, Sandor C, Weidert S, Waschke J, Navab N (2013) Kinect for interactive AR anatomy learning. IEEE International Symposium on Mixed and Augmented Reality, S 277–278

  12. 12.

    Ma M, Jutzi P, Bork F, Seelbach I, von der Heide AM, Navab N, Fallavollita P (2016) Interactive mixed reality for muscle structure and function learning. International Conference on Medical Imaging and Virtual Reality, S 117–128

  13. 13.

    Mulsow JJ, Feeley TM, Tierney S (2012) Beyond consent – improving understanding in surgical patients. Am J Surg 203(1):112–120

  14. 14.

    Ong LM, De Haes JC, Hoos AM, Lammes FB (1995) Doctor-patient communication: a review of the literature. Soc Sci Med 40(7):903–918

  15. 15.

    Sabaté E (2003) Adherence to long-term therapies: evidence for action. World Health Organization, Genf

  16. 16.

    Schenker Y, Fernandez A, Sudore R, Schillinger D (2011) Interventions to improve patient comprehension in informed consent for medical and surgical procedures: a systematic review. Med Decis Making 31(1):151–173

  17. 17.

    Schröder W, Prescher A, Andermahr J, Burger C (2016) Akademie aktuell: Ohne Anatomie geht gar nichts in der Chirurgie. Passion Chir 6(1)

  18. 18.

    Shotton J, Sharp T, Kipman A, Fitzgibbon A, Finocchio M, Blake A, Cook M, Moore R (2013) Real-time human pose recognition in parts from single depth images. Commun ACM 56(1):116–124

  19. 19.

    Singh V, Kharb P (2013) A paradigm shift from teaching to learning gross anatomy: meta-analysis of implications for instructional methods. J Anat Soc India 62(1):84–89

  20. 20.

    Wilcox L, Morris D, Tan D, Gatewood J (2010) Designing patient-centric information displays for hospitals. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, S 2123–2132

  21. 21.

    Williams N, Ogden J (2004) The impact of matching the patient’s vocabulary: a randomized control trial. Fam Pract 21(6):630–635

  22. 22.

    Yin B, Goldsmith L, Gambardella R (2015) Web-based education prior to knee arthroscopy enhances informed consent and patient knowledge recall: a prospective, randomized controlled study. J Bone Joint Surg Am 97(12):964–971

  23. 23.

    Yu K, Barmaki R, Unberath M, Hwan CT, Navab N (2018) On the accuracy of low-cost motion capture systems for range of motion measurements. SPIE Medical Imaging.

Download references

Author information

Correspondence to F. Bork.

Ethics declarations

Interessenkonflikt

F. Bork gibt an, dass kein Interessenkonflikt besteht.

Dieser Beitrag beinhaltet keine vom Autor durchgeführten Studien an Menschen oder Tieren.

Additional information

Redaktion

W. Böcker, München

Caption Electronic Supplementary Material

Video 1: Das Video zeigt die Funktionsweise des Augmented reality system „Magic Mirror“. Der Benutzer steht vor einem großen Bildschirm und sieht darauf sein digitales Spiegelbild. Auf der linken Seite wird ein detailliertes 3D-Modell der menschlichen Anatomie dem Kamerabild durch ein virtuelles Fenster überlagert, sodass der Benutzer den Eindruck bekommt, in seinen eigenen Körper hineinzusehen. Auf der rechten Seite des Bildschirms ist hingegen das komplette 3D-Modell zu sehen, das den Bewegungen des Benutzers folgt.

Video 1: Das Video zeigt die Funktionsweise des Augmented reality system „Magic Mirror“. Der Benutzer steht vor einem großen Bildschirm und sieht darauf sein digitales Spiegelbild. Auf der linken Seite wird ein detailliertes 3D-Modell der menschlichen Anatomie dem Kamerabild durch ein virtuelles Fenster überlagert, sodass der Benutzer den Eindruck bekommt, in seinen eigenen Körper hineinzusehen. Auf der rechten Seite des Bildschirms ist hingegen das komplette 3D-Modell zu sehen, das den Bewegungen des Benutzers folgt.

Rights and permissions

Reprints and Permissions

About this article

Verify currency and authenticity via CrossMark

Cite this article

Bork, F. „Interactive augmented reality systems“. Unfallchirurg 121, 286–292 (2018). https://doi.org/10.1007/s00113-018-0458-y

Download citation

Schlüsselwörter

  • Computersimulation
  • Patienteneinwilligung
  • Patienten-Compliance
  • Lehre
  • Virtuelle Realität

Keywords

  • Computer simulation
  • Informed consent
  • Patient compliance
  • Teaching
  • Virtual reality