Zusammenfassung
Die Erfassung (engl. sensing) des Nutzers sowie die Interpretation von Zuständen und Aktionen anhand der Daten, die an die Anwendung übermittelt werden, entscheiden maßgebend über die Möglichkeiten, die in einer immersiven VR-Anwendung realisiert werden können. Somit ist die Erfassung des Nutzers eine der wichtigsten Aufgaben in immersiven VR-Anwendungen und hat primär folgende Ziele:
-
die Verortung des Nutzers in der virtuellen Welt zu bestimmen,
-
die Nutzereingabe für Steuerfunktionen zu erfassen,
-
die Darstellung des Nutzers als Avatar im virtuellen Raum zu ermöglichen,
-
die Sicherheit des Nutzers im realen Raum zu gewährleisten und
-
das Nutzerverhalten zu analysieren (z. B. für Biofeedback).
Access this chapter
Tax calculation will be finalised at checkout
Purchases are for personal use only
Notes
- 1.
Beim Biofeedback werden körpereigene, biologische Vorgänge dem Nutzer bereitgestellt, z. B. als visuelle oder akustische Information.
- 2.
Als körpernahe Sensoren werden Sensoren bezeichnet, die in der Hand gehalten oder am Körper befestigt werden.
- 3.
RGB repräsentiert die drei Grundfarben Rot, Grün und Blau.
- 4.
Der Dynamikumfang bezeichnet den Unterschied zwischen der hellsten und der dunkelsten Stelle in einem Bild oder zwischen dem leisesten und dem lautesten Geräusch.
- 5.
Sensorrauschen sind Störungen infolge von sensorinternen Rauschprozessen.
- 6.
Durch Frequenzmultiplexverfahren, engl. frequency-division multiplexing.
- 7.
Durch Zeitschlitzverfahren, engl. time-division multiplexing.
- 8.
Durch Codemultiplexverfahren, engl. code-division multiplexing.
- 9.
Motoneuronen sind Nervenzellen des zentralen Nervensystems, die eine direkte oder indirekte Kontrolle über einen Muskel ausüben.
- 10.
Entsprechend spricht man auch von der Blickverfolgung (engl. gaze tracking) und der Augenverfolgung (engl. eye tracking), wenn ein zeitlicher Verlauf betrachtet wird.
- 11.
Ein Rig ist eine für die Animation von 3D-Modellen definierte Kontrollstruktur aus Knochen (engl. bones) oder Gelenken (engl. joints), die vorgibt, wie Teile eines Polygonnetzes bewegt werden können.
- 12.
Blend Shapes oder Morph Targets beschreiben eine Technik, um ein einzelnes Basenetz (z. B. ein ausdrucksloses Gesicht) verformen zu lassen, um zahlreiche vordefinierte Formen (Lachen, Stirnrunzeln, geschlossene Augenlider, angehobene Augenbrauen, Mundformen von Vokalen, Konsonanten usw.) und eine beliebige Anzahl von Kombinationen zwischen diesen Formen darstellen zu können.
- 13.
Die Koartikulation ist ein phonetisches Phänomen, bei dem ein Laut durch den lautlichen Kontext beeinflusst wird.
Literaturverzeichnis
Ahmad A, Migniot C, Dipanda A (2019) Hand pose estimation and tracking in real and virtual interaction: a review. Image Vis Comput 89:35–49
Argyle M (2013) Bodily communication. Routledge, London
Arimatsu K, Mori H (2020) Evaluation of machine learning techniques for hand pose estimation on handheld device with proximity sensor. Association for Computing Machinery, New York, S 1–13
Chrysos GG, Antonakos E, Snape P, Asthana A, Zafeiriou S (2018) A comprehensive performance evaluation of deformable face tracking “in-the-wild”. Int J Comput Vis 126(2):198–232
Clay V, König P, Koenig S (2019) Eye tracking in virtual reality. J Eye Movement Res 12(1):1–18
Cudeiro D, Bolkart T, Laidlaw C, Ranjan A, Black MJ (2019) Capture, learning, and synthesis of 3d speaking styles. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, S 10101–10111
Duchowski AT (2017) Eye tracking methodology: theory and practice. Springer, Cham
Egger B, Smith WAP, Tewari A, Wuhrer S, Zollhoefer M, Beeler T, Bernard F, Bolkart T, Kortylewski A, Romdhani S, Theobalt C, Blanz V, Vetter T (2020) 3D morphable face models–past, present, and future. ACM Trans Graph 39(5):1–38
Jaramillo-Yánez A, Benalcázar ME, Mena-Maldonado E (2020) Real-time hand gesture recognition using surface electromyography and machine learning: a systematic literature review. Sensors 20(9):2467
Kim D, Hilliges O, Izadi S, Butler AD, Chen J, Oikonomidis I, Olivier P (2012) Digits: freehand 3d interactions anywhere using a wrist-worn gloveless sensor. In: Proceedings of the 25th Annual ACM Symposium on User Interface Software and Technology. Cambridge, S 167–176
Latoschik ME, Roth D, Gall D, Achenbach J, Waltemate T, Botsch M (2017) The effect of avatar realism in immersive social virtual realities. In: Proceedings of the 23rd ACM Symposium on Virtual Reality Software and Technology. Gothenburg, S 1–10
Li H, Trutoiu L, Olszewski K, Wei L, Trutna T, Hsieh PL, Nicholls A, Ma C (2015) Facial performance sensing head-mounted display. ACM Trans Graph 34(4):1–9
Lou J, Wang Y, Nduka C, Hamedi M, Mavridou I, Wang F, Yu H (2020) Realistic facial expression reconstruction for VR HMD users. IEEE Trans Multimedia 22(3):730–743
Lucero JC, Munhall KG (1999) A model of facial biomechanics for speech production. J Acoust Soc Am 106(5):2834–2842
Oudah M, Al-Naji A, Chahl J (2020) Hand gesture recognition based on computer vision: a review of techniques. J Imaging 6(8):73
Purps CF, Janzer S, Wölfel M (2021) Reconstructing facial expressions of HMD users for avatars in VR. In: International Conference on ArtsIT, Interactivity and Game Creation. Springer, Cham, S 61–76
Richard A, Zollhöfer M, Wen Y, de la Torre F, Sheikh Y (2021) Meshtalk: 3D face animation from speech using cross-modality disentanglement. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). Montreal, S 1173–1182
Rosenberg EL, Ekman P (2020) What the face reveals: basic and applied studies of spontaneous expression using the Facial Action Coding System (FACS). Oxford University Press, New York
Sharp T, Keskin C, Robertson D, Taylor J, Shotton J, Kim D, Rhemann C, Leichter I, Vinnikov A, Wei Y et al (2015) Accurate, robust, and flexible real-time hand tracking. In: Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. Seoul, S 3633–3642
Shotton J, Sharp T, Kipman A, Fitzgibbon A, Finocchio M, Blake A, Cook M, Moore R (2013) Real-time human pose recognition in parts from single depth images. Commun ACM 56(1):116–124
Taylor J, Bordeaux L, Cashman T, Corish B, Keskin C, Sharp T, Soto E, Sweeney D, Valentin J, Luff B, Topalian A, Wood E, Khamis S, Kohli P, Izadi S, Banks R, Fitzgibbon A, Shotton J (2016) Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences. ACM Trans Graph 35(4)
Wang RI, Pelfrey B, Duchowski AT, House DH (2014) Online 3D gaze localization on stereoscopic displays. ACM Trans Appl Percept 11(1):1–21
Wang Z, Wang D, Zhang Y, Liu J, Wen L, Xu W, Zhang Y (2019) A three-fingered force feedback glove using fiber-reinforced soft bending actuators. IEEE Trans Ind Electron 67(9):7681–7690
Wei X, Zhu Z, Yin L, Ji Q (2004) A real time face tracking and animation system. In: 2004 Conference on Computer Vision and Pattern Recognition Workshop. IEEE, Washington, S 71–71
Wölfel M, Hepperle D, Purps CF, Deuchler J, Hettmann W (2021) Entering a new dimension in virtual reality research: an overview of existing toolkits, their features and challenges. In: 2021 International Conference on Cyberworlds (CW). IEEE, Caen, S 180–187
Wölfel M, Purps CF, Percifull N (2022) Enabling embodied conversational agents to respond to nonverbal behavior of the communication partner. In: International Conference on Human-Computer Interaction. Springer, Berlin/Heidelberg, S 591–604
Zollhöfer M, Thies J, Garrido P, Bradley D, Beeler T, Pérez P, Stamminger M, Nießner M, Theobalt C (2018) State of the art on monocular 3d face reconstruction, tracking, and applications. In: Computer Graphics Forum. Wiley Online Library 37:523–550
Author information
Authors and Affiliations
Rights and permissions
Copyright information
© 2023 Der/die Autor(en), exklusiv lizenziert an Springer-Verlag GmbH, DE, ein Teil von Springer Nature
About this chapter
Cite this chapter
Wölfel, M. (2023). Erfassung des Nutzers. In: Immersive Virtuelle Realität. Springer Vieweg, Berlin, Heidelberg. https://doi.org/10.1007/978-3-662-66908-2_8
Download citation
DOI: https://doi.org/10.1007/978-3-662-66908-2_8
Published:
Publisher Name: Springer Vieweg, Berlin, Heidelberg
Print ISBN: 978-3-662-66907-5
Online ISBN: 978-3-662-66908-2
eBook Packages: Computer Science and Engineering (German Language)