Augmented Reality in der Echokardiograpie – Eine neue Methode der computergestützten Ausbildung und Bildbearbeitung durch virtuelle und reale dreidimensionale Datensätze

Summary

Augmented reality (AR) applications link real with virtual image data, in order to increase their information content. In medicine they are especially useful for education and for supporting the interpretation of three-dimensional (3D) image data. Simulators are used to train risky or expensive procedures. In the AR application EchoCom2 a 3D surface model of the human heart is linked with echocardiographic volume data sets. The 3D echocardiographic data sets are registered with the heart model to synchronize it's temporal and spatial orientation. The heart model together with an animated ultrasound sector represents a reference scenario, which displays the currently selected cutting plane within the echocardiographic volume data set. Modifications of the cutting plane within the echocardiographic data are transferred simultaneously and in real time to the reference scenario. The AR application is used as a simulator to train two-dimensional echocardiographic examinations and as an orientation and navigation aid for the exploration of 3D echocardiographic data sets. Beginners in echocardiography have only a rudimentary conception of the spatial relationship between the actual ultrasound image and the 3D anatomy of the heart. They are unable to translate multiple two-dimensional slices into a coherent 3D mental image of the heart. In EchoCom2 the trainee can interactively explore the 3D heart model and the registered 3D echocardiographic data sets by the animated ultrasound sector, whose position is controlled by an electromagnetic orientation and position system (EPOS). The data from the EPOS are used to calculate the echocardiographic images that are analogue to the position of the animated ultrasound sector. EchoCom3 is also used to support the interpretation of 3D echocardiographic data sets. The analysis of 3D echocardiographic data has to be done during a post processing. Defining the exact position of a cutting plane within the volume is difficult due to the lack of a standardized representation, the independence of the cutting plane of any transducer position and the possibility to calculate an indefinite number of views. The simultaneous representation of the current cutting plane both in the volume data, and in the heart model enables the examiner ad hoc to recognize it's position and the visualized structures.

Zusammenfassung

Augmented-reality-(AR)Anwendungen verknüpfen reale Bilddaten mit virtuellen Szenen, um deren Informationsgehalt zu erhöhen. Eingesetzt werden sie in der Medizin v. a. in der Ausbildung, wo sie zu erlernende Handlungen simulieren, sowie zur Unterstützung der Interpretation dreidimensionaler (3D) Bilddaten. In der AR-Anwendung EchoCom2 wird ein 3D Oberflächenmodell des menschlichen Herzens mit echokardiographischen Volumendatensätzen verknüpft. Die echokardiographischen Daten sind durch einen Registrierungsalgorithmus so mit dem Modell abgeglichen, daß Orientierung und Größe übereinstimmen. Das Herzmodell bildet zusammen mit einem animierten Schallsektor ein Referenzszenario, welches die augenblicklich gewählte Schnittebene innerhalb des Ultraschallvolumendatensatzes anzeigt. Änderungen des Schallsektors im Volumendatensatz werden simultan und in Echtzeit auf das Herzmodell übertragen. Eingesetzt wird die AR-Anwendung zu Ausbildungszwecken und als Orientierungs- und Navigationshilfe bei der Exploration von 3D echokardiographischen Datensätzen. Anfänger im Bereich der Echokardiographie haben erfahrungsgemäß nur eine rudimentäre Vorstellung von der räumlichen Beziehung zwischen Schallsektor und der 3D Anatomie des Herzens. In EchoCom2 kann der Lernende mittels des animierten Schallsektors und eines 3D Eingabegerätes das Herzmodell interaktiv explorieren. Das analoge zweidimensionale Ultraschallbild wird aus einem zuvor gespeicherten Volumendatensatz errechnet. Die Analyse von 3D echokardiographischen Datensätzen muß im Rahmen einer Nachbearbeitung stattfinden. Der Zugang zu den Daten ist erschwert durch deren hohen Informationsgehalt und eine fehlende standardisierte Darstellung der aus dem Datensatz errechneten Bilder. Durch eine simultane Darstellung der aktuellen Ebene sowohl im Volumendatensatz als auch im Herzmodell kann der Untersucher auch ohne Standardisierung ad hoc die Position der Ebene und die dargestellten Strukturen erkennen.