Augmented Reality and Virtual Reality Applications Based on Satellite-Borne and ISS-Borne Remote Sensing Data for School Lessons

Abstract

Facing global challenges, a qualified education in remote sensing technologies needs to start in school to sensitise teachers and thus young people for ecological issues and develop their technological skills. Remote sensing is part of the STEM (Science, Technology, Engineering and Mathematics) curricular topics, all of which are either a requirement for or benefit from remote sensing. However, implementing its data and methods into regular curricula poses technological and educational challenges, given the lack of appropriate school IT infrastructure and remote sensing education for aspiring STEM teachers. Immersive media can overcome these structural issues, using the teachers’ and pupils’ smartphones to display and interact, e.g. with video data, astronaut photographs, or complex hyperspectral data. The data needs to be pre-processed for Augmented and Virtual Reality applications (AR and VR, resp.) to fit topic, available devices and software. Game development software allows for easy integration in apps for AR and VR, but does not contain functions for remote sensing methods. These are either implemented directly in scripts, worked around using less computing-intensive methods or replaced by methods unique to augmented and virtual reality. Following these premises, five AR apps are presented in this report, teaching about tropical cyclones, anthropogenic desertification, energy consumption, gravitation, and algal blooms, all of which use remote sensing data from different sensors aboard the ISS. One VR app teaching about Mount Fuji was developed using a DEM derived from astronaut photographs. All have different levels of interactivity and are embedded in worksheets that fill a double period.

Zusammenfassung

Augmented- und Virtual-Reality-Anwendungen für den Schulunterricht auf Basis satelliten- und ISS-gestützter Fernerkundungsdaten. Angesichts aktueller globaler Herausforderungen muss eine qualifizierte Ausbildung in Fernerkundungstechnologien bereits in den Schulen erfolgen, um Lehrerinnen und Lehrer (LuL) und damit auch Schülerinnen und Schüler (SuS) für ökologische Themen zu sensibilisieren und technologische Kompetenzen zu schulen. Fernerkundung ist Teil der MINT-Fächer (Mathematik, Informatik, Naturwissenschaften, Technik) an Schulen. Die Fernerkundung kann hier die physikalisch-mathematischen Grundlagen thematisieren oder auch die biologisch-geographischen Anwendungen betrachten. Allerdings stellt die Implementierung von Daten und Methoden in die regulären Lehrpläne technische und didaktische Herausforderungen dar: Einerseits haben die Schulen nicht die notwendige Hard- und Software-Ausstattung, andererseits erhalten nur wenige Lehramtsstudierende eine ausreichend umfassende Fernerkundungsausbildung. Eingebettete Medien können zumindest die technischen Hürden teilweise überwinden, indem die Smartphones der SuS und LuL genutzt werden, um beispielsweise Videos, Astronautenbilder oder sogar komplexe hyperspektrale Daten darzustellen und interaktiv zu nutzen. Diese Daten müssen für den Einsatz in Augmented Reality (AR) und Virtual Reality (VR) aufbereitet werden, um an das Lehrplanthema, vorhandene mobile Endgeräte und die verfügbare Software angepasst zu werden. Spieleentwicklungsumgebungen erlauben die einfache Implementierung von AR- und VR-Apps, enthalten jedoch keine Funktionen für Fernerkundungsmethoden. Unter diesem Gesichtspunkt wurden fünf Apps entwickelt, über deren Umsetzung hier berichtet wird. Diese behandeln die Themen tropische Zyklone, Desertifikation, Energieverbrauch, Gravitation und Algenblüten. Alle Apps verwenden Fernerkundungsdaten von verschiedenen Sensoren auf der ISS. Weiterhin wurde eine VR-App mit einem DEM entwickelt, welches aus Astronautenfotos abgeleitet wurde. Die Apps haben unterschiedliche Interaktivitätsgrade und sind in Arbeitsblätter integriert, die etwa eine Doppelstunde in der Schule umfassen.