Skip to main content

Immersives verteiltes Robotic Co-working

Der Festakt zum Informatik-Jubiläum 2019 mit Mixed-Reality-Fallstudie

Zusammenfassung

Im zukünftigen taktilen Internet wachsen die physische und virtuelle Welt auch über mehrere Standorte hinweg immer weiter zusammen. Robotic Co-working – das gemeinsame Kollaborieren von Robotern und Menschen – gewinnt dabei zunehmend im Kontext des Internet der Dinge (IoT) und cyber-physischer Systeme (CPS) an Bedeutung. Mit dieser Arbeit präsentieren wir eine Fallstudie, die anlässlich des 50-jährigen Jubiläums des Informatikstudiums in Deutschland durchgeführt wurde. In dieser arbeiten Menschen und Roboter über mehrere Standorte verteilt in einer virtuellen Co-Working-Zelle zusammen, um einen „physischen und virtuellen Informatik-Deutschland-Campus 2069“ zu konstruieren. Unter Nutzung von Sensorik, Aktuatorik und Software wird der cyber-physische Campus, von einem Workflow gesteuert, schrittweise errichtet. Mithilfe einer Mixed-Reality-Anwendung kann dieser Prozess immersiv, d. h. eintauchbar und interaktiv, unabhängig von einem konkreten Standort erlebt werden.

Einleitung

2019 wurde die Informatik in Deutschland 50 Jahre alt. Es ist also Zeit zurückzuschauen, unsere Disziplin zu reflektieren und gleichzeitig ihre Zukunft zu überdenken. Mehrere zu diesem wichtigen Ereignis gehörige Jubiläen wurden gefeiert. Dieser Beitrag berichtet über den Festtag zum 50-jährigen Jubiläum der Informatikstudiengänge, der am 19.06.2019 von mehreren deutschen Informatikfakultäten und dem BMBF (Bundesministerium für Bildung und Forschung) zusammen begangen wurde, sowie über den dabei durchgeführten verteilten Festakt, der weit in die Zukunft weist.

Wir alle können jeden Tag in unserem Alltag und unserer Arbeitswelt sehen, dass die Informatik die Welt in den letzten 50 Jahren stark verändert hat. Während vor 50 Jahren hauptsächlich die Konstruktion und Nutzung von Informationssystemen im Vordergrund stand, lassen sich heute, dank zunehmender Miniaturisierung, Mikroprozessoren, Sensoren und Aktuatoren in Maschinen und Alltagsgegenstände einbetten und immer komplexere, ubiquitäre Anwendungen realisieren (Internet der Dinge – IoT). Informatik spielt heute dabei eine immer wichtigere Rolle, da mit Software sogar Rückkopplungen zwischen der physischen und virtuellen Welt ermöglicht werden (cyber-physische Systeme – CPS) [1].

Um die Leistungsfähigkeit und zukünftige Chancen der Konzepte und Technologien der Informatik zu demonstrieren, wurde zum 50-jährigen Jubiläum der Informatikstudiengänge in Deutschland im Juni 2019 ein gemeinsamer Festakt gestaltet, untermalt durch eine Fallstudie mit verteiltem Mixed-Reality Robotic Co-working [2]. Mit diesem prototypischen CPS, einer prozessgetriebenen, verteilten Co-Working-Zelle, ist ein erster Schritt zu einer immersiven, d. h. in die entfernte Umgebung eintauchender, verteilter Mensch-Roboter-Kollaboration gelungen (Human-Robot-Collectives [3], Hybride Teams [4]).

Der im Folgenden beschriebene Demonstrator vereint Konzepte und Technologien aus den Bereichen IoT/CPS, Robotik, Softwaretechnik, verteilte Systeme und Mixed Reality, um einen „virtuellen Deutschland-Campus der Informatik 2069“ durch die Interaktion von Menschen und Robotern an mehreren Standorten verteilt gemeinsam entstehen zu lassen. Nachfolgend werden, nach einem kurzen geschichtlichen Abriss zu 50 Jahren Studiengänge Informatik (Abschn. 2), das konkrete Co-Working-Szenario (Abschn. 3), der zugehörige Mensch-Roboter-Co-Working-Workflow (Abschn. 4), die Architektur der verteilten Co-Working-Zelle (Abschn. 5) und die hierfür entwickelte Mixed-Reality-Anwendung (Abschn. 6) näher beschrieben. Doch zunächst mehr zum Anlass des Festaktes, der Geschichte der Informatikstudiengänge (Abschn. 2).

50 Jahre Studiengänge Informatik

Im Jahre 1969 starteten mehrere Universitäten in Deutschland, sowohl im Westen als auch im Osten, ihre Studiengänge zum Thema Informatik (im Osten damals noch „Informationsverarbeitung“ genannt) [5]. Fünf dieser Early Birds feierten im 19. Juni 2019 dieses 50-jährige Jubiläum mit dem BMBF zusammen: die Technische Universität Dresden, die Technische Universität München, die Universität Karlsruhe, die Universität des Saarlandes sowie die Technische Universität Darmstadt. Mit einem Vortragsprogramm, das sowohl zentrale, in alle Standorte ausgestrahlte Vorträge als auch dezentrale Teile enthielt, wurde in allen Standorten gefeiert. Von den Videomitschnitten der Veranstaltung wurde ein Youtube-Kanal gefüllt [6].

Die den Autoren bekannten historischen Daten lauten wie folgt [5]. Am 01.10.1969 begannen die Universität Karlsruhe, die Technische Universität München, die Technische Universität Darmstadt und die Universität Saarbrücken ihre Informatikprogramme; sowie die Technische Universität Dresden den Studiengang Informationsverarbeitung. Diese Gründungswelle war zwei Förderprogrammen zu verdanken:

  • Im Westen lief das Überregionale Forschungsprogramm Informatik (ÜRF), das 110 Professuren im Westen installierte [5, 7] (Bundesministerium Forschung und Technologie, Start 1968, Leitung Prof. R. Piloty aus Darmstadt, ab 1971 Prof. G. Goos aus Karlsruhe).

  • Im Osten wurde der Beschluss vom Ministerrat der DDR, 03. Juli 1964, „Programm zur Entwicklung, Einführung und Durchsetzung der maschinellen Datenverarbeitung in der DDR in den Jahren 1964 bis 1970“ umgesetzt (SAPMO-BArch, DY 30/J IV 2/2/936, Bl. 37-160).

Da das BMBF intensiv in die Entwicklung involviert ist, begrüßte Staatssekretär C. Luft den Festakt. Bundeskanzlerin A. Merkel sandte den Informatikern der Republik ein Videogrußwort, das auf dem speziell eingerichteten Youtube-Channel verfügbar ist [8]. Der sächsische Ministerpräsident M. Kretschmer übernahm die Schirmherrschaft des Festtages in Dresden, sowie die Wissenschaftsministerin von Baden-Württemberg, T. Bauer, in Karlsruhe. Weitere Teilnehmer des Festaktes waren in Dresden Kanzler A. Handschuh, in München TU Vizepräsident Prof. G. Müller, Dekan Prof. H.-J. Bungartz, Prodekan Prof. M. Bichler, in Karlsruhe Dekan Prof. B. Beckert und der Roboter ARMAR-VI, in Saarbrücken Universitätspräsident Prof. M.J. Schmitt und Dekan Prof. S. Hack, sowie in Darmstadt Dekan Prof. F. Wolf und Prof. M. Fischlin [9]. Die folgenden Festvorträge wurden gehalten:

  • Prof. H. Federrath mit einem Grußwort der Gesellschaft für Informatik (GI) [10]

  • Prof. S. Haddadin (TU München) [11]

  • Prof. G. Myers (TU Dresden, MPI CBG Dresden) [12]

  • Prof. M Waidner (TU Darmstadt) [13]

  • Prof. G. Goos (KIT) [7]

  • Prof. S. Nusser (TU München) [14]

  • Prof. P. Slusallek (Uni Saarland) [15].

Die einzelnen Standorte waren durch ein verteiltes Videokonferenzsystem live miteinander verbunden („Informatik verbindet Menschen“). Sie agierten zusammen durch eine verteilte Co-Working-Zelle („Informatik wirkt fern“) und fanden in einem verteilten Workflow dabei zusammen („Informatik steuert die Welt“). Die ganze Szene konnte auch in Mixed Reality erlebt werden („Informatik erweitert unseren Horizont“).

Co-Working-Szenario des symbolischen cyber-physischen Informatik-Campus Deutschland 2069

Am Festakt zum 50-jährigen Jubiläum der Informatikstudiengänge, einem Szenario des Mensch-Roboter-Co-Working, waren insgesamt sechs Standorte in Deutschland beteiligt. Sie bildeten im Demonstrator eine virtuelle Co-Working-Zelle, um einen symbolischen „Informatik-Deutschland-Campus 2069“ zusammenzusetzen, sowohl in der virtuellen als auch physischen Welt, also einen „cyber-physischen“ Campus. Die Robotikzelle bestand aus sechs Subzellen für die individuellen Standorte, Eingabeplätze, die den globalen Co-Working-Workflow weiterschalten. Dabei waren in drei dieser Zellen Roboter vorhanden, die Aktionen der menschlichen Akteure synchronisiert nachgeahmt haben (Ausgabeplätze). In drei Subzellen gab es ausschließlich Eingabeplätze. Abb. 1 illustriert das Szenario.

Abb. 1
figure1

Akteure in den verteilten Standorten der Co-Working-Zelle

Die Personen, die an einem Eingabeplatz arbeiten, nutzen eine modulare Sensorbox (sog. Cube-it [16]) als Interaktionsgerät. Diese Cube-its beinhalten einen NFC(„Near Field Communication“)-Leser, LEDs zur Statusanzeige, ein Wifi-Modul sowie einen Mikroprozessor und entsprechende mobile Stromversorgung. Abb. 2a zeigt die einzelnen Komponenten eines Cube-its und Abb. 2b zeigt einen zusammengebauten Cube-it. Die sensitiven Roboterarme (Modell: Franka Emika Panda [17]) interagieren mit Cube-its in abgewandelter Konfiguration ohne NFC-Leser (Roboter-Cube-its).

Abb. 2
figure2

a Komponenten eines Cube-it; b Cube-it für einen Standort

Die Personen der Eingabeplätze nutzen den ihren Standort repräsentierenden Cube-it und setzen ihn auf eine schematisch abgebildete Deutschlandkarte auf einen Tisch („intelligente“ Karte eines Eingabeplatzes der Co-Working-Zelle). Die Karte des Eingabeplatzes ist mit einem NFC-Tag am entsprechenden Standort präpariert, um das Aufsetzen des Cube-it registrieren zu können. Dieses Ereignis vor Ort schaltet den globalen Workflow der Robotikzelle weiter, indem der nächste Standort zu einem Grußwort und Eingabeaktion aufgerufen wird. Das Aufsetzen des Cube-it auf die Deutschlandkarte wurde als Eingabeereignis des Workflows ausgewählt, weil die Beteiligung eines Standorts am Festakt durch eine einfache symbolische Handlung dargestellt werden sollte. Unter den Co-Workern befanden sich zur offiziellen Demonstration die Vertreter aus Politik und Wissenschaft (siehe Abb. 3):

  • Staatssekretär Christian Luft In Berlin,

  • Ministerpräsident Michael Kretschmer in Dresden,

  • Prof. Ralf Reussner in Karlsruhe,

  • Universitätspräsident Prof. Manfred Schmitt in Saarbrücken,

  • Universitätsvizepräsident Prof. Gerhard Müller in München,

  • Studiendekan des Fachbereichs Informatik Prof. Marc Fischlin in Darmstadt,

Abb. 3
figure3

Co-Worker an den sechs verteilten Standorten in Deutschland

sowie der Roboter ARMAR-VI am Standort Karlsruhe. Alle beteiligten Personen und ihre Einbindung in den globalen Workflow der Zelle waren live in allen Hörsälen der Standorte zu sehen (siehe Abb. 3).

Die verteilte Co-Working-Zelle besitzt nicht nur Eingabeplätze, sondern auch Ausgabeplätze. Dazu sind in mehreren Standorten (Dresden, München, Saarbrücken) Roboterarme auf einem dedizierten Tisch aufgebaut, auf welchem ebenfalls eine Deutschlandkarte angebracht ist („intelligente“ Karte des Ausgabeplatzes). Weiterhin sind hier sechs, die Standorte repräsentierende Cube-its aufgestellt, die nacheinander durch den Roboter auf die entsprechenden Punkte auf der Karte transportiert und abgestellt werden sollen. Abb. 4 zeigt diesen Aufbau der Ausgabeplätze der Roboterzelle.

Abb. 4
figure4

Aufbau des Ausgabeplatzes der Co-Roboterzelle

Im Co-Working-Szenario setzen letztendlich die menschlichen Co-Worker nacheinander am jeweiligen Standort den Cube-it auf den entsprechenden Punkt auf der Deutschlandkarte. Diese Aktion wird an allen Standorten mit einem verfügbaren Roboterarm wiederholt. Der Reigen begann in Dresden, setzte sich über München, Karlsruhe, Darmstadt, Saarbrücken fort bis zum BMBF in Berlin. In einer Mixed-Reality-Anwendung können Interessierte an den Standorten den schrittweisen Aufbau des virtuellen Informatik-Campus auf der Deutschlandkarte betrachten. Es ist wichtig zu bemerken, dass der Workflow, einmal von Dresden aus gestartet, automatisch abläuft; die Co-Worker des Workflow schalten ihn weiter, wobei die Roboter der Ausgabeplätze das gesamte „Puzzle“ des „virtuellen und physischen Informatik-Campus Deutschland 2069“ auf ihrer jeweiligen Deutschlandkarte Stück um Stück zusammensetzen. Ein Video zur Illustration des Gesamtablaufs des Demonstrators ist unter [9] zu finden.

Mensch-Roboter-Co-Working-Workflow

Bei dem gemeinsamen durchgeführten Prozess handelt es sich um einen cyber-physischen Workflow [18], in dem in der virtuellen als auch physischen Welt agiert wird, um den virtuellen und physischen Informatik-Deutschland-Campus 2069 schrittweise aus einzelnen Bausteinen zu errichten. Die Cube-its repräsentieren hier die physischen Standorte. Abb. 5 zeigt den Gesamtworkflow für die Errichtung des Deutschland-Informatik-Campus 2069 als BPMN 2.0-Modell. In Dresden wird die Gesamtausführung des Prozesses koordiniert. Nach dem Start des Prozesses wird der Subprozess für das Platzieren der Cube-its in Dresden ausgeführt und gewartet, bis alle Roboter die Cube-its der Ausgabeplätze platziert haben. Diese Subprozesse werden in der Sequenz München, Karlsruhe, Saarbrücken, Darmstadt und Berlin gestartet und ausgeführt. Nachdem die Platzierung in Berlin abgeschlossen ist, werden in Dresden über die Mixed-Reality-Anwendung alle Cube-its des cyber-physischen Informatik-Campus durch einen Nutzer mit einer Geste im Mixed-Reality-Raum aktiviert, d. h., zum Leuchten gebracht (siehe Abschn. 6). Anschließend beginnen gleichzeitig alle LEDs in den Cube-its zu blinken und ein Festfeuerwerk wird in der Mixed-Reality-Brille gestartet. Der Co-Working-Prozess ist danach beendet.

Abb. 5
figure5

Gesamter Co-Working-Workflow

Der spezifische Subprozess für den aktiven Standort in Verbindung mit den Aktivitäten der Roboter ist in Abb. 6 dargestellt. Nach einem Startereignis, gefolgt vom Aufleuchten der LEDs im Cube-it am aktiven Standort beginnt der menschliche Akteur damit, den Cube-it auf die präparierte Deutschlandkarte an der entsprechenden Stelle abzustellen. Der NFC-Sensor im Cube-it registriert dieses Platzieren und eine Nachricht wird an alle Roboter an den Standorten geschickt. Diese Nachricht beinhaltet das erkannte Platzieren und den aktiven Standort. Anschließend wird überprüft, ob der aktive Standort über einen Roboter verfügt. Falls dem so ist, wird der Roboter instruiert, den Cube-it für den aktiven Standort auf der zweiten Deutschlandkarte zu platzieren. Falls dem nicht so ist, wird der Subprozess beendet. An den anderen Standorten mit Robotern wird die Nachricht über das erfolgreiche Platzieren durch den menschlichen Co-Worker empfangen und der Cube-it für den in der Nachricht enthaltenen aktiven Standort ebenfalls durch die Roboter platziert. Der zentrale Koordinator wartet auf Nachrichten von allen involvierten Robotern über das erfolgreiche Platzieren des Cube-it für den aktiven Standort und aktiviert anschließend den Subprozess für den nächsten Standort.

Abb. 6
figure6

Subprozess am aktiven Standort und den Robotern

Das Platzieren der Cube-its durch die Roboter erfolgt über das Abspielen von vorher angelernten Bewegungskurven, um feste Positionen anzufahren. Es findet an dieser Stelle keine automatische Erkennung der Cube-its statt. Ereignisse aus den jeweiligen verteilten Subprozessen werden genutzt, um den globalen Workflow an diskreten Stellen zu synchronisieren, z. B. durch Events vom NFC-Leser und Statusnachrichten der einzelnen Roboter. Auch bei unterschiedlichen Geschwindigkeiten der Roboterbewegungen wartet der Koordinator auf die Bestätigung aller Roboter darüber, dass das Platzieren eines Cube-it abgeschlossen ist, um dann mit dem Ausführen des globalen Workflows fortzufahren.

Architektur der Verteilten Co-Working-Zelle

Die der verteilten Co-Working-Zelle unterliegende Systemarchitektur ist in Abb. 7 dargestellt. Grundsätzlich gibt es einen koordinierenden Cloud Server sowie dedizierte Controller für den Roboter und die Cube-its. Diese sind entsprechend der verfügbaren Hardware an den Standorten (mit oder ohne Roboter) instanziiert. Die Kommunikation zwischen Standorten und dem Cloud Server erfolgt nachrichtenbasiert mithilfe des RabbitMQ Message Brokers [19]. Nachrichten sind im JSON-Format beschrieben.

Abb. 7
figure7

Architektur und Nachrichtenfluss in der verteilten Co-Working-Zelle

Alle Standorte sind mit dem zentralen RabbitMQ Server in der Cloud verbunden. Der Koordinator Service führt den Co-Working-Workflow aus, sendet entsprechende Befehlsnachrichten an den Broker und empfängt Statusmeldungen von Robotern und Cube-its.

An jedem Standort ist ein Cube-it-Controller für die Steuerung von einem oder mehreren Cube-its verantwortlich. Der Cube-it-Controller empfängt lokale Events vom NFC-Leser und sendet diese an den Cloud Server. In Gegenrichtung empfängt er Nachrichten bzw. Befehle vom Cloud Server und aktiviert die Cube-its entsprechend (LEDs blinken).

An Standorten mit Robotern ist zusätzlich ein entsprechender Robot Controller im Einsatz, um die Roboter zu steuern. Zum einen werden hier Befehle zur Aktivierung der entsprechenden, im Vorfeld angelernten Roboterworkflows vom Cloud Server empfangen; zum anderen sendet der Robot Controller Nachrichten bezüglich des Status der Roboterworkflows an den Koordinator. Weiterhin ist an diesen Standorten ein zusätzlicher lokaler RabbitMQ Server angebunden, der die aktuellen Positionen der Gelenke des lokalen Roboterarms vom Robot Controller an die Mixed-Reality-Anwendung weiterleitet. Die Mixed-Reality-Anwendung (MR-App) zeigt eine Animation der Armbewegung in der virtuellen Szene entsprechend der Gelenkpositionen des lokalen Roboters. Um diese Bewegungen auch in den Mixed-Reality-Anwendungen an Standorten ohne Roboter nachvollziehen zu können, werden die Gelenkpositionen vom Dresdner Roboter als Master ebenfalls an den RabbitMQ Server in der Cloud geschickt, der diese an die lokalen Mixed-Reality-Anwendungen weiterleitet. Durch die Nutzung eines zusätzlichen lokalen RabbitMQ-Servers lassen sich Latenzen bei der Datenübertragung vermeiden und die Positionen der lokalen Robotergelenke nahezu in Echtzeit synchronisiert cyber-physisch in der MR-App anzeigen.

Die im nächsten Abschnitt beschriebene MR-App empfängt, neben den Gelenkpositionen, Nachrichten bezüglich des Status der Workflowausführung vom globalen Server, um die Szene in der Mixed Reality zu synchronisieren und einzelne Elemente zu animieren, z. B. den aktuell aktiven Standort. Zum Ende des Co-Working-Workflows werden über die MR-App in Dresden als Master alle Cube-its virtuell und physisch aktiviert. Hierfür werden entsprechende Befehlsnachrichten aus der MR-App über den globalen Message Broker an die Cube-it-Controller und anderen MR-Apps verteilt.

Immersives Co-Working durch Mixed Reality

Das umgesetzte verteilte Co-Working-Szenario wurde durch eine Mixed-Reality-Anwendung ergänzt, um den Festakt immersiv und interaktiv erlebbar für alle interessierten Teilnehmer zu gestalten. Hierfür wurde eine spezielle Anwendung für die Microsoft® HoloLens™ (1. Generation) Mixed-Reality-Brille entwickelt, die die physische Welt durch Hologramme an festen Punkten in der Umgebung cyber-physisch überlagern kann. Die MR-App auf den an den Standorten verfügbaren HoloLenses verbindet sich mit dem globalen RabbitMQ Message Broker für Status- und Roboterdaten und ggf. auch mit dem lokalen Nachrichtenserver für lokale Roboterdaten.

In der Mixed-Reality-Szene werden die physischen Cube-it-Würfel mit virtuellen Gebäuden für die jeweiligen Standorte überlagert. Ein virtuelles Modell des Roboterarms wird ebenfalls eingeblendet, entweder repräsentativ für den Dresdner Roboterarm an Standorten ohne Roboter oder den vorhandenen Roboterarm überlagernd. Hierfür muss zu Beginn die Szene in der MR-App je HoloLens konfiguriert werden. Zunächst wird der Standort des HoloLens-Trägers ausgewählt (siehe Abb. 8a). Anschließend werden der virtuelle Roboterarm, die virtuelle Deutschlandkarte und die Gebäude für die Standorte über den physischen Äquivalenten auf den präparierten Tischen platziert (siehe Abb. 8b).

Abb. 8
figure8

Setup der Szene in Mixed Reality

Während der Ausführung des Co-Working-Workflows werden die Roboterdaten und Statusevents genutzt, um die Gelenkbewegungen des virtuellen Roboters in der MR-Szene entsprechend der physischen Bewegungen zu animieren. Die Roboterdaten werden ebenfalls verwendet, um die durch den Roboter bewegten Cube-its entsprechend mit standortspezifischen virtuellen Gebäuden zu überlagern, vom Aufnehmen des Cube-its von der präparierten Fläche auf dem Tisch bis zum Absetzen an der entsprechenden Stelle auf der Deutschlandkarte. Abb. 9a zeigt einen Liveausschnitt aus der aktiven Mixed-Reality-Co-Working-Szene, in welcher der physische Roboterarm, ein aufgenommener Cube-it und bereits abgestellte Cube-its entsprechend durch Gebäudehologramme überlagert zu sehen sind. Abb. 9b zeigt einen weiteren Liveausschnitt sowie die Teilnehmer aus den Standorten in einer Videokonferenz. In diesem Setup konnten die Zuschauer in Dresden ohne HoloLens den Aufbau des symbolischen Informatik-Campus vor Ort sowie in der Videokonferenz, der realen Welt als auch Mixed Reality verfolgen. Abb. 10 zeigt beispielhaft die Akteure in Saarbrücken.

Abb. 9
figure9

Liveansichten aus der Mixed-Reality-App und Videokonferenz in Dresden

Abb. 10
figure10

Teilnehmer an der Fernarbeitsdemo in Saarbrücken

Um den Co-Working-Workflow abzuschließen, werden nach erfolgreichem Platzieren aller Cube-its die virtuellen Gebäude nacheinander entsprechend der Co-Working-Sequenz in der MR-App durch einen HoloLens-Träger mit einer durch die Brille erkannten Geste aktiviert. Hierzu müssen die Gebäude jeweils einzeln anvisiert und anschließend eine Air-Tap-Geste („Luftklick“ mit Daumen und Zeigefinger) durchgeführt werden. Ein erfolgreiches „Klicken“ wird durch Einfärben des virtuellen Gebäudes signalisiert. Gleichzeitig werden auch die physischen LEDs in den entsprechenden Cube-its an allen Standorten aktiviert. Die Gebäude werden nach Aktivierung durch eine virtuelle Linie zu einem zusammenhängenden Campus miteinander verbunden. Abb. 11a zeigt einen entsprechenden Ausschnitt aus der Mixed-Reality-Szene mit hervorgehobenen, verbundenen virtuellen Gebäuden. Abb. 11b zeigt die Aktivierungsgeste und bereits aktivierte Cube-its während der Vorführung in Dresden. Nach Aktivierung aller Cube-its in physischer und virtueller Welt startet ein Feuerwerk in den MR-Apps an allen Standorten (siehe Abb. 12).

Abb. 11
figure11

Finale Aktivierung der Cube-its in virtueller und physischer Welt in Dresden

Abb. 12
figure12

Feuerwerk in der MR-App nach erfolgreichem Abschluss des Co-Working-Workflows

Durch die Erweiterung der Co-Working-Demo um die MR-App können die Aktionen der Roboter an verschiedenen Standorten (Zellen) sowie die Zustände von IoT-Geräten einfach visualisiert und immersiv erlebbar gemacht werden. Auch ohne Roboter an einem Standort können Träger der HoloLens den schrittweisen Fortschritt des Co-Working-Workflows und die individuellen Roboterbewegungen an einem anderen Standort nachvollziehen sowie diese mit der physischen Umgebung am eigenen Standort in Verbindung bringen. Durch die Interaktion mit den virtuellen Komponenten in der Mixed-Reality-Szene konnte ebenfalls eine (cyber-physische) Rückkopplung in die physische Welt verteilt an alle Standorte geschaffen werden, indem entsprechend die LEDs in den Cube-its nacheinander durch die Geste in der Mixed Reality aktiviert wurden.

Zusammenfassung

Mit der geschilderten Fallstudie im Rahmen des Festtages des 50-jährigen Jubiläums der Informatikstudiengänge in Deutschland wurde ein Prototyp zu immersivem, verteilten Robotic Co-working erfolgreich konzipiert und umgesetzt. Es wurde mit 6 Standorten verteilt ein symbolischer, cyber-physischer „Deutschland-Informatik-Campus 2069“ durch Menschen und Roboter zusammengesetzt. Die Fallstudie tangiert hierbei zahlreiche aktuelle Teilgebiete der Informatik, unter anderem Robotik, Software-Engineering, verteilte Systeme und Mensch-Maschine/Computer-Interaktion. Sie zeigt, welche Veränderungen unserer Lebens- und Arbeitswelt man durch die Informatik in den nächsten 50 Jahren erwarten kann.

Im Workflow-gestützten Co-Working-Szenario interagieren Menschen und Roboter kollaborativ in der physischen und virtuellen Welt mittels Sensorik und Aktuatorik. Die verteilte Systemarchitektur und Software schaffen dabei die cyber-physische Brücke und Rückkopplung, die zusätzlich durch eine Mixed-Reality-Anwendung erweitert wird. Diese MR-App macht die verteilte Co-Working-Zelle auch an Standorten ohne Roboter immersiv erlebbar. Das hier prototypisch umgesetzte Szenario stellt einen ersten wichtigen Schritt in Richtung Realisierung der Vision des taktilen Internets dar [3]. Mit dem Demonstrator gelang es uns, zahlreiche neue Herausforderungen hinsichtlich Systemarchitektur, verteilter cyber-physischer Workflows und Echtzeitkollaboration zwischen Menschen und Maschinen zu identifizieren, die als Grundlage für laufende Forschungsarbeiten dienen, unter anderem im Exzellenzcluster CeTI [20], aber auch im größeren Rahmen [21].

Literatur

  1. 1.

    Broy M (2011) Cyber-physical systems: Innovation durch softwareintensive eingebettete Systeme. Springer, Heidelberg, Berlin, New York

    Google Scholar 

  2. 2.

    Technische Universität Dresden (2019) Festtage – 50 Jahre universitäre Informatikausbildung in Dresden. https://festtage.inf.tu-dresden.de/deutschlandfesttag. Zugegriffen: 18. Juni 2020 (https://festtage.inf.tu-dresden.de/)

  3. 3.

    Haddadin S, Johannsmeier L, Ledezma FD (2018) Tactile robots as a central embodiment of the tactile Internet. Proc IEEE 107(2):471–487

    Article  Google Scholar 

  4. 4.

    Moniri MM, Valcarcel FAE, Merkel D, Schuffert W, Schwartz T (2016). Hybrid team interaction in the mixed reality continuum. In Proceedings of the 22nd ACM Conference on Virtual Reality Software and Technology (pp 335–336), November

  5. 5.

    Pieper C (2008) Das „Überregionale Forschungsprogramm Informatik“ (ÜRF). Ein Beitrag zur Etablierung des Studienfachs Informatik an den Hochschulen der Bundesrepublik Deutschland (1970er und 1980er Jahre). Technikgeschichte. https://doi.org/10.5771/0040-117X-2008-1

    Article  Google Scholar 

  6. 6.

    Technische Universität Dresden (2019) 50 Jahre Informatikausbildung. Youtube-Kanal. https://www.youtube.com/channel/UCEihwF6lgHIiJjOiRFczTtA/videos. Zugegriffen: 18. Juni 2020

  7. 7.

    Goos G (2019) Anfänge der Informatikausbildung in Deutschland. https://www.youtube.com/watch?v=AuCojU1SCZs. Zugegriffen: 02.09.2020

  8. 8.

    Merkel A (2019) Grußwort zum Festtag zu 50 Jahren Informatikausbildung. https://www.youtube.com/watch?v=gpXNZRg8B3s. Zugegriffen: 02.09.2020

  9. 9.

    Technische Universität Dresden et al (2019) Deutschlandcampus der Informatik 2069 – Demo einer kollaborativen und verteilten Roboterarbeit. https://www.youtube.com/watch?v=xdVLXTFtaJY. Zugegriffen: 02.09.2020

  10. 10.

    Federrath H (2019) Ein Grußwort der Gesellschaft für Informatik (GI) zum Festtag zu 50 Jahren Informatikausbildung (GI). https://www.youtube.com/watch?v=iFARvfE9Vag. Zugegriffen: 02.09.2020

  11. 11.

    Haddadin S (2019) Robotik und Künstliche Intelligenz. TU München. https://www.youtube.com/watch?v=sYpwNq7Bsl0. Zugegriffen: 02.09.2020

  12. 12.

    Myers G (2019) The role of computer science in the biological sciences: past, present, future. TU Dresden, MPI CPG Dresden. https://www.youtube.com/watch?v=QCUdpHdcVx0. Zugegriffen: 02.09.2020

  13. 13.

    Waidner M (2019) IT-Sicherheit von Anfang an mitdenken – die Bedeutung der IT-Sicherheit im Informatikstudium. TU Darmstadt. https://www.youtube.com/watch?v=BdmPteO_Td8. Zugegriffen: 02.09.2020

  14. 14.

    Nusser S (2019) Democratizing AI with the cloud. TU München. https://www.youtube.com/watch?v=cjVdRQZwY6A. Zugegriffen: 02.09.2020

  15. 15.

    Slusallek P (2019) Wie hilft Künstliche Intelligenz die Welt zu verstehen?. Universität des Saarlands. https://www.youtube.com/watch?v=k0PIEJWWDeY. Zugegriffen: 02.09.2020

  16. 16.

    Grzelak D, Mai C, Schöne R, Falkenberg J, Aßmann U (2020) A software toolkit for complex sensor systems in fog environments. In sensor systems simulations. Springer, Cham, S 253–282

    Google Scholar 

  17. 17.

    Franka Emika (2020) Der Franka Emika Roboter. https://www.franka.de/de/. Zugegriffen: 18. Juni 2020

  18. 18.

    Seiger R (2018) Self-managed Workflows for Cyber-physical Systems. Dissertation, Qucosa, Technische Universität Dresden. https://nbn-resolving.org/urn:nbn:de:bsz:14-qucosa2-323153. Zugegriffen: 02.09.2020

  19. 19.

    Pivotal (2020) RabbitMQ. https://www.rabbitmq.com/. Zugegriffen: 18. Juni 2020

  20. 20.

    Technische Universität Dresden (2019) Centre for tactile internet with human-in-the-loop, cluster of excellence at TU Dresden. https://www.ceti.one/. Zugegriffen: 18. Juni 2020

  21. 21.

    Ganschar O, Gerlach S, Hämmerle M, Krause T, Schlund SS (2013) In: Spath D (Hrsg) Produktionsarbeit der Zukunft-Industrie 4.0, Bd. 150. Fraunhofer Verlag, Stuttgart

    Google Scholar 

  22. 22.

    Kanzler Dr. Andreas Handschuh, Ministerpräsident Michael Kretschmer. Grußwort zum Festtag zu 50 Jahren Informatikausbildung. https://www.youtube.com/watch?v=9XBHmh9upUs. Zugegriffen: 02.09.2020

Download references

Danksagung

Wir bedanken uns bei allen Beteiligten, insbesondere bei Ministerpräsident Michael Kretschmer (Sachsen) für die Übernahme der Schirmherrschaft für die Veranstaltung [22], bei Bundeskanzlerin Dr. Angela Merkel für ihr Grußwort [8], StS Christian Luft und Dr. Michael Weber vom BMBF [6], sowie bei Dr. Handschuh, Kanzler der TU Dresden, für die Unterstützung [22]. Unser besonderer Dank für die intensive Mitarbeit gilt den Dekanen Prof. Hans-Joachim Bungartz (TU München), Prof. Sebastian Hack (U Saarland), Prof. Ralf Reussner (U Karlsruhe), Prof. Felix Wolf, Prof. Marc Fischlin (TU Darmstadt), die mit ihren Stäben, Mitarbeiterinnen und Mitarbeitern an dem gemeinsamen Festakt mitgewirkt haben. Ganz besonderer Dank gilt dabei den Professuren und ihren Mitarbeiterinnen und Mitarbeitern Prof. Sami Haddadin, Lars Johannsmeier und Jan Harder in München (Munich School of Robotics), Prof. Asfour und Lukas Kaul in Karlsruhe (U Karlsruhe), sowie Ian Bierlich in Darmstadt (TU Darmstadt), die an der technischen Gestaltung des Festakts beteiligt waren. Wir danken weiterhin unseren Kollegen in Dresden, Silvia Kapplusch, Stefan Pflüger, Christiane Leonhardi, Michael Kluge, Julian Catoni, Christoph Fleck, Gerald Goepfert und Franziska Hannß, die uns technisch und organisatorisch bei der Umsetzung der Demo und des Festakts unterstützt haben.

Förderung

Gefördert durch die Deutsche Forschungsgemeinschaft (DFG) im Rahmen der Exzellenzstrategie des Bundes und der Länder – EXC 2050/1 – Projektnummer 390696704 – als Exzellenzcluster „Centre for Tactile Internet with Human-in-the-Loop“ (CeTI) der Technischen Universität Dresden unter Beteiligung der Technischen Universität München, sowie durch den Europäischen Sozialfonds (ESF) und das Land Sachsen unter der Projektnummer 100268299 (Projekt „CyPhyMan“).

Funding

Open access funding provided by University of St.Gallen

Author information

Affiliations

Authors

Corresponding author

Correspondence to Ronny Seiger.

Rights and permissions

Open Access Dieser Artikel wird unter der Creative Commons Namensnennung 4.0 International Lizenz veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.

Die in diesem Artikel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.

Weitere Details zur Lizenz entnehmen Sie bitte der Lizenzinformation auf http://creativecommons.org/licenses/by/4.0/deed.de.

Reprints and Permissions

About this article

Verify currency and authenticity via CrossMark

Cite this article

Seiger, R., Aßmann, U., Grzelak, D. et al. Immersives verteiltes Robotic Co-working. Informatik Spektrum 43, 425–435 (2020). https://doi.org/10.1007/s00287-020-01297-w

Download citation