Hochgenaue Szenarien- und Referenzdaten für das automatisierte Fahren

Hochgenaue Daten sind entscheidend für die Entwicklung und Absicherung des automatisierten Fahrens. Das umfasst beispielsweise im Realverkehr gemessene Szenarien oder Referenzmessungen für die Umfelderfassung eines Prototyps. Die fka hat einen Ansatz entwickelt, bei dem mithilfe unbemannter Luftfahrzeuge hochgenaue Messdaten generiert werden. Mit diesen Informationen ist es möglich, Szenarien zu erzeugen und eine fahrzeugunabhängige Referenzmessung für Umfeldsensoren bereitzustellen.

Die Entwicklung und Absicherung hochautomatisierter Fahrfunktionen basiert immer stärker auf datengetriebenen Methoden. Große Datensätze in Form von Trajektorien der im Realverkehr gemessenen Bewegungsmuster von Verkehrsteilnehmern sind für verschiedene Einsatzbereiche im Entwicklungsprozess des automatisierten Fahrens von entscheidender Bedeutung. Dies sind beispielsweise Modelle zur Verhaltensprädiktion von Verkehrsteilnehmern oder der szenarienbasierten Bewertung im Absicherungsprozess. Solche Datensätze werden bereits heute dringend benötigt und in Zukunft weiter an Bedeutung gewinnen. Zudem besteht eine ungelöste Herausforderung in der Erzeugung von hochgenauen Referenzdaten für den Nachweis, dass die Sensorik des hochautomatisierten Fahrzeugs das Umfeld ausreichend genau und zuverlässig erfasst. Für beide Herausforderungen hat die fka unter dem Namen levelXdata [1] eine neue Methode entwickelt. Mit ihr können diese Daten mit unbemannten Luftfahrzeugen (Drohnen), die mit hochauflösenden Kameras ausgestattet sind, generiert werden. Die ermittelten Werte finden als Referenz- und Trajektoriendaten vielfältige Anwendungen im Bereich des automatisierten Fahrens, Bild 1.

Bild 1

Anwendungen der Drohnendaten für das automatisierte Fahren, basierend auf dem A-Modell [2] (© fka)

Zur Erzeugung der Daten nimmt die Drohne hochauflösende Videos des realen Verkehrsgeschehens oder eines Testfalls aus der Vogelperspektive auf. Mithilfe von semantischer Segmentierung und Trackingalgorithmen können die Positionen und Bewegungen aller sichtbaren Verkehrsteilnehmer aus den Videoaufnahmen hochgenau extrahiert werden. Durch die Perspektive der Drohne kann das vollständige Verkehrsgeschehen erfasst werden, ohne dass es zu Verdeckungen von Fahrzeugen durch andere kommt. Zudem sind die Messungen mittels einer Drohne durch die gleichzeitige Erfassung aller Verkehrsteilnehmer innerhalb des Sichtbereichs sehr effizient. Bild 2 zeigt einen Vergleich der Vor- und Nachteile des Ansatzes mit weiteren Messmethoden.

Bild 2

Vergleich aktueller Messmethoden (© fka)

Ein Problem, das beim Einsatz von Infrastruktursensorik oder prototypischen Versuchsfahrzeugen mit Automatisierungsfunktion und sichtbarer Referenzsensorik (beispielsweise Dachboxen) auftritt, ist eine mögliche Beeinflussung des Verhaltens der Verkehrsteilnehmer in der Umgebung. Eine Drohne mit entsprechender Flughöhe hingegen ist aus einem Fahrzeug praktisch nicht wahrnehmbar und übt keinen Einfluss auf das Verkehrsgeschehen aus. Es ist damit ein einzigartiger Vorteil der Drohnenmessmethodik, dass die Verkehrsteilnehmer nicht von ihrem natürlichen Verhalten abweichen.

Anwendung zur Referenzmessung

Die Umfelderfassung automatisierter Fahrzeuge ist durch den kombinierten Einsatz verschiedener Sensortypen und die notwendige Verarbeitung ein elementares, aber sehr komplexes Modul. Um es zu parametrisieren und zu bewerten, ist es notwendig, sowohl die einzelnen Komponenten als auch das gesamte Wahrnehmungssystem mit einer Referenz zu vergleichen. Dabei muss nicht nur die Erkennungsrate und -genauigkeit, sondern auch die Qualität des Objekttrackings beziehungsweise der Prädiktion bewertet werden.

Für die Bewertung der Umfelderfassung sind präzise Ground-Truth-Daten durch ein Referenzmesssystem erforderlich. Da die Sensordaten sehr stark von den verwendeten Sensoren und deren Position am Fahrzeug abhängen, hat die Auswertung für jedes System individuell zu erfolgen. Es muss also ein Testfahrzeug mit dem zu untersuchenden Sensoraufbau verwendet und neben den Sensordaten des Testfahrzeugs weitere Referenzsensordaten aufgezeichnet werden. Unter der Voraussetzung, dass die statische Umgebung als hochauflösende digitale Karte vorliegt, lassen sich folgende Anforderungen an ein Referenzmesssystem für die dynamische Umgebung auf Teststrecken oder im realen Verkehr ableiten:

• Das Messverfahren muss alle relevanten Verkehrsteilnehmer im Sichtfeld der Sensorik des Testfahrzeugs erfassen.

• Die Genauigkeit der Referenzmessdaten sollte durchweg besser sein als die des zu untersuchenden Systems.

• Für den Einsatz auf einer größeren Teststrecke oder im realen Verkehr muss das Referenzmesssystem einen großen Messbereich abdecken oder sich mit dem Testfahrzeug bewegen.

• Die Kosten sollten angemessen sein und idealerweise nicht mit der erfassten Fläche oder der Anzahl der beobachteten Verkehrsteilnehmer skalieren.

Im Hinblick auf diese Anforderungen zur Erstellung von Referenzdaten wird die neue Drohnenmessmethodik mit Systemen für die Eigenpositions- und -bewegungsermittlung (IMU-RTK GNSS) und mit fahrzeugseitiger Zusatzsensorik, wie hochauflösende 360°-Mehrschicht-Laserscanner, verglichen, Bild 3.

Bild 3

Vergleich von Referenzmessmethoden (© fka)

Der Einsatz von IMU-RTK-GNSS-Systemen ermöglicht die unauffällige Aufnahme hochpräziser Positionsdaten unabhängig von einem festen Standort. Allerdings sind die Kosten für präzise IMU-RTK-GNSS-Geräte sehr hoch und müssen mit der Anzahl der gleichzeitig zu messenden Verkehrsteilnehmer multipliziert werden. Schließlich können unbeteiligte Verkehrsteilnehmer nicht erfasst werden und die Anbringung von IMU-RTK-GNSS-Modulen an Fußgängern oder Fahrradfahrern ist nur eingeschränkt möglich. Die Verwendung von IMU-RTK-GNSS-Systemen ist damit insbesondere für Testszenarien mit maximal ein bis zwei Objektfahrzeugen vorteilhaft.

Die Verwendung zusätzlicher Fahrzeugsensorik, beispielsweise als Dachaufbau, ermöglicht es, die Umgebung aus der gleichen oder einer ähnlichen Perspektive wie die zu testenden Sensoren zu erfassen. Durch die Zusatzsensorik und eine Offline-Verarbeitung können zwar genaue Daten erzeugt werden, aber Verdeckungen bestehen weiterhin. Darüber hinaus sind hochauflösende Sensoren teuer und auffällig, wodurch der umliegende Verkehr beeinflusst wird. Bei Testfahrzeugen für das Automatisierungslevel 4 kommt oft schon für das automatisierte Fahrsystem eine umfängliche und teure 360°-Perzeption zum Einsatz, deren Genauigkeit nur mit besonders hohem Aufwand durch weitere Sensorik aus ähnlicher Perspektive übertroffen werden kann. Die Verwendung ist damit insbesondere für Testfahrzeuge bis Automatisierungslevel 3 in Szenarien mit wenig Verdeckung vorteilhaft, wenn zudem eine große Vielfalt an unterschiedlichen Messorten berücksichtigt werden soll.

Die Verwendung einer Drohne ermöglicht die Erfassung aller Verkehrsteilnehmer mit einer hohen Genauigkeit über den vollständigen Messbereich. Der Verkehr wird durch die Messung nicht beeinflusst, zudem ist der Einsatz einer Drohne kostengünstiger als der fahrzeugseitiger 360°-Lasersensoren (Lidar). Eine stationär fliegende Drohne kann dabei jedoch nur einen begrenzten Bereich abdecken, wodurch das Testfahrzeug immer wieder aus dem Messbereich herausfährt. Das kann für besonders relevante Orte wie Kreuzungen oder Kreisverkehre ausreichend sein, um eine permanente Referenz zu liefern, muss die Drohne jedoch dem Testfahrzeug aktiv folgen, Bild 4.

Bild 4

Referenzmessung mit einer Drohne (© fka)

Die fka hat ein drohnenbasiertes Referenzmesssystem für Verfolgungsflüge auf Versuchsstrecken und im Realverkehr entwickelt, das dem oben beschriebenen Konzept entspricht. Damit die Drohne einem Testfahrzeug folgen kann, benötigt sie die genaue Position des Testfahrzeugs. Diese Information kann entweder über das Navigationssatellitensystem (GNSS) bereitgestellt oder durch Echtzeit-Bildverarbeitung des Drohnenkamerabilds extrahiert werden. Auf dieser Grundlage passt die Drohne ihre eigene Position und Ausrichtung an die des Testfahrzeugs an. Der Test dieses Systems auf einer Versuchsstrecke mit mehreren Fahrzeugen, die mit einem IMU-RTK-GNSS-Gerät ausgestattet waren, hat gezeigt, dass die Positionsfehler der Verkehrsteilnehmer sowohl für die Drohne als auch das IMU-RTK-GNSS-System im einstelligen Zentimeterbereich liegen. Das Titelbild dieses Artikels zeigt ein Beispiel der Referenzmessung mittels Verfolgungsflug im Realverkehr.

Trajektorien- und Szenariendaten für die Entwicklung

Im Realverkehr kann eine stationär fliegende Drohne zur Verkehrsdatenerfassung genutzt werden. Für die szenarienbasierte Absicherung werden Verkehrsdatensätze benötigt, um die relevanten und kritischen Verkehrsszenarien extrahieren zu können. Dies erfolgte beispielsweise im japanischen Sakura-Projekt [3] und im deutschen Förderprojekt Pegasus [4].

Auch die neue UNECE-Verordnung R157 "Automated Lane-Keeping Systems", die die ersten international abgestimmten Rahmenbedingungen für die Einführung von Pkw mit Level-3-Systemen darstellt, fordert ein szenarienbasiertes Testen der einzuführenden Systeme und gibt einen Szenarienkatalog vor. Da dafür keine konkreten Parameter angegeben sind, hat die fka ausgewählte Szenarien der Verordnung mit aufgezeichneten Messdaten vergleichen und Szenarienparameter extrahiert [5]. Als Datensatz wurde dazu der im Jahr 2018 mit der Drohnenmessmethodik erstellte Datensatz von deutschen Autobahnen (highD, highway drone dataset) [6] verwendet.

Zur Betrachtung der unterschiedlichen Herausforderungen hat die fka nach dem highD-Datensatz einige weitere Datensätze aus unterschiedlichen Ländern in Nordamerika, Asien oder Europa und von diversen verkehrsseitig herausfordernden Orten wie Autobahnauffahrten, Kreisverkehren und urbanen Kreuzungen erstellt. Der neue sogenannte uniD-Datensatz [7], Bild 5, wurde aus Messungen in Aachen an einer öffentlichen Straße vor dem Hauptgebäude der RWTH Aachen erstellt. Dadurch, dass an diesem Ort viele Studierende allein oder in Gruppen und zu Fuß oder mit einem Fahrrad unterwegs sind, entstehen viele relevante Interaktionsszenarien mit Fahrzeugen. Die Messungen fanden im Jahr 2019 vor dem Ausbruch der Covid-19-Pandemie statt.

Bild 5

uniD-Datensatz: Interaktionen zwischen Fahrzeugen und nichtmotorisierten Verkehrsteilnehmern (© fka)

Zur Förderung der Forschung wird der uniD-Datensatz für nichtkommerzielle öffentliche Forschungszwecke wieder kostenfrei zur Verfügung gestellt. In den vergangenen Jahren erfolgte eine solche Forschungsunterstützung durch levelXdata bereits für den highD-Datensatz [6], den Kreuzungsdatensatz inD (intersection drone dataset) [8] und den Kreisverkehrdatensatz rounD (roundabout drone dataset) [9]. Eine Lizenz zur Nutzung dieser Datensätze kann online über www.drone-dataset.com beantragt werden.

Zusammenfassung und Ausblick

Aktuelle Methoden zur Erstellung von Trajektoriendatensätzen und zur Generierung von Referenzdaten für die Umfelderfassung von automatisierten Fahrzeugen sind nicht ausreichend für komplexe Szenarien. Die Verwendung einer Drohne zur Messung bietet im Vergleich zu bestehenden Ansätzen einige Vorteile. Demnach sind Drohnen ein effektives Werkzeug zur Erstellung von Datensätzen sowohl für Autobahnen als auch im urbanen Bereich. Die Datensätze aus dem Realverkehr umfassen hochpräzise Trajektorien von Verkehrsteilnehmern und lassen sich sowohl für datengetriebene Entwicklungsansätze als auch für die Absicherung von automatisierten Fahrzeugen nutzen. Für die Evaluierung von Sensorsystemen eignen sich Drohnen besonders für komplexe Szenarien mit mehr als zwei Objekten. Kombiniert mit einer Auswertung der resultierenden Videoaufnahmen können Messdaten mit der Qualität einer RTK-GPS-Vermessung (Real Time Kinematic mittels Global Positioning System) für eine deutlich höhere Anzahl von Verkehrsteilnehmern zu geringeren Kosten generiert werden.

Literaturhinweise

• [1] fka (Hrsg.): levelXdata - Highly Accurate Traffic Data Captured from Aerial Perspective for all Levels of Automated Driving. Online: https://www.levelxdata.com/, aufgerufen: 23. Februar 2021

• [2] Lampe, B.; Woopen, T.; Eckstein, L.: Collective Driving - Cloud Services for Automated Vehicles in Unicaragil. 28. Aachener Kolloquium Fahrzeug- und Motorentechnik, 2019

• [3] Antona-Makoshi, J.; Uchida, N.; Yamazaki, K.; Ozawa, K.; Kitahara, E.; Taniguchi, S.: Development of a safety assurance process for autonomous vehicles in Japan. ESV-Konferenz, Eindhoven, 2019

• [4] Winner, H.; Lemmer, K.; Form, T.; Mazzega, J.: Pegasus - first steps for the safe introduction of automated driving. In: Road Vehicle Automation 2019, Nr. 5

• [5] Tenbrock, A.; et al.: The ConScenD Dataset: Concrete Scenarios from the highD Dataset According to ALKS Regulation UNECE R157 in OpenX. Institute of Electrical and Electronics Engineers (IEEE) IV, 2021 (eingereicht)

• [6] Krajewski, R.; Bock, J.; Kloeker, L.; Eckstein, L.: The highD Dataset: A Drone Dataset of Naturalistic Vehicle Trajectories on German Highways for Validation of Highly Automated Driving Systems. 21st IEEE International Conference on Intelligent Transportation Systems (IEEE ITSC), Maui, 2018

• [7] Moers, T.; Vater, L.; Krajewski, R.; Bock, J.: The uniD Dataset: A Real-World Trajectory Dataset of Highly Interactive Scenarios in Germany. 24th IEEE International Conference on Intelligent Transportation Systems (IEEE ITSC), 2021 (eingereicht)

• [8] Krajewski, R.; Bock, J.; Moers, T.; Runde, S.: The inD Dataset: A Drone Dataset of Naturalistic Road User Trajectories at German Intersections}. IEEE International Conference on Connected Vehicles & Expo (IEEE ICCVE), Graz, 2019

• [9] Krajewski, R.; Bock, J.; Moers, T.; Vater, L.: The rounD Dataset: A Drone Dataset of Road User Trajectories at Roundabouts in Germany. 23rd IEEE International Conference on Intelligent Transportation Systems (IEEE ITSC), Rhodos, 2020