1 Einleitung

Die Gewinnungssprengung im Tagbau als erste Stufe der Zerkleinerungskette hat naturgemäß einen starken Einfluss auf alle nachgeschalteten Prozesse, wie das Laden, Fördern und die folgende Aufbereitung. Schnelle Informationen über die Eigenschaften des gesprengten Hauwerks ermöglichen eine gezielte und effiziente Produktionsplanung, und außerdem können die gewonnenen Daten als Basis für zukünftige Sprengungen und deren Planung bzw. Auslegung herangezogen werden [1].

Die Bestimmung der Hauwerkseigenschaften einer modernen Gewinnungssprengung mittels Siebanalyse ist weder praktisch noch wirtschaftlich sinnvoll durchführbar, weshalb schon seit einiger Zeit bildbasierte Verfahren in verschiedenen Formen zum Einsatz kommen. Die Photogrammetrie – als flächiges Verfahren zur dreidimensionalen Objektrekonstruktion aus herkömmlichen Bildern – ist in der Lage, die Szene mit sehr hohem Detailgrad zu erfassen und metrisch korrekt abzubilden. Insbesondere bei der Analyse spezifischer Objektmerkmale stellen jedoch Abschattungen sowie teilweise und vollständige Überlappung ein großes Problem dar. Aufgrund der stetigen Weiterentwicklung unbemannter Flugsysteme (unmanned aerial vehicle, UAV) gemeinsam mit modernen Methoden der bildbasierten 3D-Rekonstruktion (Structure from Motion, SfM) kommen vergleichbare Verfahren mittlerweile in vielen Bereichen der Geodatenerfassung (Inspektion, Massenermittlung, Nachtragsvermessung, …) zum Einsatz [2].

Sie schließen die (geometrische) Lücke zwischen Luftbildphotogrammetrie und terrestrischen Methoden, stellen somit eine wertvolle Ergänzung zu bestehenden Verfahren dar und ermöglichen vor allem auch die Erschließung neuer Anwendungsfelder [3].

Im Rahmen des Arbeitspakets 5.1 im internationalen Forschungsprojekt „Sustainable Low Impact Mining solution for exploitation of small mineral deposits based on advanced rock blasting and environmental technologies“, (SLIM, Grant agreement No 730294,) beschäftigt sich der Lehrstuhl für Bergbaukunde, Bergtechnik und Bergwirtschaft an der Montanuniversität Leoben gemeinsam mit weiteren Forschungs- und Industriepartnern aus dem In- und Ausland mit dem Potential unbemannter Flugsysteme zur Analyse von gesprengtem Hauwerk [4].

Das Ziel des gegenständlichen Arbeitspakets ist die Entwicklung eines Systems, das mittels Methoden der Bildverarbeitung sowie des Maschinellen Lernens die schnelle Erfassung der Eigenschaften eines gesprengten Hauwerks, wie Form, Zerkleinerung und das Vorhandensein von Knäppern, ermöglicht.

2 Bildbasierte Hauwerkscharakterisierung

Aufgrund der vorhandenen betrieblichen, praktischen und wirtschaftlichen Einschränkungen ist es augenscheinlich, dass die Analyse von Bildern zur Erfassung der Hauwerkscharakteristik schon länger im Fokus von Forschung und Entwicklung steht [5,6,7].

Neben Problemen der Repräsentativität – im Gegensatz zur Siebanalyse werden bei berührungslosen Verfahren nur die Partikel an der Oberfläche berücksichtigt – müssen vor allem die folgenden Punkte in die Betrachtung miteinbezogen werden:

  • Was zeigen die Bilder? Teilweise flach liegende Blöcke im Gegensatz zur Betrachtung des geringsten, meist aufgestellten Querschnitts bei der Siebanalyse.

  • Wie erfolgt die Auswertung einer 2D-Korngrößenverteilung?

  • Wie können 2D-Bilder in Volumina oder Massen einzelner Fragmente überführt werden?

  • Wie muss die relative Orientierung des Kamerasystems gewählt werden, um Abschattungen weitestgehend zu vermeiden?

  • Wie groß sind die feinsten Partikel, die erkannt werden sollen? Die Bodenauflösung (ground sample distance, GSD) muss unter Berücksichtigung der Tiefenauflösung entsprechend gewählt werden.

Erste Lösungen, die versuchten diese Probleme zu überwinden, basierten im Wesentlichen auf 2D-Bildanalysen [8]. Van Aswegen und Cunningham [9] präsentierten bereits sehr früh ein System, das auf dem Vergleich mit „Standardfotos“ basiert (Quick Rating System, QRS). Diese Standardbilder zeigten künstlich hergestellte „Modellhauwerke“ mit bekannter Korngrößenverteilung, wobei zusätzlich noch Skalierungsobjekte in der Größe des x50 in den Bildern sichtbar waren. Das System fußte auf der Erkenntnis, dass jedem Wert des Gleichförmigkeitsindex n eine „charakteristische Textur“ zugeordnet werden kann, die skaleninvariant ist und woraus dann in weiterer Folge der x50-Wert abgeleitet werden konnte [9].

In den folgenden Jahren gewannen bildbasierte Verfahren zusehends an Bedeutung, wobei eine umfassende Zusammenfassung bei [10] gefunden werden kann. Alle frühen 2D-Verfahren zeigen jedoch im Wesentlichen zwei gemeinsame Schwächen:

  • die Unfähigkeit, mehr als 1–1,5 Größenordnungen in der Partikelgröße aufzulösen und

  • die Tendenz, steilere bzw. gleichmäßigere Korngrößenverteilungen zu produzieren als die Siebanalyse.

Die Ursache hievon liegt vordergründig in Fehlern bei der Extraktion einzelner Fragmente: Große Partikel neigen dazu, in mehrere Teile zu „zerfallen“ und kleinere werden zu größeren „vereinigt“. Die meisten Systeme nutzen Bildsegmentierung, wodurch die Bilder in homogene Bereiche unterteilt werden (Edge detection oder Morphologie-basierte Verfahren) zur Erkennung der „Partikelgrenzen“ [11]. Die Güte der Bildsegmentierung bestimmt naturgemäß sehr stark die Qualität der ermittelten Hauwerkscharakteristik, wobei die Entwicklung allgemein anwendbarer Algorithmen aufgrund der starken Variation in Beleuchtung, Perspektive, Farbe und allgemein Materialeigenschaften aus heutiger Sicht noch eine ungelöste Aufgabe darstellt und ein interaktives Eingreifen seitens des Anwenders demnach nahezu immer notwendig macht.

Untersuchungen zur Genauigkeit von bildbasierten 2D-Verfahren zeigen außerdem, dass Bildanalyseverfahren im Bereich großer Korngrößen zwar verhältnismäßig gut funktionieren (Fehler <30 %), jedoch im Feinbereich keine zuverlässigen Ergebnisse erreicht werden können [12].

Trotz der aufgezeigten Schwächen sind 2D-Bildanalyseverfahren noch immer eine der am häufigsten eingesetzten Methoden zur Ermittlung der Zerkleinerung im Bergbau. Zumeist kommen hierbei fix installierte Kameras unmittelbar vor dem gesprengten Hauwerk, an bzw. über Radladerschaufeln und Muldenkippern sowie an Brechern bzw. Materialübergabestationen zum Einsatz. Für vergleichbare Anwendungen (Vermessung der Korngrößen in der Bildebene) wurde in den letzten Jahren auch eine Reihe von Softwareprodukten – WipFrag, FragScan, Split-Desktop, Power-Sieve, IPACS, TUCIPS, CIAS, GoldSize uvm. – entwickelt, wovon allerdings nur wenige erfolgreich am Markt bestehen konnten. Am weitesten verbreitet sind WipFrag, Fragscan, Split-Desktop und Power Sieve, welche auch bei [13] näher analysiert wurden.

Einige der Schwächen zweidimensionaler Verfahren können durch die Verwendung von 3D-Information abgemindert werden, wie bei [5,6,7] und [14] anhand von Laserscandaten und bei [15] am Beispiel von Zerkleinerungsanalysen im Blockbruchbau gezeigt wird. Neben der Möglichkeit, größere zusammenhängende Areale aufzunehmen, können auch Probleme hinsichtlich Verdeckung und Skalierung umgangen werden. Wie auch bei der zweidimensionalen Analyse [12] stellt jedoch insbesondere die Detektion von Feinanteilen – sofern diese im Hauwerk überwiegen – nach wie vor ein Problem dar, das ein händisches Eingreifen unerlässlich macht [15]. Bei der unmittelbaren Betrachtung von gesprengtem Hauwerk an Ort und Stelle ergeben sich überdies weitere Nachteile aufgrund der Tatsache, dass zumeist terrestrische Systeme zum Einsatz kommen, die einerseits die laufenden betrieblichen Tätigkeiten stören und andererseits perspektivische Einschränkungen hinsichtlich der Aufnahmeposition einer vollständigen Erfassung der charakteristischen Merkmale entgegen stehen.

Zusammenfassend kann also gesagt werden, dass die Erfassung der Hauwerkscharakteristik unter Verwendung von Kameras oder LIDAR-Daten zumeist ein starkes Eingreifen seitens des Anwenders erfordert und demgemäß die relevanten Informationen oftmals nur in sehr geringer räumlicher und zeitlicher Auflösung vorliegen. Die Nutzung dreidimensionaler Information führt zwar zu einer signifikanten Verbesserung der Ergebnisse, eine vollautomatische und robuste Erfassung der Hauwerkscharakteristik ist jedoch nach wie vor nicht möglich.

3 Automatisierte Mehrbildauswertung

Im Rahmen des gegenständlichen Projekts wird eine Verbindung aus photogrammetrischer Erfassung mit maschinellem Lernen zur Charakterisierung des Hauwerks angestrebt. Zunächst wird kurz die Funktionsweise der 3D-Rekonstruktion beschrieben und anschließend wird erläutert, wie die so erzeugte Information die Charakterisierung des Hauwerks unterstützen wird. Beide Teile sollen am Ende des Projekts mit einem Minimum an menschlicher Interaktion funktionieren und somit die Effizienz des gesamten Prozesses steigern.

3.1 Planung der Bildaufnahme

Um eine metrische 3D-Rekonstruktion aus 2D-Bildern zu erzeugen, sind mehrere Dinge vonnöten. Zuallererst wird ein Satz von Bildern benötigt, welcher die zu rekonstruierende Szene aus mehreren Blickwinkeln abbildet. Hierbei ist einerseits darauf zu achten, dass die Bilder untereinander genügend Parallaxe beinhalten (die Szene von möglichst verschiedenen Blickwinkeln abbilden), andererseits sollen die Blickwinkeldifferenzen zwischen benachbarten Bildern nicht zu groß sein, da sonst das Finden von Korrespondenzen in den Bildern nicht mehr möglich ist. Um beides zu gewährleisten, bietet sich deshalb ein regulärer Rasterflug mit genügend Bildüberlappung an.

Aus 2D-Bildern lässt sich nun vollautomatisch eine 3D-Rekonstruktion erstellen, welche allerdings ohne weitere externe Information noch keine metrische Skalierung besitzt (Abb. 1). Um zu einer metrischen Rekonstruktion zu gelangen, gibt es im Allgemeinen zwei Ansätze. Entweder werden die metrischen Abstände zwischen den Kamera-Bildern (z. B. mittels GNSS Empfänger) bestimmt, oder es werden Maßstäbe bzw. koordinativ bekannte Referenzpunkte platziert, welche in den Bildern wieder gefunden werden können [3, 16].

Abb. 1
figure 1

3D Rekonstruktionsergebnis. a Das Structure-from-Motion (SfM) Ergebnis enthält eine dünne Punktwolke und die Kamerapositionen. b Nach dem Multi-View Stereo Schritt wird die Punktwolke wesentlich dichter und besteht aus Millionen von Punkten. Das rote Viereck markiert den Ausschnitt (c)

Full size image

3.2 Automatische 3D-Rekonstruktion

Im Folgenden wird kurz die 3D-Rekonstruktions-Pipeline beschrieben, welche vollständig automatisiert abläuft. Alles was für eine metrische Rekonstruktion benötigt wird, sind Bilder und die absolute Position der Referenz- bzw. Bodenkontrollpunkte in der Szene (in Abb. 2a kann am unteren Bildrand ein automatisch identifizierbarer Referenzpunkt erkannt werden). Aus diesen Daten können dann zunächst die Kamera-Posen bestimmt werden (Abb. 1a), mit welchen anschließend eine dichte georeferenzierte Punktwolke erzeugt werden kann (Abb. 1b). Dabei kommen im Wesentlichen die folgenden Schritte zur Anwendung, wobei für nähere Informationen auf [3] bzw. [16] verwiesen wird:

  1. 1.

    Kamerakalibrierung: Bestimmung der inneren Orientierung (Lage des Bildhauptpunkts, fokale Länge und Linsenverzeichnung)

  2. 2.

    Merkmalsextraktion und Korrespondenzanalyse: Finden von „Natural Features“ [17] und Berechnung der Korrespondenzen auf Basis der euklidischen Distanz zwischen den Deskriptoren

  3. 3.

    Relative Orientierung und Bündelblockausgleich: Schätzung der relativen Lage der Bilder zueinander und anschließende simultane Optimierung der intrinsischen und extrinsischen Parameter sowie der 3D-Objektpunkte [18]

  4. 4.

    Georeferenzierung: Überführung der 3D-Rekonstruktion in ein metrisches und georeferenziertes System mittels Similarity Transformation (3D-Helmert Transformation). Zur Erhöhung der Genauigkeit und insbesondere zur Vermeidung beziehungsweise Abschwächung systematischer Deformationen des Bildblocks können die zusätzlichen Informationen aus Bodenkontrollpunkten und bekannten Kamerapositionen auch in den Bündelblockausgleich integriert werden. Im Gegensatz zur formerhaltenden Transformation werden sowohl die innere als auch die äußere Orientierung nochmals optimiert, wobei die Kamera- und Objektpunktpositionen an die bekannten Referenzpositionen gekoppelt werden und sich somit nur beschränkt bewegen dürfen.

Abb. 2
figure 2

Beispiel einer Luftbildaufnahme. a zeigt das Farbbild einer Luftbildaufnahme des Hauwerks. b zeigt ein farbkodiertes Tiefenbild, welches mit Multi-View Stereo erstellt wurde. Grüne Objekte ragen höher hervor als rote. Knäpper und größere Brocken sind im Tiefenbild sehr gut erkennbar

Full size image

Da die Kamera-Positionen nach der Georeferenzierung ebenfalls metrisch vorliegen, kann nun direkt eine „dichtere“ Punktwolke in richtiger Skalierung erzeugt werden. Insbesondere zur Analyse von charakteristischen Eigenschaften ist dieser höhere Auflösungsgrad notwendig, da bestimmte Details ansonsten nicht oder nur sehr schwer identifiziert werden könnten. Bei diesem Prozess, der auch Multi-View Stereo genannt wird, ist es das Ziel, für jeden Pixel im Bild einen Tiefenwert zu bestimmen. Diese Tiefenwerte können dann entweder in einem Tiefenbild weiterverarbeitet werden oder zu einer Punktwolke verbunden werden. In Abb. 1 wird eine Punktwolke, welche mit SURE [19] verdichtet wurde, dargestellt und Abb. 2b zeigt ein Beispiel eines Tiefenbildes.

3.3 Hauwerkscharakterisierung mit maschinellem Lernen

Im Rahmen des Projektes soll die metrische 3D-Rekonstruktion mit maschinellem Lernen verbunden werden. Ziel ist es, die Korngrößenverteilung vollautomatisch zu bestimmen sowie Knäpper und Bereiche unterschiedlicher Zerkleinerung zu detektieren. Teil dieser Aufgabe ist es, die Umrisse der Gesteinsbrocken richtig zu erkennen und zu interpretieren. Da reine Farbbilder wegen Schattenwurf nicht immer gut dafür geeignet sind, werden auch die Tiefen-Informationen aus der 3D-Rekonstruktion (siehe Abb. 2b) verwendet werden. Da die Korngrößenbestimmung und Knäpperdetektion metrische Aufgaben sind, ist eine metrische Rekonstruktion eine sehr wichtige Informationsquelle. Für die Segmentierung der einzelnen Körner werden neuronale Netze verwendet. Diese Netzwerke sind in der Lage, die Unterschiede zwischen scheinbaren Kanten (z. B. durch Schattenschlag) von echten Objektumrissen zu unterscheiden [20]. Um diese Unterscheidung treffen zu können, müssen die Netzwerke allerdings speziell für diese Aufgabe trainiert werden. Es muss jedoch nicht immer alles von Null weg gelernt werden. Mit Transfer Learning (siehe z. B. [21]) können Netzwerke, die für eine bestimmte Aufgabe mit großen Mengen an Trainingsdaten (z. B. Bild-Klassifikation) trainiert wurden, mit nur geringen Mengen an zusätzlichen Trainingsdaten für andere Aufgaben adaptiert werden. Diese Eigenschaft soll genutzt werden, um die benötigte Menge an Trainingsdaten möglichst gering zu halten.

4 Stand der Forschungsarbeiten

Im Folgenden soll der Stand der Tätigkeiten bei der angestrebten Systementwicklung dargelegt werden, wobei grundsätzlich zwei Stoßrichtungen verfolgt werden: Neben der Auswertung realmaßstäblicher Daten von Gewinnungssprengungen im Tagbau sollen vor allem aufgrund der einfacheren Reproduzierbarkeit und der Möglichkeit, eine exakte „Ground Truth“ zu ermitteln, auch Modellversuche durchgeführt werden.

4.1 Befliegungen im Realmaßstab

Zur Gewährleistung der Funktion der entwickelten Technologieplattform und der Algorithmen unter realen Bedingungen werden schon zu Beginn reale Befliegungen in die Betrachtungen mit einbezogen. Befliegungen dieser Art wurden am Steirischen Erzberg und in El Ajibe in Spanien durchgeführt, wobei die Sprenganlage sowohl vor der Sprengung, unmittelbar danach und auch während und nach der Ladearbeit aufgenommen wurde und wird.

Dabei wurden bislang rund 8000 Bilder aufgenommen, deren vordergründiger Zweck die Schaffung einer fundierten Datenlage für die weitere Algorithmenentwicklung ist, weshalb die Sprenganlagen immer in mehreren Höhen und auch aus verschiedenen Blickrichtungen aufgenommen werden. Die Flughöhe bzw. der Objektabstand muss an die gewünschte Zielsetzung angepasst werden, da die Bildauflösung naturgemäß einen limitierenden Faktor bei der Detektion einzelner Fragmente darstellt. Für die quantitative Beurteilung der Ergebnisse und zur Verifizierung der abgeleiteten Korngrößenverteilungen ist jedoch eine aussagekräftige und vor allem reproduzierbare Referenz unbedingte Voraussetzung. Da eine vollständige Siebanalyse der Gewinnungsprengungen am Steirischen Erzberg praktisch jedoch nahezu unmöglich ist, kann diese für die realmaßstäblichen Daten nur bedingt gegeben werden, und eine Bestimmung der tatsächlichen Hauwerkscharakteristik ist nicht möglich. Neben dem Vergleich mit am Markt vorhandenen bildbasierten Lösungen (z. B. Fragscan, WipFrag oder Split-Desktop) können die Ergebnisse somit nur durch händische Klassifizierung und Beurteilung überprüft werden.

4.2 Modellversuche

Aufgrund der angesprochenen Probleme hinsichtlich Schaffung einer vollständigen Referenz- bzw. „Ground Truth“-Information werden neben den realmaßstäblichen Befliegungen auch Modellversuche im Maßstab 1:25 durchgeführt. Durch die Verwendung von zerkleinertem Material vom Steirischen Erzberg wird die Vergleichbarkeit der Modellversuche mit den Befliegungen sichergestellt, und die Modelldaten können überdies als Trainingsdaten für die Algorithmen des Maschinellen Lernens herangezogen werden. Basierend auf den Ergebnissen realmaßstäblicher Gewinnungssprengungen werden definierte und durch Laborsiebung verifizierte Versuchskörnungen hergestellt, die anschließend mehrmals geworfen und in einem entsprechend skalierten Bildverband fotografiert werden. Das Ziel dieser Versuche ist, zu überprüfen, ob dasselbe Haufwerk in unterschiedlichen Konfigurationen „wiedererkannt“ werden kann, bzw. ob das System in der Lage ist, eine bekannte Korngrößenverteilung aus verschiedenen Bilddatensätzen robust zu reproduzieren.

Abb. 3 zeigt den Versuchsaufbau in Form eines Stahlprofils, das eine Etage sowie die Bruchwand simulieren soll. Die mit einem Balken verbundenen Vermessungsstative dienen als „Kameraführung“, wodurch die Einhaltung der „Flugbahn“ (durch Markierungen am Boden und optische Lote realisiert) bei der Bildaufnahme wesentlich vereinfacht wird.

Abb. 3
figure 3

Modellversuchsaufbau. a zeigt die gesamte Anordnung im Überblick. b zeigt exemplarisch eine Versuchskörnung und c können die Abmessungen des Systems entnommen werden

Full size image

Durch Kippen des gesamten Systems um die horizontale Längsachse kann das „gesprengte Material“ neu angeordnet und der Vorgang der Bildaufnahme beliebig oft wiederholt werden. Dabei müssen jedoch etwaig auftretende Entmischungserscheinungen beobachtet und gegebenenfalls das Material neu angeordnet werden.

Es werden sowohl „gute“ (gleichmäßige Zerkleinerung) als auch „schlechte“ (zu grob, zu fein, bzw. „dust and boulders“) Sprengungen simuliert (vgl. Abb. 4), wodurch sichergestellt wird, dass das System am Ende in der Lage ist, zwischen unterschiedlichen Zerkleinerungsergebnissen zu unterscheiden und auch deren Qualität zu beurteilen. Jede Versuchskörnung umfasst rund 70 kg, und entsprechend dem geplanten Maßstab von 1:25 weisen die größten Fragmente Korngrößen bis zu 7 cm auf. Das Material wird an die „Bruchwand“ angeböscht und aus vorab definierten Bildpositionen fotografiert. Die Bildaufnahme erfolgt (wie bei den beschriebenen Befliegungen) aus mehreren Höhen sowie auch aus verschiedenen Blickrichtungen. Der Bildüberlapp liegt bei 90 %, wodurch ein nachträgliches Ausdünnen der Bilddaten ermöglicht wird und überdies der Einfluss der Bildaufnahme auf die Ableitung der Hauwerkscharakteristika sowie auf die Erstellung der 3D-Geometrie analysiert werden kann.

Abb. 4
figure 4

Verschiedene Versuchskörnungen. a gleichmäßig, b zu grob, c zu fein, d „dust and boulders“

Full size image

5 Schlussfolgerungen und Ausblick

Unbemannte Flugsysteme in Verbindung mit leistungsstarken und automatisierten 3D-Bildauswertungen haben zuletzt einen nicht mehr zu übersehenden Stellenwert in der bergmännischen Vermessung erreicht. Aufgrund der raschen, sicheren und vollständigen Möglichkeit zur Datenerfassung sollen vergleichbare Systeme jedoch zukünftig nicht nur zur Ableitung von Geometrieinformationen, sondern auch für spezielle bergtechnische Anwendungen, wie z. B. zur Charakterisierung von gesprengtem Hauwerk, eingesetzt werden. Sprenganlagen unterschiedlicher Größe können ohne signifikanten Mehraufwand rasch aufgenommen werden und die abgeleiteten, hoch aufgelösten und vor allem dreidimensionalen Informationen bilden eine wertvolle Grundlage zur Beurteilung der Sprengergebnisse.

Die im Beitrag aufgezeigten Schwächen bildbasierter Verfahren können jedoch nicht allein durch eine neue Trägerplattform umgangen werden, sondern es sind auch signifikante Weiterentwicklungen in der Datenanalyse und -bearbeitung vonnöten, um robuste Aussagen zu generieren. Die Verbindung aus photogrammetrischer Erfassung und maschinellem Lernen soll die Belastbarkeit und Reproduzierbarkeit der Ergebnisse erhöhen und zur Entwicklung eines weitestgehend automatisierten Systems beitragen, das mit einem Minimum an menschlicher Interaktion funktioniert.