Deutung von Bildfolgen anhand ihrer symbolischen Beschreibung

  • Bernd Radig
Conference paper
Part of the Informatik-Fachberichte book series (INFORMATIK, volume 153)

Zusammenfassung

Deutung von Einzelbildern und Bildfolgen abstrahiert vom Bildsignal. Dazu wird die ikonische Darstellung in eine symbolische Beschreibung überführt. Zusätzlich zur Objektidentifikation in Einzelbildern ergibt sich die Aufgabe, korrespondierende Bildsymbole innerhalb der Folge zu bestimmen. Die Kenntnis der Korrespondenz wird benutzt, um Tiefeninformation zu gewinnen (Stereobilder), dreidimensionale Körper zu rekonstruieren (Schichtaufnahmen) oder Bewegung zu ermitteln (Zeitfolgen). Diese Aufgaben werfen grundsätzliche Probleme auf:
  1. •

    Welche Symbole werden benutzt, wie werden sie repräsentiert und wie aus dem Bildsignal extrahiert.

     
  2. •

    Wie werden Objekte, Konfigurationen von Objekten, Szenenbeschreibungen repräsentiert und gewonnen.

     
  3. •

    Welches Wissen wird benötigt, um die gewünschte Information (Identität, Handlung, …) zu rekonstruieren.

     

Als Lösungsvorschlag für die Basisprobleme wird die Verwendung von relationalen Strukturen diskutiert. Sie repräsentieren Bildsymbole, Bildobjekte und Szenenbeschreibungen. Hierarchisch aufgebaute Strukturen modellieren Objekt- und Szenenprototypen. Strukturen werden zur Identifikation und Korrespondenzermittlung miteinander verglichen, indem mathematische Abbildungen zwischen ihnen ermittelt werden, die wiederum als relationale Strukturen repräsentierbar sind.

Weitere Probleme der Bildinterpretation sind in diesem formalen Rahmen nicht lösbar. So muß Wissen über die Entstehung der Bilder, die Zuverlässigkeit und Adäquatheit der symbolischen Beschreibung und über das Interpretationsziel geeignet formuliert werden. Welche Systemarchitektur geeignet ist, welche Repräsentationsformalismen adäquat sind und nach welchen Kriterien sie beurteilt werden, wie die Aufgabenbeschreibung (das Interpretationsziel) in den Systementwurf einfließt und wie ein solcher Entwurf effizient in ein effizientes Programmsystem umgesetzt wird, sind noch weitgehend offene Fragen.

This is a preview of subscription content, log in to check access.

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

Literaturhinweise

  1. A. Ambler et al., A Versatile System for Computer Controlled Assembly, Artif. Intell. 6 (1975), S.129–156MATHCrossRefMathSciNetGoogle Scholar
  2. G. Adorni, M. Di Manzo, E. Trucco, Partial Occlusions in Scene Analysis: a Structural Approach, Proc. of the IASTED International Symposium Robotics and Automation, Lugano 1985, S.36–39Google Scholar
  3. M. Asada, S. Tsuji, Represantation of Three-dimensional Motion in Dynamic Scenes, Comp. Vision, Graphics, Image Proc. 21 (1983), S.118–144CrossRefGoogle Scholar
  4. M. Asada et al., Analysis of Three-dimensional Motions in Blocks World, Pattern Recognition 17 (1984), S.57–71CrossRefGoogle Scholar
  5. D.H. Ballard, C.M. Brown, Computer Vision, Prentice Hall, Englewood Cliffs 1982Google Scholar
  6. W. Benn, B. Radig, Retrieval of Relational Structures for Image Sequences, Proc. Intern. Conf. Very Large Data Bases, Singapur, August 1984, S.533–536Google Scholar
  7. W. Benn, Dynamische nicht-normalisierte Relationen und symbolische Bildbeschreibung, Informatik-Fachberichte 128, Springer-Verlag, Berlin Heidelberg 1986Google Scholar
  8. P. Besl, R. Jain, Three-dimensional Object Recognition, Comput. Surveys 17 (1985), S.75–145CrossRefGoogle Scholar
  9. R. Bolles, R. Cain, Recognizing and Locating Partially Visible Objects, Int. J. Robotics Research, Vol. 1, No. 3 (1982), S.57–82CrossRefGoogle Scholar
  10. R. Brooks, Symbolic Rreasoning among 3-D Mmodels and 2-D Images, Artif. Intell. 17 (1981), S.285–348CrossRefGoogle Scholar
  11. H. Bunke, Modellgesteuerte Bildanalyse, Teubner, Stuttgart 1985MATHGoogle Scholar
  12. J. Cheng, T. Huang, A Subgraph Isomorphism Algorithm Using Resolution, Pattern Recognition 13 (1981), S.371–379CrossRefMathSciNetGoogle Scholar
  13. J. Connell, M. Brady, Generating and Generalizing Models of Visual Objects, Artif. Intell. 31 (1987), S.159–183CrossRefGoogle Scholar
  14. W. Eckstein, S.J. Pöppl, Konzept einer universellen Programmiersprache für Bildverarbeitungsanwendungen, 8. DAGM-Symposium, Informatik-Fachberichte 125, Springer-Verlag, Berlin Heidelberg 1986, S.170–175Google Scholar
  15. W. Eckstein, S.J. Pöppl, PSIWAG — A Language for Logic Programming in Image Analysis, Proc. 8th International Conf. Pattern Recognition, Paris 1986, S.1117–1121Google Scholar
  16. R. Freytag, W. Haettich, H. Wandres, Development Tools for a Model Directed Workpiece Recognition System, Pattern recognition 19 (1986), S.267–278CrossRefGoogle Scholar
  17. K. Grebner, Model-based Analysis of Industrial Scenes, Proceedings CVPR ’86; IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Florida (1986), S.28-33Google Scholar
  18. R. Haralick, L. Shapiro, The Consistent Labeling Problem, IEEE Trans. Pattern Anal. Mach. Intell., Part I PAMI-1 (1979), S.173–184, Part II PAMI-2 (1980), S.193–203CrossRefGoogle Scholar
  19. J.-P. Haton (Hrsg.), Fundamentals in Computer Understanding: Speech and Vision, Cambridge University Press, Cambridge 1987Google Scholar
  20. D. Heeger, Models for Motion Perception, Proposal for a Ph. D. dissertation, University of Pennsylvania, Philadelphia 1986Google Scholar
  21. B. Horn, B. Shunck, Determining Optical Flow, Artif. Intell. 17 (1981), S.185–203CrossRefGoogle Scholar
  22. T. Huang, R. Tsai, Image Sequence Analysis: Motion Estimation, in Image sequence analysis, Hrsg .: T. Huang, Springer-Verlag, Berlin Heidelberg 1981, S.1–18Google Scholar
  23. T. Huang, J. Weng, N. Ahuja, 3-D Motion from Image Sequences: Modeling, Understanding and Prediction, Proc. of the Workshop on Motion: Representation and analysis, Charleston 1986, IEEE Comput. Soc. Press 1986, S.125–130Google Scholar
  24. C. Jacobus et al., Detection and Analysis of Matching Graphs of Intermediate-level Primitives, IEEE Trans. Pattern Anal. Mach. Intell. PAMI-2 (1980), S.495–510Google Scholar
  25. M. Kelly, Edge Detection in Pictures by Computer Using Planning, Mach. Intell. 6 (1971), S.739–409Google Scholar
  26. L. Kitchen, A. Rosenfeld, Discrete Relaxation for Matching Relational Structures, IEEE Trans. Syst. Man. Cyb. SMC-9 (1979), S.869–874MathSciNetGoogle Scholar
  27. W. Martin, J. Aggarwal, Volumetric Description of Objects from Multiple Views, IEEE Trans. Pattern Anal. Mach. Intell. PAMI-5 (1983), S.150–158CrossRefGoogle Scholar
  28. F. May, W. Wolf, Trennung bewegter Objekte im bewegten Umfeld einer Bildszene durch mehrstufige Bewegungskompensation, 5. DAGM-Symposium, Karlsruhe (1983), S.54–59Google Scholar
  29. M. Nagao, Control Strategies in Pattern Analysis, Pattern Recognition 17 (1984), S.45–56CrossRefGoogle Scholar
  30. H.-H. Nagel, Displacement Vectors Derived from Second Order Intensity Variations in Image Sequences, Comp. Vision, Graphics, Image Proc. 21 (1983), S.85–117CrossRefGoogle Scholar
  31. H.-H; Nagel, Spatio-temporal Modeling Based on Image Sequences, Proc. Int. Symp. Image Proc. Applications, Tokyo 1984Google Scholar
  32. H.-H. Nagel, Wissensgestützte Ansätze beim maschinellen Sehen: Helfen sie in der Praxis?, in Wissensbasierte Systeme — Gl-Kongreß 1985, Informatik-Fachberichte 112, Hrsg.: W. Brauer, B. Radig, Springer-Verlag, Berlin Heidelberg 1985, S.170–198Google Scholar
  33. B. Neumann, Optical flow, Mitteilung IFI-HH-M-108 des Fachbereichs Informatik der Universität Hamburg (1983)Google Scholar
  34. B. Neumann, H.-J. Novak, Event Models for Recognition and Natural Language Description of Events in Real World Image Sequences, Proc. Int. Joint Conf. Artif. Intell. Karlsruhe (1983), S.724–726Google Scholar
  35. H. Niemann, Mustererkennung — eine einführende Übersicht, Handbuch der modernen Datenverarbeitung, Vol. 21, No. 115 (1984), S.3–22Google Scholar
  36. H. Niemann, H. Bunke, Künstliche Intelligenz in Bild- und Sprachanalyse, Teubner, Stuttgart 1987Google Scholar
  37. B. Radig, Inferential Region Extraction in TV-sequences, Proc. 7th Int. Joint Conf. Artif. Intell., Vancouver (1981), S.719–721Google Scholar
  38. B. Radig, Symbolische Beschreibung von Bildfolgen I: Relationengebilde und Morphismen, Bericht IFI-HH-B-90 des Fachbereichs Informatik der Universität Hamburg (1982)Google Scholar
  39. B. Radig, Image Sequence Analysis Using Relational Structures, Pattern Recognition 17 (1984), S.161–167CrossRefGoogle Scholar
  40. B. Radig, Bildverstehen und Künstliche Intelligenz, Proc. German Workshop on Artificial Intelligence, Sept. 1984 in Wingst, Springer-Verlag, Berlin Heidelberg 1985, Informatik-Fachberichte 103, S.88–108Google Scholar
  41. B. Radig, Chr. Schlieder, Modellierung symmetrischer Werkstücke, Robotersysteme 1 (1985), S. 35–42Google Scholar
  42. E. Riseman, A. Hanson, A Methodology for the Development of General Knowledge-based Vision Systems, in Wissensbasierte Systeme — Gl-Kongreß 1985, Informatik-Fachberichte 112, Hrsg.: W. Brauer, B. Radig, Springer-Verlag, Berlin Heidelberg 1985, S.257–288Google Scholar
  43. S. Sakane, T. Kasvand, Segment-Matching of Shapes based on Clique Detection, Report ERB-946, National Research Council Canada (1982)Google Scholar
  44. A. Sanfeliu, K. Fu, A Distance Measure Between Attributed Relational Graphs for Pattern Recognition, Proc. 6th Int. Conf. Pattern Recognition, München (1982), S.162–168Google Scholar
  45. Ch. Sielaff, Hierarchical Decomposition and Synthesis of Relational Descriptions — the Modelgraph, Proc. 8th International Conf. Pattern Recognition, Paris (1986), S.1207–1209Google Scholar
  46. L. Shapiro, R. Haralick, Structural Description and Inexact Matching, IEEE Trans. Pattern Anal. Mach. Intell. PAMI-3 (1981), S.504–519CrossRefGoogle Scholar
  47. L. Shapiro, Organization of Relational Models, Proc. 6th Int. Conf. Pattern Recognition, München (1982), S.360–365Google Scholar
  48. M. Shneier, R. Lumia, E. Kent, Model-based Strategies for High-level Robot Vision, Computer Vision, Graphics, and Image Processing 33 (1986), S.293–306CrossRefGoogle Scholar
  49. G. Stein, Automatische Strukturanalyse von Bildsignalen aufgrund rechnerinterner Modelle aus lokalen Formmerkmalen, 5. DAGM-Symposium, Karlsruhe (1983), S.319–324Google Scholar
  50. S. Venable, D. Richter, M. Wiedemann, A Rule-based System for Improving on Image Segmentation, 2nd Conference on Artificial Intelligence Applications, Florida, IEEE Computer Society (1985), S.94–99Google Scholar
  51. A. Waxman, K. Wohn, Image Flow Theory: A Framework for 3-D Inference from Time-varying Imagery, Preprint, to be published in Advances in Computer Vision Google Scholar
  52. H. Westphal, Dreidimensionale Modellierung konkaver bewegter Objekte und Untersuchungen zur Ausnutzung von Helligkeitsveränderungen zur Formbestimmung, Dissertation, Universität Hamburg 1985Google Scholar
  53. P.H. Winston, Learning Structure Descriptions from Examples, in The Psychology of Computer Vision, Hrsg.: P.H. Winston, McGraw-Hill, New York 1975, S.157–209Google Scholar
  54. K. Wohn, A Contour-based Approach to Image Flow, Doctoral dissertation, University of Maryland 1986Google Scholar

Copyright information

© Springer-Verlag Berlin Heidelberg 1987

Authors and Affiliations

  • Bernd Radig
    • 1
  1. 1.Institut für Informatik der TechnischenUniversität MünchenMünchen 2Germany

Personalised recommendations