Advertisement

Datenbank-Spektrum

, Volume 13, Issue 1, pp 33–43 | Cite as

Inkrementelle Neuberechnungen in MapReduce

  • Johannes Schildgen
  • Thomas Jörg
  • Stefan Deßloch
Schwerpunktbeitrag

Zusammenfassung

Das MapReduce-Programmiermodell ermöglicht die skalierbare Analyse und Transformation großer Datenmengen. Wir stellen das auf MapReduce basierende Marimba-Framework zur einfachen Entwicklung von inkrementellen, selbstwartbaren Programmen vor, welche bei Änderung von Quelldaten eine vollständige Wiederholung des MapReduce-Jobs vermeiden. Marimba wird anhand mehrerer Anwendungen illustriert und durch Leistungsmessungen evaluiert.

Schlüsselwörter

MapReduce Incremental 

Notes

Danksagung

Die vorgestellten Arbeiten wurden von Google im Rahmen eines Google Research Award finanziell unterstützt.

Literatur

  1. 1.
    Apache Hadoop project. http://hadoop.apache.org/
  2. 2.
    Bhatotia P, Wieder A, Rodrigues R, Acar UA, Pasquin R (2011) Incoop: mapreduce for incremental computations. In: Proceedings of the 2nd ACM symposium on cloud computing (SOCC ’11), New York, NY, USA, 2011. S 7:1–7:14. ACM Google Scholar
  3. 3.
    Dean J, Ghemawat S (2004) In: MapReduce: simplified data processing on large clusters (OSDI), S 137–150 Google Scholar
  4. 4.
    George L (2011) HBase: the definitive guide, 1st edn. O’Reilly Media, Sebastopol Google Scholar
  5. 5.
    Brown University Data Management Group. A comparison of approaches to large-scale data analysis. http://database.cs.brown.edu/projects/mapreduce-vs-dbms/
  6. 6.
    Ho R (2010) Map/reduce to recommend people connection. August 2010. http://horicky.blogspot.de/2010/08/mapreduce-to-recommend-people.html
  7. 7.
    Hu Y (2012) Efficiently extracting change data from column oriented NoSQL database. In: Proc of workshop on parallel, peer-to-peer, distributed and cloud computing (ICS 2012), Dezember 2012 (accepted) Google Scholar
  8. 8.
    Isard M, Budiu M, Yu Y, Birrell A, Fetterly D (2007) Dryad: distributed data-parallel programs from sequential building blocks. In: EuroSys, S 59–72 CrossRefGoogle Scholar
  9. 9.
    Jörg T, Parvizi R, Yong H, Dessloch S (2011) Incremental recomputations in mapreduce. In: CloudDB 2011, Oktober 2011 Google Scholar
  10. 10.
    Krenzel S (2010) MapReduce: Finding friends. http://stevekrenzel.com/finding-friends-with-mapreduce
  11. 11.
    Logothetis D, Olston C, Reed B, Webb KC, Yocum K (2010) Stateful bulk processing for incremental analytics. In: SoCC, S 51–62 CrossRefGoogle Scholar
  12. 12.
  13. 13.
    Peng D, Dabek F (2010) Large-scale incremental processing using distributed transactions and notifications. In: OSDI Google Scholar
  14. 14.
    Popa L et al. (2009) DryadInc: reusing work in large-scale computations. In: HotCloud Google Scholar
  15. 15.
    Schildgen J (2012) Ein MapReduce-basiertes Programmiermodell für selbstwartbare Aggregatsichten. Masterarbeit. TU, Kaiserslautern Google Scholar

Copyright information

© Springer-Verlag Berlin Heidelberg 2012

Authors and Affiliations

  • Johannes Schildgen
    • 1
  • Thomas Jörg
    • 2
  • Stefan Deßloch
    • 1
  1. 1.AG Heterogene InformationssystemeTechnische Universität KaiserslauternKaiserslauternDeutschland
  2. 2.GoogleMünchenDeutschland

Personalised recommendations