Advertisement

Big Data Services

Erfahrungen im Big-Data-Kompetenzzentrum
  • Lars-Peter MeyerEmail author
  • Jan Frenzel
  • Eric Peukert
  • René Jäkel
  • Stefan Kühne
Chapter

Zusammenfassung

In vielen Bereichen sollen zunehmende Datenmengen sinnvoll ausgewertet werden. Dabei fällt häufig das Schlagwort Big Data. Bei potenziellen Anwendern in Wissenschaft und Wirtschaft bleiben jedoch häufig viele Fragen offen, hier helfen Big-Data-Kompetenzzentren. In diesem Beitrag wird aus den Erfahrungen eines Big-Data-Kompetenzzentrums berichtet mit dem Fokus auf dem Service-Aspekt. Das Service-Portfolio des Big-Data-Kompetenzzentrums wird vorgestellt und anhand realer Fälle aus der Praxis erläutert. Exemplarisch wird auf den Betrieb der notwendigen Big-Data-Cluster als wichtiger Service-Baustein eingegangen.

Notes

Danksagung

Dieser Beitrag wurde durch das Bundesministerium für Bildung und Forschung gefördert im Rahmen des Projektes „Competence Center for Scalable Data Services and Solutions (ScaDS) Dresden/Leipzig“ (Fkz. BMBF 01IS14014B).

Literatur

  1. BITKOM (Hrsg) (2012) Big Data im Praxiseinsatz. Szenarien, Beispiele, Effekte. Leitfaden, Berlin. http://www.bitkom.org/de/publikationen/38337_73446.aspxGoogle Scholar
  2. Cantor S, Scavo T (2005) Shibboleth architecture. Protoc Profiles 10:16 ffGoogle Scholar
  3. Chintapalli S, Dagit D, Evans B, Farivar R, Graves T, Holderbaugh M et al (2016) Benchmarking streaming computation engines. Storm, Flink and Spark Streaming. 2016 IEEE international parallel and distributed processing symposium workshops (IPDPSW), S 1789–1792Google Scholar
  4. Davenport TH, Patil DJ (2012) Data scientist. The sexiest job of the 21st century. Harv Bus Rev 90(10):70–76, 128Google Scholar
  5. Frank BH (2016) Amazon will literally truck your data into its cloud. Its new ‚Snowmobile‘ data truck offers 100PB of data transfer. Computerworld.com. Zugegriffen am 30.11.2016 (zuletzt geprüft am 01.09.2017)Google Scholar
  6. Gadatsch A, Landrock H (2017) Big Data für Entscheider. Entwicklung und Umsetzung datengetriebener Geschäftsmodelle. Springer Vieweg (Essentials), WiesbadenCrossRefGoogle Scholar
  7. Grunzke R, Jug F, Schuller B, Jäkel R, Myers G, Nagel WE (2016) Seamless HPC integration of data-intensive KNIME workflows via UNICORE. In: Desprez F, Dutot P-F, Kaklamanis C, Marchal L, Molitorisz K, Ricci L et al (Hrsg) Euro-Par 2016: parallel processing workshops: Euro-Par 2016 international workshops, Grenoble, France, August 24–26, 2016, revised selected papers. Springer International Publishing, Cham, S 480–491Google Scholar
  8. Höhne R, Staib J (2016) Multi-scale visualisation – key to an enhanced understanding of materials. Carbon Compos Mag (4):20–21. https://www.carbon-composites.eu/media/2433/ccev_magazin_4_16_web.pdf
  9. Jha S, Qiu J, Luckow A, Mantha P, Fox GC (Hrsg) (2014) A tale of two data-intensive paradigms: applications, abstractions, and architectures. 2014 IEEE international congress on Big Data, AnchorageGoogle Scholar
  10. Junghanns M, Petermann A, Rahm E (2017) Distributed grouping of property graphs with Gradoop. In: Mitschang B, Nicklas D, Leymann F, Schöning H, Herschel M, Teubner JT et al (Hrsg) BTW 2017. GI-Edition. Proceedings, Bd 265. Gesellschaft für Informatik e.V. (GI), Bonn, S 103–122. http://btw2017.informatik.uni-stuttgart.de/slidesandpapers/F2-11-27/paper_web.pdf
  11. Marchini J, Howie B (2010) Genotype imputation for genome-wide association studies. Nat Rev 11:499 ffCrossRefGoogle Scholar
  12. Müller L, Gerighausen D, Farman M, Zeckzer D (2016) Sierra platinum. A fast and robust peak-caller for replicated ChIP-seq experiments with visual quality-control and -steering. BMC Bioinform 17(1):377.  https://doi.org/10.1186/s12859-016-1248-6CrossRefGoogle Scholar
  13. Nagel WE, Rahm E (2015) News. Startschuss für das Big-Data-Kompetenzzentrum „ScaDS Dresden/Leipzig“. Datenbank-Spektrum 15(1).  https://doi.org/10.1007/s13222-015-0182-5
  14. Rabl T, Traub J, Katsifodimos A, Markl V (2017) Apache Flink in current research. IT Inf Technol 58:157–165Google Scholar
  15. Schemala D de, Schlesinger D, Winkler P, Herold H, Meinel G (2016) Semantic segmentation of settlement patterns in gray-scale map images using RF and CRF within an HPC environment. GEOBIA 2016. Solutions and synergies: University of Twente Faculty of Geo-Information and Earth Observation (ITC). http://proceedings.utwente.nl/420/
  16. Scott J (2015) A tale of two clusters: Mesos and YARN. With Myriad, analytics can be performed on the same hardware that runs your production services. (Hrsg) v. O’Reilly (Ideas). https://www.oreilly.com/ideas/a-tale-of-two-clusters-mesos-and-yarn. Zugegriffen am 01.09.2017
  17. Sehili Z, Rahm E (2016) Speeding up privacy preserving record linkage for metric space similarity measures. Datenbank-Spektrum 16(3):227–236.  https://doi.org/10.1007/s13222-016-0222-9CrossRefGoogle Scholar
  18. Tiepmar J, Eckart T, Goldhahn D, Kuras C (2017) Integrating Canonical Text Services into CLARIN’s search infrastructure. Linguist Lit Stud 5(2):99–104.  https://doi.org/10.13189/lls.2017.050205CrossRefGoogle Scholar
  19. White, Tom (2015) Hadoop. The definitive guide, 4. Aufl. O’Reilly, SebastopolGoogle Scholar
  20. Yoo AB, Jette MA, Grondona M (2003) SLURM – Simple Linux Utility for Resource Management. In: Goos G, Hartmanis J, van Leeuwen J, Feitelson D, Rudolph L, Schwiegelshohn U (Hrsg) Job scheduling strategies for parallel processing. Lecture notes in computer science, Bd 2862. Springer, Berlin/Heidelberg, S 44–60CrossRefGoogle Scholar
  21. Zaharia M, Chowdhury M, Das T, Dave A, Ma J, Mccauley M et al (2012) Fast and interactive analytics over Hadoop data with Spark. USENIX Login 37(4):45–51Google Scholar
  22. Zheng Z, Zhu J, Lyu MR (2013) Service-generated Big Data and Big Data-as-a-Service. An overview. 2013 IEEE international congress on Big Data (Big Data Congress). Santa Clara, CA, USA, 27.06.2013–02.07.2013. IEEE, S 403–410Google Scholar

Copyright information

© Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2018

Authors and Affiliations

  • Lars-Peter Meyer
    • 1
    Email author
  • Jan Frenzel
    • 2
  • Eric Peukert
    • 3
  • René Jäkel
    • 2
  • Stefan Kühne
    • 1
  1. 1.URZUniversität LeipzigLeipzigDeutschland
  2. 2.ZIHTechnische Universität DresdenDresdenDeutschland
  3. 3.DBSUniversität LeipzigLeipzigDeutschland

Personalised recommendations