Advertisement

HMD Praxis der Wirtschaftsinformatik

, Volume 55, Issue 2, pp 445–461 | Cite as

Klassisches Multi-threading versus MapReduce zur Parallelisierung rechenintensiver Tasks in der Amazon Cloud

  • Peter Mandl
  • Alexander Döschl
Spektrum
  • 133 Downloads

Zusammenfassung

Der vorliegende Beitrag befasst sich mit dem Vergleich von rechenintensiven multi-threaded und MapReduce-Lösungen in einer Amazon Cloud unter Nutzung der Amazon AWS-Dienste EC2 und EMR. Als Fallbeispiel für unsere Experimente wurde ein einfaches, aber rechenintensives Geduldsspiel verwendet. Zur Ermittlung aller Lösungen mit der Brute-Force-Methode mussten 15! Permutationen ermittelt und jeweils auf die Lösungsregeln hin getestet werden. Die Implementierung unserer Experimentierlösung erfolgte in der Programmiersprache Java mit einem einfachen multi-threaded Algorithmus und alternativ mit einem MapReduce-Algorithmus. Die Lösungen wurden in Amazon-EC2/EMR-Clustern auf ihre Leistungsfähigkeit und Skalierbarkeit hin verglichen. Die Hadoop-Verarbeitungszeit skalierte annähernd linear (leicht sublinear). Für die Beurteilung der Skalierbarkeit sollten aber unseren Experimenten zufolge auch die Anzahl an Inputsplits, die Auslastung der Hardware und weitere Aspekte herangezogen werden. Der Vergleich der multi-threaded mit der MapReduce-Lösung unter Amazon EMR (Apache Hadoop) ergab, dass die Verarbeitungszeit gemessen in CPU-Minuten bei MapReduce um mehr als 30 % höher war.

Schlüsselwörter

MapReduce Multi-threading Cloud Computing Amazon EMR Amazon EC2 Apache Hadoop Parallelisierung Skalierung Leistung Spiel 30 

Classical Multi-threading Versus MapReduce to Schedule CPU-intensive Tasks in parallel Using Amazon Cloud

Abstract

This article compares CPU-intensive multi-threaded with MapReduce solutions running in the Amazon Cloud using the AWS services EC2 and EMR. As a case study for our experiments a simple, but compute-intensive puzzle was used. In order to compute all solutions of the puzzle with a brute-force method, 15! permutations had to be calculated and tested against the rules of the puzzle. Java was used to implement our experimental solutions. We used a simple multi-threaded algorithm and a MapReduce algorithm alternatively. We compared our solutions concerning performance and scalability by using an Amazon ECR/EMR cluster. The processing time with Hadoop behaves approximately linear (slightly sublinear). In the assessment of scalability according to our experiments also the number of input splits, the hardware utilization and other aspects should be taken into account. The comparison based on Amazon EMR (Apache Hadoop) shows a 30 percent higher processing time of the MapReduce solution.

Keywords

MapReduce Multi-threading Cloud Computing Amazon EMR Amazon EC2 Apache Hadoop Parallel Scheduling Scaling Performance Game 30 

Literatur

  1. Amazon AWS (2017) https://aws.amazon.com/de/. Zugegriffen: 4. Juni 2017
  2. Amazon Calculator (2017) http://calculator.s3.amazonaws.com/index.html#s=EMR. Zugegriffen: 4. Juni 2017
  3. Amazon EC2 (2017) https://aws.amazon.com/de/ec2/instance-types/. Zugegriffen: 4. Juni 2017
  4. Amazon EMR (2017) https://aws.amazon.com/de/emr/. Zugegriffen: 4. Juni 2017
  5. Amazon S3 (2017) https://aws.amazon.com/de/s3/. Zugegriffen: 19. Juni 2017
  6. Apache Hadoop (2017) http://hadoop.apache.org/. Zugegriffen: 5. Juni 2017
  7. CCWI GitHub (2017) https://github.com/CCWI. Zugegriffen: 30. Juni 2017
  8. Gunther N, Puglia P, Tomasette K (2015) Hadoop Superlinear Scalability, The perpetual motion of parallel performance. ACM Queue 13(5).  https://doi.org/10.1145/2773212.2789974
  9. JoaCerreia (2017) www.joaocerreia.de. Zugegriffen: 4. Juni 2017
  10. Wartala R (2012) Hadoop Zuverlässige, verteilte und skalierbare Big-Data-Anwendungen. Open Source Press, MünchenGoogle Scholar
  11. Wittig A, Wittig M (2016) Amazon web services in action. Manning Publications Co, Shelter IslandzbMATHGoogle Scholar
  12. Wordaligned (2017) http://wordaligned.org/articles/next-permutation. Zugegriffen: 3. Juni 2017

Copyright information

© Springer Fachmedien Wiesbaden GmbH 2017

Authors and Affiliations

  1. 1.Fakultät für Informatik und Mathematik, Competence Center WirtschaftsinformatikHochschule für angewandte Wissenschaften MünchenMünchenDeutschland

Personalised recommendations