Zusammenfassung
Impala von Cloudera ist ein modernes, massiv paralleles Datenbanksystem, welches von Grund auf für die Bedürfnisse und Anforderungen einer Big Data Umgebung wie Hadoop entworfen wurde. Das Ziel von Impala ist es, klassische SQL-Abfragen mit geringer Latenz und Laufzeit auszuführen, so wie man es von typischen BI/DW Lösungen gewohnt ist. Gleichzeitig sollen dabei sehr große Quelldaten in Hadoop gelesen werden, ohne dass ein weiterer Extraktionsprozess in zusätzliche Systemlandschaften notwendig ist. Dieses Kapitel soll einen Überblick über Impala aus der Benutzerperspektive geben und detaillierter auf die Hauptkomponenten und deren Entwurfsentscheidungen eingehen. Zusätzlich werden wir einen Geschwindigkeitsvergleich mit anderen bekannten SQL-auf-Hadoop Lösungen vorstellen, der den besonderen Ansatz von Impala unterstreicht.
vollständig neuer Original-Beitrag
This is a preview of subscription content, log in via an institution to check access.
Access this chapter
Tax calculation will be finalised at checkout
Purchases are for personal use only
Notes
- 1.
- 2.
Die Autorisierung ist dabei mittels einer Standard Hadoop Komponente mit dem Namen Sentry (http://sentry.incubator.apache.org) implementiert. Sentry erlaubt auch eine rollen-basierte Autorisierung für Hive und andere Komponenten.
- 3.
Zur Bestimmung der unterschiedlichen Werte pro Spalte benutzen wir das probalistische Zählverfahren HyperLogLog (Flajolet et al. 2007).
- 4.
- 5.
Es gibt eine Menge weiterer SQL Engines für Haddop, wie zum Beispiel Pivotal HAWK und IBM BigInsights. Leider dürfen wir soweit uns bekannt ist auf Grund der DeWitt Klausel in den jeweiligen Nutzungvereinbarungen keine Vergleiche.
Literatur
Ailamaki, A., DeWitt, D.J., Hill, M.D., Skounakis, M.: Weaving relations for cache performance. In: VLDB (2001)
Apache. Centralized cache management in HDFS. Available at https://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-hdfs/CentralizedCacheManagement.html. Zugegriffen am 24.05.2016
Apache. HDFS short-circuit local reads. Available at http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-hdfs/ShortCircuitLocalReads.html. Zugegriffen am 24.05.2016
Apache. Sentry. Available at http://sentry.incubator.apache.org/. Zugegriffen am 24.05.2016
Flajolet, P., Fusy, E., Gandouet, O., Meunier, F.: HyperLogLog: the analysis of a near-optimal cardinality estimation algorithm. In: AOFA (2007)
Floratou, A., Minhas, U.F., Ozcan, F.: SQL-on- Hadoop: full circle back to shared-nothing database architectures. In: PVLDB (2014)
Graefe, G.: Encapsulation of parallelism in the Volcano query processing system. In: SIGMOD (1990)
Lattner, C., Adve, V.: LLVM: A compilation frame- work for lifelong program analysis & transformation. In: CGO (2004)
Melnik, S., Gubarev, A., Long, J.J., Romer, G., Shivakumar, S., Tolton, M., Vassilakis, T.: Dremel: Interactive analysis of web-scale datasets. In: PVLDB (2010)
Padmanabhan, S., Malkemus, T., Agarwal, R.C., Jhingran, A.: Block oriented processing of relational database operations in modern computer architectures. In: ICDE (2001)
Raman, V., Attaluri, G., Barber, R., Chainani, N., Kalmuk, D., KulandaiSamy, V., Leenstra, J., Light-stone, S., Liu, S., Lohman, G.M., Malkemus, T., Mueller, R., Pandis, I., Schiefer, B., Sharpe, D., Sidle, R., Storm, A., Zhang, L.: DB2 with BLU acceleration: so much more than just a column store. PVLDB 6, 1080–1091 (2013)
Vavilapalli, V.K., Murthy, A.C., Douglas, C., Agarwal, S., Konar, M., Evans, R., Graves, T., Lowe, J., Shah, H., Seth, S., Saha, B., Curino, C., O’Malley, O., Radia, S., Reed, B., Baldeschwieler, E.: Apache Hadoop YARN: yet another resource negotiator. In: SOCC (2013)
Willhalm, T., Popovici, N., Boshmaf, Y., Plattner, H., Zeier, A., Schaffner, J.: SIMD-scan: ultra fast in-memory table scan using on-chip vector processing units. PVLDB 2, 385–394 (2009)
Author information
Authors and Affiliations
Corresponding author
Editor information
Editors and Affiliations
Rights and permissions
Copyright information
© 2016 Springer Fachmedien Wiesbaden
About this chapter
Cite this chapter
Kornacker, M. et al. (2016). Impala: Eine moderne, quellen-offene SQL Engine für Hadoop. In: Fasel, D., Meier, A. (eds) Big Data. Edition HMD. Springer Vieweg, Wiesbaden. https://doi.org/10.1007/978-3-658-11589-0_8
Download citation
DOI: https://doi.org/10.1007/978-3-658-11589-0_8
Published:
Publisher Name: Springer Vieweg, Wiesbaden
Print ISBN: 978-3-658-11588-3
Online ISBN: 978-3-658-11589-0
eBook Packages: Computer Science and Engineering (German Language)