Hadoop: Große Datenmengen kostengünstig analysieren

Große, unstrukturierte Datenmengen verarbeiten mit günstiger Standard-Hardware, paralleler Verarbeitung und nicht-relationalen Formaten? Hadoop ist dafür ein gutes Beispiel. [...]

Welche Aufgaben können durch den Einsatz von Hadoop-Clustern gelöst werden? (c) Rawpixel - Fotolia.com
Welche Aufgaben können durch den Einsatz von Hadoop-Clustern gelöst werden?

Es gibt eine Reihe von Technologien, um unstrukturierte, große Datenmengen zu verarbeiten und zu analysieren. Einige Eigenschaften sind allen diesen Big-Data-Verfahren gemeinsam: Sie nutzen kostengünstige Standard-Hardware, parallele Verarbeitung und speichern die Daten in einem nicht-relationalen Format. Hadoop ist dafür ein gutes Beispiel.Hadoop ist ein Open-Source-Framework vor allem für die Speicherung, Aufbereitung und Analyse von polystrukturierten großen Datenmengen; zentrales Kennzeichen ist eine parallele Architektur. Die wichtigsten Bestandteile von Hadoop sind das Hadoop Distributed File System (HDFS) und der MapReduce-Algorithmus, der für eine parallele Verarbeitung sorgt. HDFS untergliedert die Files in Datenblöcke einer festen Größe und speichert sie redundant auf die in einem Cluster organisierten Server-Knoten. MapReduce teilt die gesamte, zu untersuchende Datenmenge in kleine Einheiten auf und diese werden dann in einer ersten Phase parallel und unabhängig voneinander bearbeitet, untersucht und als Zwischenergebnisse gespeichert. In den nächsten Schritten folgen dann, ebenfalls parallel, weitere Auswertungen und schließlich die Präsentation der Ergebnisse.Wo einzelne Ressorts in den Unternehmen Hadoop bereits einsetzen, geht es beispielsweise um eine 360-Grad-Sic...

Um diese Inhalte abzurufen, registrieren Sie sich bitte für den kostenlosen Business Account.


Mehr Artikel

News

TeamViewer kauft Linzer Xaleon

Das 2018 gegründete Linzer SaaS-Unternehmen Xaleon (vormals Chatvisor) wurde an das DAX-Unternehmen TeamViewer verkauft. Das Customer-Engagement-Lösung für mehr Kundenzufriedenheit ist dem Käufer einen zweistelligen Millionenbetrag zuzüglich eines signifikanten vierjährigen Cash-Earn-Outs wert. […]