Was ist was im Hadoop-Kosmos

Das Open-Source-Framework Apache Hadoop ist das bekannteste und am weitesten verbreite System zur Big-Data-Analyse. Um den Kern der Lösung hat sich ein ganzes Universum an Ergänzungen und Erweiterungen gebildet. Wir stellen die wichtigsten vor. [...]

(c) olly - Fotolia.com

Hadoop ist ein in Java geschriebenes Framework, das für die verteilte Verwaltung und Berechnung von großen Datenmengen in einer Cluster-Umgebung konzipiert ist. Das System ist derzeit der anerkannte Standard für Big-Data-Analysen. Dank offener Schnittstellen lässt es sich wie ein Baukasten leicht um weitere Werkzeuge erweitern, die teils Spezialaufgaben wahrnehmen, teils aber auch einfach nur Alternativen zu den Standard-Hadoop-Tools darstellen. Im Folgenden sollen - ohne Anspruch auf Vollständigkeit - die wichtigsten Werkzeuge für die wesentlichen Funktionsbereiche von Hadoop vorgestellt werden.DATEISYSTEME: HADOOP DISTRIBUTED FILE SYSTEM (HDFS) UND DIE ALTERNATIVENMit dem "Hadoop Distributed File System" (HDFS) enthält das Analyse-Framework bereits ein Dateisystem, das speziell für die verteilte Verwaltung sehr großer Datenmengen ausgelegt ist. Ein HDFS-Cluster besteht im Wesentlichen aus einem oder mehreren Knoten, welche die Metadaten verwalten (NameNodes) und den "DataNodes", auf denen die eigentlichen Dateien als Datenblöcke fester Länge redundant und verteilt liegen. Jeder DataNode entspricht in der Regel einem Server. Um Rechenoperationen durchzuführen, kontaktiert der Client den NameNode für die Metadaten, tauscht aber Daten sonst direkt mit den DataNodes aus. Die größte...

Um diese Inhalte abzurufen, registrieren Sie sich bitte für den kostenlosen Business Account.

Werbung

Mehr Artikel

Exponentiell wachsende Kundendaten verändern den Markt für CRM. (c) Pexels
News

Studie: Starre Prozesse in Unternehmen behindern Umsetzung moderner CRM-Strategien

Die Mehrheit der Unternehmen hat mit dem Neuaufbau von CRM-Lösungen bereits begonnen, jedoch behindern noch oft starre und wenig durchgängige Prozesse eine schnelle Umsetzung. Zu diesem Ergebnis kommt PAC Deutschland, die im Auftrag von maihiro den Status quo und künftige Entwicklungen beim Thema Customer Experience Management in deutschen und österreichischen Unternehmen analysiert. […]