Was ist was im Hadoop-Kosmos

Das Open-Source-Framework Apache Hadoop ist das bekannteste und am weitesten verbreite System zur Big-Data-Analyse. Um den Kern der Lösung hat sich ein ganzes Universum an Ergänzungen und Erweiterungen gebildet. Wir stellen die wichtigsten vor. [...]

(c) olly - Fotolia.com

Hadoop ist ein in Java geschriebenes Framework, das für die verteilte Verwaltung und Berechnung von großen Datenmengen in einer Cluster-Umgebung konzipiert ist. Das System ist derzeit der anerkannte Standard für Big-Data-Analysen. Dank offener Schnittstellen lässt es sich wie ein Baukasten leicht um weitere Werkzeuge erweitern, die teils Spezialaufgaben wahrnehmen, teils aber auch einfach nur Alternativen zu den Standard-Hadoop-Tools darstellen. Im Folgenden sollen - ohne Anspruch auf Vollständigkeit - die wichtigsten Werkzeuge für die wesentlichen Funktionsbereiche von Hadoop vorgestellt werden.DATEISYSTEME: HADOOP DISTRIBUTED FILE SYSTEM (HDFS) UND DIE ALTERNATIVENMit dem "Hadoop Distributed File System" (HDFS) enthält das Analyse-Framework bereits ein Dateisystem, das speziell für die verteilte Verwaltung sehr großer Datenmengen ausgelegt ist. Ein HDFS-Cluster besteht im Wesentlichen aus einem oder mehreren Knoten, welche die Metadaten verwalten (NameNodes) und den "DataNodes", auf denen die eigentlichen Dateien als Datenblöcke fester Länge redundant und verteilt liegen. Jeder DataNode entspricht in der Regel einem Server. Um Rechenoperationen durchzuführen, kontaktiert der Client den NameNode für die Metadaten, tauscht aber Daten sonst direkt mit den DataNodes aus. Die größte...

Um diese Inhalte abzurufen, registrieren Sie sich bitte für den kostenlosen Business Account.

Werbung

Mehr Artikel

Schlecht gesicherte, mit dem Unternehmensnetzwerk verbundene Geräte, geraten leicht ins Visier von Angreifern. (c) pixabay
Kommentar

IoT im Büro? Aber sicher!

Das Internet der Dinge (IoT) ist längst Realität und nicht mehr wegzudenken. Aber wie man es von einer Technologie erwartet, die von der Interkonnektivität lebt, vergrößert sie die Angriffsfläche für Cyberbedrohungen gleich mit. Mark Dacanay, Experte für Digitales Marketing, hat Tipps zusammengestellt, wie man am besten Nutzen und Risiken des IoT miteinander in Einklang bringt. […]

Acht von zehn Befragten fürchten eine Ablöse am Arbeitsplatz durch Technologie nicht. (c)
News

Arbeitnehmer haben keine Angst vor Digitalisierung

Vier von fünf Arbeitnehmern in den USA haben keine Angst davor, dass technologische Neuerungen ihnen den Arbeitsplatz streitig machen könnten. Das hat eine Umfrage unter mehr als 400 Beschäftigten ergeben, die vom Southeast Michigan Council of Governments (SEMCOG) in Auftrag gegeben wurde. […]