Speicherarchitektur für Big Data und die Cloud

Viele Wege führen nach Rom oder zum Erfolg und daher gibt es unterschiedliche Konzepte, Daten auf Speichermedien zu bannen. [...]

(c) GettyImages
(c) GettyImages

Zu den am weitesten verbreiteten Speicherarchitekturen zählen Dateisysteme, bei denen Daten hierarchisch als Dateien abgelegt werden, und Blockspeicher, der Daten als einzelne, direkt auf den Spuren und Sektoren von Festplatten adressierbare Blöcke verwaltet. Bei beiden Architekturen werden die eigentlichen Informationen zusammen mit den Meta-Informationen gespeichert. Bei größeren Datenbeständen müssen Administratoren oder Anwender mit logischen Volumes, RAIDs und intelligenten Ordnerstrukturen arbeiten, um den Überblick zu behalten.

Bereits Mitte der 90er Jahre kamen daher Überlegungen auf, die Metadaten von den eigentlichen Daten zu trennen und gleichzeitig flexibel mehr Informationen zu den Daten zu sammeln. Die Daten werden nach diesem Ansatz als “Objekte” in einem Data Lake ohne Unterverzeichnisse gespeichert. Jedes Objekt enthält neben den Daten eine individuelle, eindeutige ID, die direkt auf die entsprechende Datei verweist, sowie entsprechende Metadaten. Letztere werden separat gespeichert und enthalten beliebige Informationen, über die sich auch Datenschutz, Ablaufdaten und Löschung, Zugriffskontrollen oder Autorisierungen verwalten lassen. Ein weiterer Vorteil: Wenn Daten beispielsweise bei einem Hyperscaler liegen und der Index in-house, so ist mit der Löschung des Index auch der Datenbestand entwertet, ohne die Logik liegt dort nur noch “Datensalat”. Und da bei Suchanfragen nur der Index mit den Metadaten durchsucht werden muss, sind Suchprozesse außerdem erheblich schneller und akkurater als bei Dateisystemen.

Autor: Stefan Ehmann,
Sales Lead Data Intelligence
and Object Storage EMEA
Central, Hitachi Vantara

Storage für das Cloud-Zeitalter

Die ersten kommerziellen OBS-Plattformen (Object Based Storage) wurden vor allem für Archiv- und Backup-Zwecke eingesetzt, da die meisten gängigen Anwendungen auf Dateisysteme angewiesen waren. Spätestens mit dem Siegeszug der Cloud hat sich das Blatt aber gewendet: Alle Hyperscaler nutzen OBS für ihre Public-Cloud-Angebote und das AWS-Protokoll S3 hat sich im Enterprise-Umfeld als De-facto-Standard etabliert. Im Unternehmensumfeld kommt OBS heute vor allem bei der Speicherung unstrukturierter Daten (Big Data) für Analysezwecke zum Einsatz. Moderne Analysewerkzeuge wie Pentaho von Hitachi Vantara sind in der Lage, über Standardschnittstellen wie beispielsweise REST auf die Datenbestände zuzugreifen und nahezu in Echtzeit Analysen zur Verfügung zu stellen.

Aber auch im Anwendungsbereich gewinnt OBS zunehmend an Boden. Die meisten modernen Applikationen sind auf Objektspeichertechnologie ausgelegt und in der Lage, ohne Einbeziehung einer Datenbank direkt mit dem Storage zu kommunizieren, containerisierte Lösungen setzen ohnehin von vornherein auf OBS. Auch der immer noch oft ins Feld geführte Performance-Nachteil bei Transaktionsdaten, die sich permanent ändern, ist ein Mythos. Ein aktuelles Storage-Systeme wie die Hitachi Content Platform lässt sich mit schnellen Flash- oder NVME-Modulen bestücken und bis zu einer Kapazität von mehreren Exabyte ausbauen. Von Vorteil ist es für Unternehmen, sich im OBS-Umfeld für das beste Gesamtpaket zu entscheiden, um die Voraussetzungen für eine effektive Hybrid-/ Multi-Cloud-Nutzung zu schaffen. Das Analysehaus IDC sieht Hitachi Vantara hier an führender Position.
Mehr erfahren

Zu den deutschsprachigen Webinaren


Mehr Artikel

News

WLAN aus. Mesh-WLAN an!

Viele haben in den letzten Wochen und Monaten das Wohnzimmer verschönert und das Home-Office umgestaltet. Doch nicht überall ist ein stabiles WLAN verfügbar. Warum? Weil das WLAN des Routers zu schwach ist, um das ganze Zuhause mit schnellem Internet zu versorgen. […]

Kommentar

Digital Resilience – widerstandsfähiger und wettbewerbsfähiger aus Krisen hervorgehen

Aufgrund der Corona-Pandemie haben viele Unternehmen auf Home Office umgestellt. Diese Umstellung bringt neben Vorteile jedoch auch neue Herausforderungen mit sich. Der beste Weg, um solche unvorhersehbaren Zeiten zu meistern, besteht daher darin, die digitale Widerstandsfähigkeit als Einzelpersonen und als Organisationen weiter auszubauen. Das Buzzword dahinter: Digital Resilience. […]

Be the first to comment

Leave a Reply

Your email address will not be published.


*