Best Architecture Practices für Kettle und IoT

Was müssen Verantwortliche von Pentaho Data Integration Projekten berücksichtigen, damit das Projekt nicht schief läuft? Und was ist bei der Verarbeitung und Analyse von IoT-Daten wichtig? [...]

Auf dem Pentaho User Meeting 2018 gab es die Antworten auf wichtige Fragen.

 

Eine Data Integration-Architektur sollte dann aufgebaut werden, wenn

  • die Lösung sehr komplex wird,
  • die Entwicklerteams eine gewisse Größe erreicht haben,
  • bewusst Entscheidungen für bestimmte Lösungskomponenten getroffen werden,
  • ein holistischer Blick auf Sicherheit, Qualität, Transparenz, Leistung erwünscht ist oder
  • eine Validierung von High-Level-Anforderungen nötig ist.

Whiteboarding ist eine gute Methode, die mit den beteiligten Stakeholdern gemacht werden kann. Man sollte sich aber darüber im Klaren sein, dass sie nur der Anfang ist.

Auch Skalierbarkeit sollte bei Datenintegrationsprojekten unbedingt beachtet werden, genauso wie Transparenz: Je stärker die Komplexität von Daten und Prozessen wächst, umso wichtiger wird Transparenz. Als Grundregel gilt: Man sollte stets die Daten nachverfolgen können, die sich zwischen den einzelnen Teilen einer Architektur bewegen. Im Zweifel sollte man lieber mehr Logging, Tracking und Tracing verwenden als zu wenig. Zudem ist es empfehlenswert, in der Architektur Komponenten zu verwenden, die ein Monitoring ermöglichen (z. B. Server einsetzen, die einem erlauben zu sehen, was gerade vor sich geht).

Best Practices für IoT

Für die Verarbeitung und Analyse von IoT-Daten sind die folgenden Tipps hilfreich:

Hadoop – Man sollte die Software innerhalb des Hadoop-Ökosystems auswählen, die am besten zu der jeweiligen Architektur passt. Dabei sollten nur wirklich unterstützte Komponenten zum Zug kommen. Durch ein durchgehendes Logging kann man Transparenzproblemen entgegenwirken. Das richtige Sizing bei der Architektur ist wichtig, denn die Balance muss stimmen. Hadoop sollte zudem nicht nur als Datenbank genutzt werden, sondern als skalierbarer Teil der Architektur.

„IoT is messy“

Wer IoT-Analyseanwendungen umsetzen will, muss sich darüber im Klaren sein, was das bedeutet: schwankende Datenqualität, Datenverbindungsprobleme, spät ankommende Daten, unregelmäßig ankommende Daten (geringe Vorhersagbarkeit), hohe Komplexität, unterschiedliche Datenformate und -versionen sowie eine stark variierende Anzahl von Geräten.

Tipps:

Um keine bösen Überraschungen zu erleben, sollten man schon im Voraus Pläne für Fehler und Ausfälle erstellen, moderne Technologien wie Metadata Injections nutzen, Queues so stark wie möglich in jeglicher Form einsetzen und immer damit rechnen, dass in jedem Szenario Dinge falsch laufen können.

Fazit:

  • Die Architektur muss der Kern des Ganzen sein, nicht nur Teil der Dokumentation.
  • Ein kritischer Blick ist essentiell.
  • Details sind ausschlaggebend.
  • Man sollte bereit sein, seine Vorstellungen jederzeit über den Haufen zu werfen.
  • Stakeholder müssen involviert werden.
  • Der Einsatz von Pentaho Data Integration sollte erwogen werden.

 

Die Tipps aus der Praxis stammen von Matt Casters, der mit Kettle den wichtigsten Teil der Pentaho-Plattform entwickelt hat und. Er hat diese Best Practices beim diesjährigen Pentaho User Meeting präsentiert. Andere, dort präsentierte Inhalte finden Sie auf der Nachberichtsseite.

Eine Zusammenfassung aller Vorträge und Präsentationen finden Sie in diesem Dokument.

Peter Lipp ist Sales Manager Österreich bei it-novum. (c) it-novum
Twitter: choose like or share
LinkedIn: choose like or share
Google+ choose like or share
https://computerwelt.at/promotion/best-architecture-practices-fuer-kettle-und-iot/
RSS
Email
SOCIALICON
Werbung

Mehr Artikel

Laut etventure-Geschäftsführer Philipp Depiereux zeigt die Studie eine deutliche Diskrepanz zwischen Eigenwahrnehmung der Unternehmen und den realen Herausforderungen durch die Digitalisierung.
News

Schafft die Digitalisierung mehr Jobs? Ja, aber…

Das Thema, ob die Digitalisierung mehr Arbeitsplätze schaffe als sie koste, ist ein hervorragendes Streitthema. Auch Experten sind sich uneinig. Gemeinsam mit der GfK hat etventure die 2.000 größten Unternehmen in Deutschland befragt. Das Ergebnis ist auch für österreichische Unternehmer interessant. Die Antwort zum Titel lautet übrigens: Ja, aber nicht ohne Aus- und Weiterbildung. […]

Rund 300 internationale Experten aus Wissenschaft und Industrie sind beim ZEISS Symposium „Optics in the Quantum World“ in Oberkochen zusammengekommen, um über Trends und neue Wissenschaftserkenntnisse im Bereich der Quantentechnologien zu sprechen.
News

ZEISS Symposium: Quantentechnologie als Innovationstreiber

Zum zweiten Mal nach 2016 war ZEISS im deutschen Oberkochen Gastgeber eines hochkarätigen Symposiums für den Austausch zwischen internationalen Forschern und Unternehmensvertretern. Ulrich Simon, Leiter Research & Technology der ZEISS Gruppe, zeigte sich in seiner Keynote überzeugt davon, dass die Möglichkeiten der Quantentechnologie bisher eher unterschätzt wurden. Er erwartet in einigen Gebieten in fünf bis zehn Jahren erste, konkrete Produkte. […]

Hinterlasse jetzt einen Kommentar

Kommentar hinterlassen