Fast Data mit Stream-Processing: Der Game Changer für das

Fast Data mit Stream-Processing: Der Game Changer für das Internet der Dinge
http://cs.brown.edu/~ugur/8rulesSigRec.pdf
http://www.infoq.com/articles/stream-processing-hadoop
Fast Data mit Stream-Processing:
Der Game Changer für
das Internet der Dinge
Die Nachfrage nach Stream-Processing steigt in diesen Tagen enorm an. Der Grund dafür ist, dass die reine Verarbeitung von großen Datenmengen (Big Data) nicht mehr ausreichend ist. Datenströme müssen sofort in Echtzeit
verarbeitet werden (Fast Data), um auf die heutzutage benötigte Flexibilität bei durchgehend digitalen Prozessen
reagieren zu können. Dies gilt insbesondere beim Internet der Dinge (Internet of Things, IoT), wo viele Geräte Datenströme produzieren. Am Beispiel von Predictive Analytics wird in diesem Artikel der Mehrwert von Stream-Processing aufgezeigt. Verschiedene Open-Source-Frameworks und kommerzielle Produkte werden dabei vorgestellt.
Stream-Processing ist insbesondere für das
Verarbeiten von Datenströmen und Sensordaten geeignet. Die Verarbeitung von
mehreren Milliarden Datensätzen pro Tag
ist dabei keine große Herausforderung.
Stream-Processing verarbeitet verschiedene
Datenströme (z. B. Nachrichten von Sensoren, die sekündlich inklusive Zeitstempel verschickt werden). Ein Beispiel ist die
Verarbeitung der Sensordaten von Zügen,
Schienen und Bahnhöfen. Die Sensoren
senden stark frequentiert Daten mit ständig
identischen Datenstrukturen. Die Datenströme werden in Echtzeit verarbeitet, beispielsweise gefiltert und aggregiert.
Konzepte des Stream-Processing
Stream-Processing wurde konzipiert, um
Datenströme in Echtzeit zu analysieren
und sofort auf Ereignisse reagieren zu
können. Aufgaben sind unter anderem das
Filtern, Aggregieren oder Korrelieren von
Daten. Dazu werden so genannte Continuous Queries verwendet, die im Gegensatz zum Request-Response-Konzept von
Datenbank-Sprachen wie SQL zusätzliche
Funktionalität anbieten. Sliding Windows
überwachen beispielsweise Datenströme
in einem kontinuierlich fortlaufenden Zeitfenster bezüglich definierter Patterns. Die
Kernaufgabe beim Stream-Processing ist
Streaming Analytics – ein Begriff, der durch
Analysten wie Gartner und Forrester entstanden ist. Dabei werden Abfragen einmal
definiert und dann kontinuierlich „on the
fly“ innerhalb des Streams berechnet, um
Daten zu korrelieren.
Dies steht im starken Gegensatz zu dem
traditionellen Datenbank-Modell, bei dem
Daten zuerst gespeichert und indexiert
werden, bevor sie dann von Abfragen verarbeitet werden. Aber auch beim StreamProcessing können Informationen aus
Datenquellen wie relationaler Datenbank,
10
NoSQL oder Hadoop mit einbezogen werden, beispielsweise um bestimmte historische Informationen mit in den Datenfluss
einzubetten oder um verarbeitete Informationen in einer externen Datenbank zu
speichern.
Neben der rein automatisierten Verarbeitung von Datenflüssen gibt es mittlerweile
auch die Möglichkeit, dass der Endnutzer
mittels einer grafischen Benutzungsoberfläche die kontinuierlich in Bewegung stehenden Daten mittels Push-Nachrichten in
Echtzeit überwachen und proaktiv reagieren kann. Die Datenströme werden dabei
kontinuierlich im Hauptspeicher aggregiert
und dem Endnutzer im grafischen Frontend
zur Verfügung gestellt. Abbildung 1 zeigt,
wie diese Echtzeit-Oberfläche (inklusive
Stream-Processing-Komponente) in die Gesamtarchitektur passt.
Nach der Erläuterung der Grundkonzepte
zeige ich im folgenden Abschnitt auf, warum Stream-Processing in Zukunft insbesondere für das Internet of Things (IoT) so
relevant ist.
Abb. 1: Die Stream-Processing-Architektur.
Anwendungsfall:
Predictive Analytics
Predictive Analytics – also das proaktive
Reagieren auf ein wahrscheinlich eintretendes Ereignis – ist eines der Kernthemen,
für die Stream-Processing ideal geeignet ist.
Aus technischer Sicht enthält die Realisierung üblicherweise zwei Schritte. Zuerst
werden historische Daten (z. B. gespeichert
im Data Warehouse, in Hadoop, oder in einer NoSQL-Datenbank) mit einer BusinessIntelligence- oder Data-Discovery-Software
wie „Tableau“ oder „TIBCO Spotfire“ analysiert, um Muster zu erkennen. Im zweiten
Schritt werden die Muster in einer StreamProcessing-Plattform implementiert, um in
Echtzeit im richtigen Kontext proaktiv auf
neue Ereignisse zu reagieren. Die Anwendung kann außerdem auch diese Daten wieder in einer Datenbank speichern, sodass
sich der Zyklus schließt, indem bestehende
Muster optimiert und neue Muster gefunden werden können.
Im Umfeld des IoT ist insbesondere Predictive Fault Management sehr spannend, bei
www.objektspektrum.de
dem (mit hoher Wahrscheinlichkeit) bald
ausfallende Komponenten ausgetauscht
werden, bevor sie einen Schaden anrichten.
So kann beispielsweise eine Ölplattform,
auf der diverse Sensoren massenweise Datenströme senden, mittels Predictive Fault
Management die Hardware überwachen
und Teilbereiche für Beträge im Tausenderbereich austauschen, bevor diese wegen
Probleme (mit einer gewissen Wahrscheinlichkeit) bald explodieren und einen weitaus höheren Schaden im Millionen-Bereich
anrichten. Abbildung 2 zeigt, wie ein Muster definiert wird, um Stromspannung,
Temperatur und Vibration von einem Gerät miteinander zu korrelieren. Diese so
genannten Sliding Windows analysieren in
diesem Beispiel kontinuierlich die letzten
zwölf Minuten. In der Realität sehen solche
Regeln natürlich komplexer aus und beinhalten deutlich mehr Schnittstellen.
Anforderungen für
Stream-Processing
Stream-Processing kann entweder selbst implementiert werden oder es wird ein Framework oder Produkt für die Verarbeitung der
Datenströme verwendet. Eine selbstentwickelte Lösung macht in der Regel keinen
Sinn, da auch gute, kostenlose Open-SourceFrameworks zur Verfügung stehen. Während mit einem Framework aber noch viel
Entwicklungsaufwand notwendig ist, bieten
Produkte viele Funktionalität out-of-the-box
an. Neben der Gesamtlaufzeit eines Projekts
gilt es hier auch, die Gesamtkosten (Total
Cost of Ownershiop, TCO) eines Projekts
über Entwicklung, Test, Betrieb und Wartung zu betrachten, und nicht nur die reinen
Lizenzkosten für kommerzielle Produkte.
Aus technischer Sicht werden die folgenden
Komponenten benötigt, um Stream-Processing-Projekte umzusetzen:
Server: Ein auf Performance optimierter
Anwendungsserver mit hoher Durchsatz-Rate und sehr geringen Latenzzeiten bildet die Grundlage für die Verarbeitung von Datenströmen. Mehrere
Milliarden Events täglich sind hier keine Seltenheit oder besondere Schwierigkeit für eine einzelne Maschine.
n Entwicklungsumgebung:
Die Umgebung umfasst die Entwicklung, das Debugging und die Testen/Feed-Simulation
von Streaming-Prozessen unter Verwendung von Komponenten zum Filtern,
Aggregieren, Korrelieren und Transformieren. Streaming-typische Operatoren
n
01/2016
Abb. 2: Muster für die Analyse von Sensordaten (mit SQL-ähnlicher Abfragesprache).
wie „Sliding Windows“ oder „Continuous Queries“ sind ebenfalls Pflicht.
Die Entwicklung erfolgt entweder mittels Kodierung oder einer grafischen
Oberfläche. Wichtig ist außerdem eine
offene IDE für eigene Erweiterungen,
z.B. durch die Integration von anderen
Code-Bibliotheken oder selbst gebauten
Operatoren bzw. Konnektoren.
n Konnektoren: Hierzu zählen vorgefertigte Schnittstellen, um mit Datenquellen auf eine standardisierte Weise zu
kommunizieren, sowohl für Input als
auch Output. Im Fokus stehen natürlich
insbesondere Streaming-Schnittstellen,
basierend auf Standards wie MQTT
(Message Queue Telemetry Transport)
(ein offenes Nachrichten-Protokoll für
Machine-to-Machine-Kommunikation)
oder Low-Level-TCP-Sockets, aber auch
explizite Konnektoren zu IoT-Geräten
und -Technologien, z.B. „Zigbee“, „Beacons“ oder „OSISOFT Pi“. Weitere
Schnittstellen, die oft benötigt werden,
sind analytische Datenbanken (z.B. „HP
Vertica“), Marktdaten (z.B. „Bloomberg“, „FIX“, „Reuters“), statistische
Modelle (z.B. „SAS“, „MATLAB“,
„R“, „TERR“) oder andere Technologien (z.B. „JMS“, „Hadoop“, „Java“,
„.NET“, relationale Datenbanken).
n Visual Streaming Analytics: Hierbei
handelt es sich um eine Benutzungsoberfläche, mit der Daten in Echtzeit
überwacht werden können. Neben der
Analyse von Streams (Live-StreamVisualisierung, kontinuierliche und dynamische Abfragen, Ad-hoc-Abfragen,
Slice&Dice) sollte auch proaktive Interaktion möglich sein (z. B. einen Alarm
auslösen, ein Gerät sicherheitshalber
abschalten oder einem Kollegen eine
Nachricht schicken).
Aktuell existieren am Markt nur wenige
Lösungen, die all diese Komponenten aus
einem Guss anbieten. Es ist abzuwägen, ob
der Fokus eines Projekts eher auf der Kodierung einer eigenen Lösung aus verfügbaren
kostenlosen Bausteinen oder auf der Verwendung einer verfügbaren kommerziellen
Lösung liegen soll. Im Folgenden werden
– ohne Anspruch auf Vollständigkeit – einige der wichtigsten Open-Source-Lösungen
und kommerziellen Lösungen vorgestellt.
Open-Source-Frameworks für
Stream-Processing
Apache Storm (vgl. [Apa15-a]) ermöglicht
eine massiv skalierbare Event-Verarbeitung.
Das Projekt wurde von Twitter entwickelt
und an die Apache-Community übergeben.
Storm basiert auf anderen Open-SourceKomponenten, insbesondere:
„Zookeeper“ für Cluster-Management
„ZeroMQ“ für Multicast-Messaging
n „Kafka“ für Queued-Messaging
n
n
Storm ist bereits in zahlreichen Deployments produktiv im Einsatz. Aktuell ist
kein kommerzieller Support von einem dedizierten Hersteller verfügbar. Allerdings
haben einige Hadoop-Hersteller Storm in
ihre Distribution aufgenommen, worüber
das Projekt dann auch unterstützt wird.
Storm ist eine gute Wahl, wenn ohne Lizenzkosten eine eigene Anwendung selbst
entwickelt werden soll. Brian Bulkowski,
Gründer von Aerospike (einem Anbieter
einer NoSQL-Datenbank mit Konnektoren
11
Fast Data mit Stream-Processing: Der Game Changer für das Internet der Dinge
für Storm), hat ein gutes Präsentationsdeck
zusammengestellt, das ein Gefühl dafür
gibt, wie mit Storm das Thema Stream-Processing bezüglich Installation, Entwicklung
und Deployment angegangen und umgesetzt wird (vgl. [Bul14]).
Zusammenfassend kann festgehalten werden, dass – wie auch bei den anderen hier
vorgestellten Frameworks – das Coding und
viel Detailwissen im Vordergrund stehen
müssen, um ein Projekt erfolgreich umzusetzen. Auf der Webseite von Storm werden
zahlreiche interessante Referenz-Anwendungsfälle erläutert (vgl. [Apa15-b]), darunter bekannte Firmen wie Groupon, Twitter,
Spotify, HolodayCheck oder Alibaba.
Apache Spark (vgl. [Apa15-c]) ist ein generisches Framework für die Verarbeitung
von großen Datenmengen, das verschiedene Konzepte wie Batch-Processing, InMemory-Computing, Graphen-Analysen
und Machine-Learning unter Nutzung einer „Unified Core API“ für zahlreiche Programmiersprachen wie Java, Scala, Python
oder R unterstützt. Die verschiedenen Konzepte ergänzen den Kern mit Add-on-Bibliotheken, beispielsweise Spark-Streaming
für Stream-Processing. Kommerzieller Support wird durch die 2013 gegründete Firma
Databricks (vgl. [Datab15]) angeboten.
Spark wird mittlerweile als eines der wichtigsten Big-Data-Projekte angesehen und von
vielen Firmen unterstützt. So hat beispielsweise IBM im Juni 2015 angekündigt, dass
sich 3.500 IBM-Forscher und -Entwickler
mit Spark-bezogenen Projekten beschäftigen werden (vgl. [IBM15-a]). Im Gegensatz
zu Storm ist Spark allerdings nicht nur auf
Stream-Processing fokussiert – Spark-Streaming ist nur eine Komponente unter vielen
und verwendet den Batch-orientierten Kern,
um das Streaming mittels Micro-Batches zu
implementieren, anstatt jedes Tuple einzeln
zu verarbeiten(vgl. [Dat14]).
Weitere Open-Source-Frameworks sind:
Apache Samza: Ein noch junges StreamProcessing-Framework, das 2014 von
LinkedIn freigegeben wurde. Es basiert
auf Apache Kafka und Hadoop YARN
(vgl. [Apa-a]).
n Apache Flink: Ein sehr junges generisches Framework, das auf einer StreamProcessing-Engine basiert. Es bietet
darauf aufbauend aber auch die Umsetzung anderer Konzepte, wie BatchProcessing, Machine Learning oder
Graphen-Analysen an (vgl. [Apa-b]).
n Esper: Hierbei handelt es sich um ein
ausgereiftes CEP-Framework für Java
Abb. 3: Entwicklungsumgebung (IBM InfoSphere Streams).
und .NET. Kommerzieller Support wird
vom Unternehmen EsperTech angeboten, das auch zusätzliche „closed source”
Add-ons anbietet (vgl. [Esp15]).
Man sollte sich bewusst sein, dass die verschiedenen Frameworks gewisse Stärken
und Schwächen haben und auf Grund ihrer
Konzepte für unterschiedliche Anwendungsfälle genutzt werden. Mit Storm werden
große Datenströme in Echtzeit gesammelt
und weiter verarbeitet, während Spark seine
Stärke insbesondere in den Bereichen Analytics und Maschine Learning zeigen kann
und oftmals als Ersatz für Hadoops MapReduce eingesetzt wird. Aus diesem Grund
werden verschiedene Frameworks auch ger-
ne kombiniert, beispielsweise Apache Storm
für das Sammeln der Datenströme und Esper für die kontinuierliche Korrelation der
eingehenden Informationen (vgl. [Dud11]).
Zusätzlich werden in einem Projekt schnell
weitere Frameworks notwendig, beispielsweise Hadoops YARN oder Mesos für
Ressourcen- und Cluster-Management. Der
Coding-Aufwand, die Komplexität für die
Integration verschiedener Frameworks sowie der mangelnde kommerzielle Support
und Tool-Support für das gesamte Projekt
sind bei der Kombination verschiedener
Frameworks nicht zu unterschätzen.
Einen anderen Ansatz wählen kommerzielle
Anbieter wie IBM oder TIBCO, auch wenn
diese natürlich trotzdem Open-Source-
n
12
Abb. 4: Entwicklungsumgebung (TIBCO StreamBase).
www.objektspektrum.de
Frameworks wie Storm, Spark oder Hadoop unterstützen und integrieren.
Kommerzielle Lösungen für
Stream-Processing
IBM InfoSphere Streams (vgl. [IBM15-b])
ist IBMs Flaggschiff-Produkt für StreamProcessing. Es bietet eine hohe Skalierbarkeit, sehr gute Performance und Integration
zu vielen Schnittstellen und Technologien.
Die Entwicklungsumgebung basiert auf Eclipse und bietet grafische Entwicklung (siehe Abbildung 3).
Zubair Nabi und Eric Bouillet vom IBM
Research Dublin haben gemeinsam mit
Andrew Bainbridge und Chris Thomas
von der IBM Software Group Europe eine
Benchmark-Studie (vgl. Bai14]) erstellt, der
IBM InfoSphere Streams mit Apache Storm
vergleicht. Einer der Kernunterschiede ist
die deutlich bessere Performance gegenüber
der Open-Source-Lösung.
Bei TIBCO StreamBase (vgl. [TIB15-a])
ist der größte Mehrwert laut Hersteller
neben hoher Performance und ausgereiftem Produkt die sehr einfache und schnelle Entwicklung von Streaming-Prozessen.
Die Entwicklungsumgebung unterstützt
die grafische Entwicklung von Streamingtypischen Problemen wie Sliding Windows,
Continuous Queries oder Feed Simulation
ohne Coding (siehe Abbildung 4).
TIBCO Live Datamart (vgl. [TIB15-b])
konsumiert Datenströme in Echtzeit und
erzeugt ein In-Memory Datamart – ähnlich
einem klassischen Datamart eines Data-
Abb. 5: Live-Benutzungsoberfläche (TIBCO Live Datamart).
Warehouse, aber eben in Echtzeit. Das
Live-Datamart bietet push-basierte Abfrageergebnisse und Alarme für Endnutzer
(siehe Abbildung 5).
Der Client des Live-Datamart (Rich Client,
Web-UI oder Mobile App) ist eine Pushbasierte Anwendung, die mit dem Server
kommuniziert. Dies ermöglicht die Analyse
von Daten in Echtzeit, Alarm-Management
und interaktive Aktionen auf allen visuellen Elementen, z. B. Tabellen, Charts und
Maps.
Der Business-Anwender kann beispielsweise beim oben beschriebenen Anwendungsfall verschiedene Sensoren wie Temperatur,
Vibrationen und Stromspannung nicht nur
passiv in Echtzeit überwachen, sondern
bei Gefahren proaktiv reagieren und Ge-
genmaßnahmen treffen, bevor ein Schaden
(mit hoher Wahrscheinlichkeit) eintritt.
Dies ist auch der konkrete Unterschied
eines Live-Datamart im Vergleich zu nur
auf dem Desktop verfügbaren DashboardProdukten, wie beispielsweise „Datawatch
Panopticon“ (vgl. [Dat15]).
Weitere Frameworks und
Produkte für Stream-Processing
Neben TIBCO und IBM bieten auch die
meisten anderen großen Softwarehersteller
ein Produkt für Stream-Processing an, beispielsweise Apama von der Software AG,
Oracle CEP oder Sybase CEP von SAP. Im
Folgenden stelle ich einige weitere kommerzielle Frameworks und Produkte kurz vor,
Abb. 6: Kombination von Apache Spark und TIBCO StreamBase/Live Datamart.
01/2016
13
Fast Data mit Stream-Processing: Der Game Changer für das Internet der Dinge
Links
[Ama15] Amazon Kinesis, 2015, siehe: https://aws.amazon.com/de/kinesis/
[Apa15-a] The Apache Software Foundation, Apache Storm, 2015, siehe: https://storm.apache.org/
[Apa15-b] The Apache Software Foundation, Companies Using Apache Storm, 2015, siehe:
http://storm.incubator.apache.org/documentation/Powered-By.html
[Apa15-c] The Apache Software Foundation, Spark, 2015, siehe: http://spark.apache.org/
[Apa-a] The Apache Software Foundation, Samza, siehe: http://samza.apache.org/
[Apa-b] The Apache Software Foundation, Apache Flink, siehe: https://flink.apache.org/
[Bai14] Z. Nabi, E. Bouillet, A. Bainbridge, C.Thomas, Of Streams and Storms, 2014, siehe:
https://developer.ibm.com/streamsdev/wp-content/uploads/sites/15/2014/04/Streams-and-Storm-April-2014-Final.pdf
[Bul14] B. Bulkowski, Real-time analytics with Storm, NoSQL, and Hadoop, Aerospike, 2014, siehe:
http://2014.nosql-matters.org/cgn/wp-content/uploads/2014/05/Aerospike_NoSQL_Matters-Brian-B.pdf
[Dat15] Datawatch, 2015, siehe: http://www.datawatch.com/
[Datab14] Databricks, 2014, Spark 1.1: The State of Spark Streaming, siehe:
https://databricks.com/blog/2014/09/16/spark-1-1-the-state-of-spark-streaming.html
[Datab15] Databricks, 2015, siehe: https://databricks.com/
[DataT15-a] DataTorrent, 2015, siehe: https://www.datatorrent.com/
[DataT15-b] DataTorrent, DataTorrent Open Sources DataTorrent RTS, 2015, https://www.datatorrent.com/press-releases/datatorrent-open-sources-datatorrent-rts-industrys-only-enterprise-grade-unified-stream-and-batch-processing-platform/
[Dud11] T. Dudziak, Thomas Dudziak’s Blog, Storm & Esper, 2011, siehe: https://tomdzk.wordpress.com/2011/09/28/storm-esper/
[Esp15] EsperTech, Esper, 2015, siehe: http://www.espertech.com/esper/
[IBM15-a] IBM, IBM Announces Major Commitment to Advance Apache Spark, Calling it Potentially the Most Significant Open Source Project
of the Next Decade, 2015, siehe: https://www-03.ibm.com/press/us/en/pressrelease/47107.wss
[IBM15-b] IBM, InfoSphere Streams, 2015, siehe: http://www-03.ibm.com/software/products/en/infosphere-streams
[SQL15] SQLstream, 2015, siehe: http://www.sqlstream.com/
[Tib15] siehe: http://www.tibco.de/products/event-processing/complex-event-processing/streambase-complex-event-processing
[TIB15-a] TIBCO Software, Inc., TIBCO StreamBase Named Leader in Forrester Wave for Big Data Streaming Analytics Platforms 2014, 2015,
siehe: http://www.tibco.de/products/event-processing/complex-event-processing/streambase-complex-event-processing
[TIB15-b] TIBCO Software, Inc., TIBCO Live Datamart, 2015, siehe:
http://www.tibco.de/products/event-processing/complex-event-processing/streambase-liveview
[TIB15-c] TIBCO Software, Inc., TIBCO Spotfire, siehe:
http://spotfire.tibco.com/discover-spotfire/what-does-spotfire-do/predictive-analytics/tibco-enterprise-runtime-for-r-terr
die ihren Fokus insbesondere auf StreamProcessing setzen:
Amazon Kinesis ist ein Cloud-Service
für Stream-Processing von Amazon und
Bestandteil der AWS-Plattform (Amazon Web Services). Der Service kann
daher gut mit anderen AWS-Services
wie S3, Redshift oder DynamoDB kombiniert werden. Es handelt sich hierbei
um ein Framework, d. h. die Entwicklung funktioniert ähnlich wie bei Apache Storm oder Spark mittels Quellcode
(vgl. [Ama15]).
n DataTorrent ist eine Plattform, die
nativ auf Apache Hadoop läuft und
sowohl Batch- als auch Stream-Processing in einer Lösung ermöglicht (vgl.
[DataT15-a]). Das Produkt bietet grafische Tools für Entwicklung und Monitoring. Im Juni 2015 hat DataTorrent
angekündigt, den Kern des Produkts,
die „DataTorrent RTS Core Engine“,
als Open-Source unter Apache Lizenz
n
14
zu veröffentlichen (vgl. [DataT15-b]),
der Rest des Produkts ist weiterhin nur
kommerziell verfügbar.
n SQLstream bietet mit Blaze eine StreamProcessing-Plattform an, die auf dem
SQL-Standard aufbaut und diesen um
proprietäre Streaming-Konstrukte erweitert. Dadurch können Anwendungsfälle
mit SQL-ähnlichen Abfragen implementiert werden. Das Produkt StreamLab
ermöglicht das einfache Erstellen von
grafischen Dashboards ohne Implementierungsaufwand. Im Gegensatz zu beispielsweise TIBCO Live Datamart ist mit
diesen Dashboards allerdings nur eine
Überwachung, jedoch keine menschliche
Interaktion möglich (vgl. [SQL15]).
keit, großartige Tools und tolles Monitoring. Da insbesondere bei kommerziellen
Lösungen laut den Herstellern das eigene
Produkt immer eine einfache und effiziente
Entwicklung ermöglicht, sollten Alternativen unbedingt ausgiebig getestet werden
bezüglich einfacher Benutzbarkeit, effizienter Entwicklungsumgebung, Testing/Simulation, Performance usw. Auch Themen wie
einfache Installation, Betrieb, Wartung und
Weiterentwicklung sind wichtig. Ein Proof
of Concept mit zwei oder drei Frameworks
bzw. Produkten ist dringend anzuraten.
Die unterschiedlichen Frameworks und
Produkte unterscheiden sich in einigen Aspekten stark voneinander:
Eine explizit für Stream-Processing entwickelte (oft SQL-ähnliche) Programmier-/Abfragesprache.
n Kodierung vs. grafische Entwicklung,
Debugging, Testing und Simulation.
n Hoch optimierte Performance.
n Monitoring- und Alerting-Dashboards.
n
Evaluierungsprozess: Framework, Produkt oder beides?
Die meisten Frameworks und Produkte hören sich sehr ähnlich an, wenn man auf die
jeweilige Webseite schaut. Alle bieten RealTime-Stream-Processing, hohe Skalierbar-
www.objektspektrum.de
Unterstützung von Hochverfügbarkeit
und Disaster Recovery.
n Ausgereifte Produkte.
n Echzeit-Oberfläche
für
proaktive,
menschliche Interaktionen mittels Echtzeit-Frontend.
n Out-of-the-Box-Konnektoren für viele
relevante Streaming-Technologien (z. B.
IoT, Trading-Markets, Social Feeds).
n Globaler „Mission Critical“ Support,
Consulting und Training.
n
Man sollte sich zu Beginn überlegen, welche dieser Aspekte im konkreten Projekt
benötigt werden. Zusätzlich sind die Gesamtkosten (TCO) zu beachten, inklusive
Lizenzkosten und Aufwand für Installation, Entwicklung und Betrieb. Oftmals ist
auch eine kurze Gesamtlaufzeit der wichtigste Aspekt für ein Projekt.
Auf Grund zahlreicher mangelnder „outof-the-box“ Funktionalität in Frameworks
werden sie oftmals auch mit einem Produkt
kombiniert. Beide sind daher durchaus auch
komplementär zueinander. Abbildung 6
zeigt, wie eine bestehende Anwendung für
das Sammeln von Datenströmen – auf Apache Storm basierend und bereits produktiv
im Einsatz – um TIBCO StreamBase ergänzt
wurde, um zusätzlich Analysen, Abfragen,
Integration und Visualisierung sehr schnell
und einfach ohne Kodierung umzusetzen.
Gerade bei diesen Themen ist die Realisierung mit einem Produkt oftmals deutlich
effizienter.
Einbindung in die
Gesamtarchitektur
Neben der Evaluierung der Kernfunktionalität bezüglich Stream-Processing sollte von
Beginn an betrachtet werden, wie die Integration mit anderer Middleware und anderen
Anwendungen zusammenspielt. Die Projektarchitektur kann beispielsweise verschiedene
Messaging-Technologien, einen Enterprise
Service Bus (ESB) als Integrationsplattform
oder ein MDM-System (Master Data Management) für die zentrale Verwaltung von
01/2016
Stammdaten beinhalten. Hier gilt es zu klären, inwieweit diese Komponenten lose gekoppelt, aber dennoch gut miteinander integriert sind. Ansonsten kann viel Aufwand
und hohe Komplexität für die Integration
der verschiedenen Komponenten entstehen.
Auch hier kann ein „Proof of Concept“ in
wenigen Tagen viele harte Fakten bezüglich
Eignung für das Projekt aufzeigen.
Ein weiterer wichtiger Aspekt ist die Einbindung von statistischen Modellen und
Machine Learning in eine Stream-Processing-Engine. Typischerweise werden Modelle von Data Scientists mit Technologien wie R, SAS oder MATLAB erstellt und
trainiert, um neue Erkenntnisse und Muster zu finden. Diese Muster können dann
ebenfalls in einen Datenfluss integriert
werden, um in Echtzeit auf neue Ereignisse
zu agieren. Anstatt die Modelle neu zu implementieren, werden solche Modelle von
manchen Herstellern von Haus aus auch
in der Stream-Processing-Plattform unterstützt – beispielsweise „TIBCOs Runtime
for R” (TERR) (vgl. [TIB15-c]), wodurch
Standard-R-Skripte ohne Änderungen des
Codes in die Echtzeitverarbeitung eingebunden werden können. Ansonsten ist es
auch möglich, ein Modell aus Tools wie
SAS oder MATLAB im XML-basierten
PMML-Standard (Predictive Model Markup Language) zu exportieren und dann in
Frameworks oder Produkte zu importieren.
Diese Methode ist deutlich flexibler und
mächtiger, als „nur“ Muster aus historischen Daten mittels Business IntelligenceWerkzeugen zu entdecken und dann statisch
im Stream-Processing zu implementieren.
Stream-Processing
unumgänglich für das IoT
Stream-Processing wird verwendet, um Datenströme mit Milliarden von Datensätzen
in Echtzeit zu verarbeiten. Im Zeitalter des
IoT wird dieses Konzept mit größerer Verbreitung daher jedes Jahr immer relevanter.
Auf dem Markt sind zahlreiche Frameworks und Produkte verfügbar. Viele Lö-
sungen sind allerdings noch nicht allzu
ausgereift und es mangelt an guter ToolUnterstützung. Sofern Coding erwünscht
ist sowie Tool-Unterstützung und kommerzieller Support nicht die höchste Priorität
haben, steht Apache Storm als sehr gute
Open-Source-Lösung an erster Stelle für
das Sammeln und Verarbeiten großer Datenströme. Apache Spark wird ebenfalls immer relevanter, zielt aber eher auf Themen
wie Analytics (als Ersatz für MapReduce)
und Machine Learning. Produkte wie IBM
InfoSphere Streams oder TIBCO StreamBase bieten ausgereifte Produkte, grafische
Tool-Unterstützung, einfache Integration
in das restliche Unternehmensumfeld und
weltweiten Support sowie Consulting an.
Eine Echtzeit-Oberfläche ermöglicht neben
automatisierter Verarbeitung auch proaktive menschliche Interaktionen. Da alle
Frameworks und Produkte mit quasi identischen Merkmalen und Vorteilen werben,
sind eine ausführliche Evaluierung bzw. ein
Proof of Concept mit Bezug zu Aufwand,
Benutzbarkeit, Time-to-Market und Ge||
samtkosten dringend zu empfehlen.
Der Autor
|| Kai Wähner
([email protected])
ist Technical Lead bei TIBCO. Seine Schwerpunkte liegen in den Bereichen Integration, Big
Data, Analytics, SOA, Microservices, BPM, Cloud
Computing, Java EE and Enterprise Architecture
Management. Er ist Autor von Fachartikeln und
hält Vorträge auf internationalen IT-Konferenzen.
15