Datenauswertung in Echtzeit

In einem datengetriebenen Zeitalter stellt die Zeit der Datenauswertung den wichtigsten Wettbewerbsvorteil dar. Die Daten müssen mittels geeigneter Werkzeuge so schnell wie möglich bzw. nötig erfasst, verarbeitet, gespeichert und intern oder extern zur Verfügung gestellt werden. Forrester ermittelte in einer Studie zum Thema Fast Data aktuelle Nutzerzahlen. Demnach müssen 88 % der befragten Unternehmen Analysen von Streaming Daten nahe Echtzeit durchführen. Davon setzen mehr als 75 % der Befragten bereits jetzt auf Unternehmenslösungen in Echtzeit.

Wie die meisten Begrifflichkeiten im Zusammenhang mit Informationssystemen, Digitalisierung und Industrie 4.0 lässt sich auch für die Datenauswertung in Echtzeit keine eindeutige und allgemeingültige Definition festlegen. Oberstes Ziel ist es die Latenzen von Systemen so gering wie möglich zu halten.
Der Begriff „Echtzeit“ wird heute häufig mit Begriffen wie „unverzüglich“, „zeitgleich“ oder „augenblicklich“ gleichgesetzt. Das ist nicht unbedingt falsch, vor allem nicht, wenn es sich um Datenanalyse mittels Streaming Daten handelt. Die beispielsweise aus IoT-Technologien stammenden Daten werden schnell analysiert, um schnelle und sichere Geschäftsentscheidungen treffen zu können. Auf der anderen Seite kann „in Echtzeit“ auch als rechtzeitige Datenerfassung und -verarbeitung aufgefasst werden. Es geht also um eine ausreichende Schnelligkeit für den jeweiligen Anwender und die jeweilige Problemstellung. Nicht nur Streaming Daten, sondern auch deutlich „langsamere“ Datenauswertungen stehen im Mittelpunkt der Echtzeitbetrachtung.
.

Realanalytics beschäftigt sich mit ebendiesen langsamen Datenverarbeitungen. In der Informationstechnik geht es selten darum Daten sofort und unverzüglich zugänglich zu machen, viel mehr geht es darum sie ausreichend schnell zur Verfügung zu stellen. Die optimale Geschwindigkeit hängt bei Datenauswertung in „Realtime“ von verschiedensten Faktoren ab – System, Anwendung, Relevanz. Während die Daten vor wenigen Jahren in vielen kleineren Unternehmen noch wöchentlich geladen wurden, kann sich eine Datengenerierung mit einer Latenz von einigen Sekunden heute für die meisten Anwendung bereits wie in Echtzeit anfühlen. Letztendlich geht es zumeist um relativ große Datenmengen, welche in „kürzester“ Zeit zu aktualisieren und zu verarbeiten sind. Die finnische Lotterie Veikkaus zeigt wie man sich Realanalytics im Unternehmensalltag zu Nutze machen kann. In der staatlichen Institution für Lotterien und Wetten müssen täglich mehr als zwei Millionen Messages geladen werden. Das bedeutet eine Datenverarbeitungsrate von 200 Messages pro Sekunde. Die Daten werden schließlich in Realtime, was in diesem Anwendungsfall bis zu 15 Sekunden bedeutet, in die entsprechenden Frontends geladen. Dies ermöglicht der Marketing Abteilung eine Vielzahl von einfach umsetzbaren Anwendungen. Beispielsweise wird es möglich, auch aufgrund der Korrektheit der Daten, den mehreren hunderttausenden Nutzern der Lotterie personalisierte Angebote zu übertragen und eine Aufforderung zur Teilnahme zu senden. In diesem Fall interagieren die Tools Pentaho Data Integration, Apache Kafka (welches für die Datenlieferung zuständig ist) und Apache Spark (welches für die Weiterverarbeitung der daten verantwortlich ist) miteinander. Real Analytics kann im Bereich der Kapazitätsplanung, der Datensicherheit, des Kundenservice und der Betrugserkennung zur Anwendung kommen. Haupteinsatzgebiete sind und bleiben alle Anwendungen und Systeme rund um das Internet of Things.

Neben der enormen Menge an Daten, die täglich generiert werden, werden Wirtschaft und Gesellschaft zukünftig auch vor die Herausforderung von anhaltenden Datenströmen gestellt, die eine Datenauswertung in Echtzeit notwendig machen können. Während bei Big Data und Business Intelligence unternehmensrelevante Informationen auf vergangenheitsorientierten Daten basieren und relativ lange Latenzzeiten von bis zu mehren Tagen aufweisen, geht es bei Streaming Technologien darum große Mengen von Daten mit hoher Aktualisierungsgeschwindigkeit zu sammeln, zu speichern, zu bearbeiten und auszuwerten. Streaming Analytics Systeme müssen in der Lage sein mehrere Millionen Transaktionen oder Befehle pro Sekunde durchzuführen. Betroffen sind auf lange oder kurze Sicht nahezu alle Bereiche der Wirtschaft. Vom Finanz- und Dienstleistungssektor über Justiz und Verkehr bis hin zu industrieller Produktion. Problematisch kann diese Echtzeitauswertung vor allem in Fällen von unstrukturierten oder heterogenen Daten werden. Diese kommen unter anderem im Bereich von Signalverarbeitung, Social Media und mobilen Endgeräten, wie Smartphones oder Tablets vor. Einige wichtige Anwendungen im Bereich Streaming Analytics sind beispielsweise Mustererkennung, Churn-Management und Mikrosegmentierung in Echtzeit. Vorangegangenes lässt erkennen, dass die optimale Umsetzung von Datenauswertung mittels Streaming umfangreiches Wissen aus den Bereichen Datenanalyse und -verwaltung, Statistik und Big Data und Data Mining erfordert. Die Technologie bringt aus diesem Grund gerade für unerfahrene Unternehmen mit unzureichendem Know-how gewisse Risiken mit sich. Erste Erfahrungen sollten mit dem schrittweisen Lösen von überschaubaren Problemen gesammelt werden. Erreichbarer Mehrwert und Ressourcenverwendung müssen abgewogen werden. Die wichtigsten Werkzeuge zur Datenauswertung und -analyse in Echtzeit sind unteranderem BIRT (Business Intelligence and Reporting Tools), Lumify, Talend und Apache Kafka.

Die gezielte Auswertung und Nutzung mehrwertbringender Informationen und (Echtzeit-) Daten kann sowohl für den lokalen Einzelhändler, das mittelständige Unternehmen der Industrie, als auch für den Big Player im Online-Handel enorme Wettbewerbsvorteile schaffen. Durch stetige Kommunikation und Interaktion mit den Kunden ist es möglich Produkte und Dienstleistungen auf bestimmte Maße und Anforderungen zuzuschneiden. Entsprechend kann die Auswertung von Social Media Daten dazu beitragen frühzeitig Technologie- und Megatrends zu erkennen und umzusetzen. Für ein stationäres Geschäft könnte der Wettbewerbsvorteil durch Big Data Analytics beispielsweise wie folgt aussehen: Nehmen wir an, ein Kunde schlendert gemütlich eine Einkaufspassage entlang. Wenn er nun an einem bestimmten Einzelhandelsgeschäft vorbeigeht, bekommt er via Push-Benachrichtigung ein personalisiertes Angebot oder Neuigkeiten auf sein Smartphone gespiegelt. Diese sollen die Kundschaft dazu verleiten das Geschäft erst einmal zu betreten. Doch nicht nur der Anbieter erhält einen Mehrwert. Auch für die Kunden kann solch ein Geschäftsmodell erhebliche Vorteile bringen. So könnten das Verkaufspersonal bei Betreten des Kunden über Vorlieben in Sachen Farben und Stil oder über Schuh- und Kleidungsgrößen aufgeklärt werden. Zusätzlich können personalisierte Werbeaktionen angeboten werden.

https://www.bigdata-insider.de/7-interessante-open-source-tools-fuer-big-data-a-590400/

https://www.computerwoche.de/a/vorausschauend-agieren-mit-streaming-analytics,3095592

https://www.scnsoft.de/blog/ein-leitfaden-zu-big-data-analysen-in-echtzeit#

https://www.bigdata-insider.de/so-funktioniert-datenauswertung-in-echtzeit-a-630479/

https://www.ibm.com/de-de/analytics/fast-data