Michael Schmahl

Im Kontext von Internet of Things und Industrie 4.0 liefern Sensoren kontinuierlich umfangreiche Datenströme. Near-Realtime Streaming bezeichnet die Fähigkeit einer Analyselösung, diese Datenströme mit möglichst geringem Zeitverzug zu empfangen, zu verarbeiten und als Informationen bereitzustellen. Teilweise wird in diesem Zusammenhang auch von Echtzeitanforderungen oder dem Echtzeit-Reporting gesprochen. Ein funktionierendes Near-Realtime Streaming eröffnet Unternehmen vielfältige Möglichkeiten für die Optimierung von Geschäfts- und Fertigungsprozessen. Ebenso lassen sich Produkte kundenfreundlicher gestalten und gegebenenfalls sogar mit völlig neuen Dienstleistungen ummanteln.

Architektur für Near-Realtime Streaming

Mangels leistungsfähiger Hardware lässt sich eine Echtzeitstrecke komplett ohne Zeitverzug oftmals nicht realisieren. Aus diesem Grund hat sich auch der Begriff „Near“-Realtime etabliert. Um die Latenzzeiten möglichst gering zu halten, nutzt ORAYLIS bei der Integration von Near-Realtime Streaming in eine Data Analytics Platform die Lambda-Architektur. Lambda basiert auf zwei Daten getrennten Datenkanälen: Ein sogenannter Speed Layer stellt die Daten des Echtzeitstroms für den schnellen Zugriff bereit. Diese Daten sind noch nicht qualitätsgesichert und insofern eher für vorläufige Betrachtungen geeignet. Ergänzend bietet der zweite Kanal – der „Batch“ Layer – valide Fakten aus vorangegangen Zeiträumen. Darüber hinaus ermöglicht ein Serving Layer die Zusammenführung von Echtzeitstrom und Data-Warehouse(DWH)-Bestand.

 

Exemplarische Architektur für Near-Realtime Streaming.

Exemplarischer Architektur für Anwendungen im Bereich Near-Realtime Streaming. (Grafik: ORAYLIS)

(Near-) Realtime Streaming in der Cloud

Aufgrund der hohen Anforderungen an Speicher und Rechenleistung nutzen wir für den Aufbau von Echtzeitstrecken vermehrt die Cloud-Dienste der Azure-Plattform. Alle erforderlichen Ressourcen können hier auf Knopfdruck in wenigen Minuten zusammengestellt und bis in den Petabyte-Bereich skaliert werden. Bezahlt wird nach Bedarf. Da es sich um Managed Services handelt, verringert sich der Aufwand für Updates und Wartungstätigkeiten auf ein Minimum. Unternehmen können auf diese Weise in verhältnismäßig kurzer Zeit bemerkenswerte Innovationserfolge erzielen.

Wenn Sie weitere Informationen zur Integration von Near-Realtime Streaming in ein bestehendes DWH-Umfeld wünschen, stehen wir Ihnen gerne für eine persönliche Beratung zur Verfügung.