Jörn Ebbers

ETL steht für Extract, Transform, Load – zu Deutsch: Extraktion, Transformation und Laden. Die Begriffe beschreiben den Prozess der Integration von Daten aus ein oder mehreren Quellsystemen in ein Data Warehouse (DWH). Dabei steht Extraktion für die Verbindung zu den Quellen, Transformation für die Aufbereitung der extrahierten Daten sowie Laden für die Überführung in das Zielsystem. Dies beinhaltet auch die Weiterverarbeitung der Daten bis zum sogenannten Frontroom, der Zugriffsschicht der Endanwender. Gleichzeitig handelt es sich um einen wiederkehrenden Prozess, damit den Nutzern stets aktuelle Daten für die Entscheidungsfindung zur Verfügung stehen.

Visualisierung ETL (Extract, Transform, Load)

Stets aktuelle Daten durch ETL

Das Intervall zwischen zwei ETL-Prozessen wird entsprechend der Anforderung gewählt. Es kann von einem monatlichen Turnus bis hin zu „Near-Real-Time“ – also innerhalb weniger Minuten – reichen. In der Praxis hat sich zumeist eine tägliche Verarbeitung etabliert. Neben dem Intervall kann sich auch die Menge der extrahierten Daten je nach Quelle oder Geschäftsprozess stark unterscheiden. Um den Anforderungen an das gewählte Intervall und der zu ladenden Datenmenge gerecht zu werden, gibt es verschiedene Verfahren zur Datenextraktion. Die einfachste Variante ist die vollständige Extraktion. Werden Datenmengen und Laufzeiten zu groß, können die Daten auch schrittweise extrahiert werden. Daneben gibt es ereignisgesteuerte Verfahren, bei denen auftretende Änderungen im Quellsystem den ETL-Prozess auslösen.

Einfache Integration mit SSIS

Der SQL-Server bietet mit den Integration Services (SSIS) ein leistungsfähiges ETL-Tool, das die Datenintegration aus einer Vielzahl von Quellen unterstützt. In Kombination mit einer entsprechenden Schnittstelle lassen sich sogar SAP-Quellen ohne Einschränkung anbinden. Darüber hinaus bietet SSIS ein ausgereiftes Workflow-Management, mit dessen Hilfe umfangreiche ETL-Strecken abgebildet werden können. Für eine zusätzliche Steigerung der Datenqualität und Betriebssicherheit bei SSIS-gestützte ETL-Prozessen sorgen die ORAYLIS Tools BI.Quality und BI.Monitor.