Stefan Zawacki

Sie wollen große Datenmengen schnell und einfach laden? In diesem Blogbeitrag präsentieren wir den ORAYLIS BI.Loader, unseren Dienst zum Beladen von Tabellen.

Das Beladen von Tabellen kann bei großen Datenmengen viel Zeit in Anspruch nehmen, daher steht bei der Auswahl der Belademethode meistens die Schreibgeschwindigkeit im Vordergrund. Jedoch sollte stets auch der Konfigurationsaufwand bedacht werden, den die Implementierung der Belademethode erfordert, denn ein hoher Konfigurationsaufwand verursacht höhere Entwicklungskosten im Projekt.

Microsoft bietet im Visual Studio mit der „SQL Server PDW Destination“ und der „CSV Destination“ zwei Komponenten, die in SSIS-Pakten zum Beladen von Tabellen, eingesetzt werden können und gute Performance bieten, aber einen hohen Konfigurationsaufwand erfordern.

Der Windows Service

Der BI.Loader ist ein leistungsstarker Dienst zum Beladen von Tabellen über Flatfiles, der mit einer Schreibgeschwindigkeit von 30 GB pro Minute, einen höheren Datendurchsatz bietet als die Microsoft Lösungen und zusätzlich noch die Besonderheiten der PDW bezüglich der parallelen Schreibzugriffe am besten berücksichtigt.

Der BI.Loader wird als Windows Service auf dem SSIS-Server installiert und überwacht ein konfigurierbare Verzeichnisstruktur, die so genannte „Landingzone“, auf einkommende Files. Neben der „Landingzone“ kann noch eine „Slavezone“ eingerichtet werden, die parallel zum Produktivsystem eine Failoverumgebung beladen kann, oder die parallele Beladung von SMP und PDW ermöglicht.

Generische Templates

Die Beladung wird über generische Templates gesteuert, die durch den Einsatz von Variablen, anpassbar und wiederverwendbar sind. Die Installation enthält zehn Standardtemplates die leicht angepasst werden können, um den Gegebenheiten der Kundenumgebung zu entsprechen.

Datenmengen schnell und einfach laden

Die SSIS-Komponente

Um dem Entwickler die Arbeit zu erleichtern wird eine SSIS-Komponente zur Verfügung gestellt, die den Implementierungs- und Konfigurationsaufwand bei der Entwicklung des SSIS-Pakets auf ein Minimum reduziert. Die Komponente unterstützt den SQL Server in den Versionen 2008, 2012 und 2014 und kann in Visual Studio 2010 und höher eingesetzt werden.

In Projekten in denen der BI-Loader zum Einsatz kommt, kann die Entwicklung vollständig auf der SMP stattfinden, eine vorhandene PDW kann parallel beladen werden, ohne dass der Entwickler dies bei der Erstellung des SSIS-Paket berücksichtigen muss. Ein Projekt das auf der SMP begonnen wurde kann zu jeder Zeit auf die PDW migriert werden. Ebenso ist es über die Kaskadierung mehrerer BI.Loader möglich, sowohl eine Failoverumgebung, als auch eine  parallele Beladung der PDW zu gewährleisten.

Das folgende Video, welches auf unserem Youtube-Kanal ORAYLIS.TV bereitgestellt ist, zeigt die Installation und Konfiguration des BI.Loader und demonstriert die Verwendung der SSIS-Komponente.

Auf ORAYLIS.TV stehen auch weitere Videos zu unseren selbst entwickelten Tools, sowie anderen interessante Themen aus der BI-Welt bereit.