Nach Auskunft durch den Projektleiter des Projektes Barcelona hat Microsoft den Dependency Service aus Denali herausgenommen und stattdessen bereits im April das Projekt Barcelona initiiert. Dabei handelt es sich um ein umfassendes Metadaten Management System, das Daten aus folgenden Quellen integriert:

• SQL Server Datenbank
• Integration Services
• Reporting Services
• Sharepoint
• Excel

Offensichtlich wird es auch die Möglichkeit geben weiter Datenquellen anzubinden. Die Gesamtarchitektur wird wie folgt vorgestellt:

Was ist denn überhaupt Metadaten Management? Metadaten werden nach Kimball als „all data about data“ beschrieben. Nicht selten wird Metadaten Management mit Masterdaten Management verwechselt. Der Begriff ist gerade in der BI sehr umfassend. Die nachfolgende Tabelle umschreibt die Bereiche in denen innerhalb einer BI und DWH Umgebung Metadaten Management eine Rolle einnimmt:

Microsoft wird mit dem Projekt Barcelona sicher nicht den gesamten Bereich abdecken. Hier wird der Schwerpunkt auf der automatischen Dokumentation von Referenzen und Datenflüssen liegen.

Es steht bereits jetzt eine erste GUI zum Test zur Verfügung. Diese ist als „moderne“ Cloud Anwendung umgesetzt: http://projectbarcelona.cloudapp.net

Grundsätzlich schließt Microsoft mit Barcelona eine wichtige Lücke in der gesamten BI Strategie. Durch die Integration der wichtigsten BI Produkte ist das Vorgehen vielversprechend. In wenigen Monaten soll die Roadmap veröffentlicht werden. Dann wird auch klarer wann und in welcher Form Microsoft diese Lösung anbieten wird.

Diese Beitragsreihe stellt die allgemeinen Anforderungen für den Betrieb von SSIS dar. In Folgebeiträgen gehe ich auf die Stärken und Schwächen des Produktes ein. Ferner gehe ich darauf ein, wie wir diese Anforderungen standardisiert in unseren Projekten lösen.

Was sind die allgemeinen Anforderungen?

Betrieb bedeutet einen Service bereitzustellen, nicht selten 24×7, der zuverlässig funktioniert. Im Falle von SSIS werden periodisch Jobs gestartet, die projektindividuell Daten von A nach B bewegen. Das geschieht in der Regel im verborgenen, d.h. die Prozesse und deren Ergebnisse sind von Hause aus “unsichtbar”. Die nachfolgenden Anforderungen treffen wir in allen Projekten wieder:

1. statusbasierte Ergebnisüberwachung
   • Welche Jobs müssen laufen?
   • Sind diese erfolgreich gelaufen? Gewünscht ist ein einfacher Soll Ist Vergleich, analog zu Performance Management, zum Beispiel anhand von roten oder grünen Ampeln
2. Laufzeit basierte Überwachung
   • aktuell aktive Jobs (Wie lange laufen sie schon? Wie lange werden sie vermutlich noch laufen?)
   • abgeschlossene Jobs (Wie lange läuft der Job gewöhnlich? Wie hat sich die Laufzeit in der letzten Zeit entwickelt? Wie ist der Trend? Wann wird ein kritisches Limit erreicht?)
3. KPI Überwachung
   • Welche Datenmengen befördert der Job? (aktuell und gewöhnlich)
   • Anzahl von Fehlern, Korrekturen oder sonstigen wichtigen Ereignissen?
4. Fehlererkennung und Lösung
   • Sind Fehler aufgetreten?
   • Wenn ja, wo? Die Praxis zeigt, dass Logging immer falsch ist. Für den Betrieb ist das Logging in der Regel unübersichtlich und überfrachtet. Die wichtigen Informationen müssen wie Rosinen herausgepickt werden. Expertentätigkeit. Für die Fehleranalyse ist es immer zu wenig. Das Optimum ist sehr schwer zu erreichen.
   • Wer ist der geeignete Ansprechpartner?
   • Trennung nach technischen Fehlern: In aller Regel auf Systemressourcenengpässe oder Security zurückzuführen, kann durch das BI Team oder die IT gelöst werden.
   • Und fachliche Fehler: Fehler liegt in aller Regel im Vorsystem (Datenquelle), kann nicht dauerhaft durch das BI Team gelöst werden, sondern fällt in die Zuständigkeit der Quellsysteme. Das ist einer der wesentlichen Beiträge der BI zur Verbesserung der primären Datenqualität! In der Regel wechselt hier die organisatorische Zuständigkeit. Nicht selten wird eine “andere Sprache gesprochen”.
5. Optimierung
   • Die Daten sind wichtig für die Erkennung des Optimierungsbedarfs. Wie so soft machen 20% des Codes 80% der Laufzeit aus. Deshalb ist eine längerfristige Bevorratung wichtig.
6. Performance
   • Trotz langer Bevorratung von Logging Informationen müssen alle Berichte innerhalb von 2 Sekunden zur Verfügung stehen
   • Alle Berichte müssen die Gegenwart zeigen, d.h. Bewirtschaftungszeiten werden nicht akzeptiert 
7. Nachrüstbarkeit
   • Ganz gleich in welcher Phase ein SSIS Projekt ist: Die hier genannten Anforderungen müssen leicht nachrüstbar sein. Besser noch. Bestehende Loggingdaten sollten in die neue Welt migriert werden können.

BI mit BI betreiben!

Nach Durchsicht der Anforderungen ist die Lösung recht naheliegend: Alle Betriebsanforderungen erfordern die Sammlung und Aufbereitung von Daten. Das ist die wesentliche BI Kernkompetenz!

Das ist das zentrale Ziel unserer Projekte: Ein standardisiertes Datenmodell mit standardisierten Berichten und einer standardisierten Vorgabe für die Entwicklung, um die hier darstellten Anforderungen zu erfüllen.

Damit erfüllen sich auch weitere, unausgesprochene Anforderungen:

1. Mit der Standardisierung kann eine BI Plattform kostengünstiger erstellt werden. Die Entwickler können sich zu 100% auf die Business Lösung konzentrieren und müssen sich nicht mit Fehlerhandling auseinandersetzen. Wir werden oft in Projekte gerufen, bei denen dieser Teil der Umsetzung eine signifikante Größe eingenommen hat und den Blick auf das wesentliche eintrübt.
2. Mit der Standardisierung kann eine BI Plattform kostengünstiger betrieben werden. Das Personal benötigt für den 1rst und 2nd Level Support keine tiefen Projektkenntnisse. Es bekommt effizient die Informationen, die es benötigt.
3. Consultants können zwischen den Projekten leichter wechseln

In den nächsten Beiträgen erläutere ich, was die Stärken und Schwächen des Produktes SSIS sind und was zur Erfüllung der Anforderungen erforderlich ist.