Thomas Telaak

Im September fand die hauseigene Microsoft Messe für Entwickler und IT-Spezialisten Ignite in Orlando statt. In diesem Rahmen wurden unter anderem wieder viele Neuigkeiten im Hinblick auf die Microsoft Azure Plattform bekannt gegeben.

Hier ein Überblick der wichtigsten Neuerungen:

 

Data Factory V2

Eine der wichtigsten Ankündigungen ist wohl die Azure Data Factory V2.

War die Data Factory V1 bisher dazu gedacht Daten von A nach B zu schieben, wird dem Benutzer in der neuen Version wesentlich mehr Funktionsumfang, vor allem im Bereich ETL, zur Verfügung gestellt.

Viele Funktionen, die man bereits von den SQL Server Integration Services (SSIS) kennt, wie zum Beispiel den Control Flow, Constraints, Expressions, etc. finden nun Einzug in die Data Factory.

So ist es nicht verwunderlich, dass SSIS Pakete 1 zu 1 aus On-Premise Umgebungen in die Cloud geschoben werden können. Dazu wird die so genannte Integration Runtime eingeführt, welche sowohl in einem Cloud 2 Cloud als auch in einem On-Premise 2 Cloud Szenario ausgeführt werden kann. Dazu kann SSIS-IR wahlweise in einem öffentlichen oder einem privaten virtuellen Netzwerk gehostet werden, um die jeweilige Konnektivität zu gewährleisten.

SSIS Pakete können wie gewohnt mit den Data Tools in Visual Studio entwickelt werden.

Ausgeführt werden die Datafactory Pipelines dann über Trigger (basierend auf Events oder Zeitplänen).

Die Version 2 ist schon in der Vorschau Version verfügbar. Die Einrichtung kann aktuell über .net SDK, Python SDK, REST APIs oder Powershell erfolgen. Bis zum Ende des Jahres will Microsoft ein Tool zur visuellen Gestaltung von Daten-Pipelines zur Verfügung stellen.

Weitere Informationen findet ihr hier:

Azure Data Factory Introduction

 

Azure Cost Reporting

Einigen mag es schon aufgefallen sein, seit September ist es nun auch Enterprise Kunden möglich, die angefallen Azure Kosten direkt im Azure Portal zu sehen. Bisher war dies nur möglich, indem man die entsprechende API angezapft und ausgewertet hat. Die Kosten sind nun im Bereich Subscriptions -> Cost Analysis zu sehen.

Für detailliertere Analysen, ist die Verwendung der API jedoch nach wie vor möglich.

Um eine Idee zu kommen, was hier möglich ist, anbei ein Beispiel für eine Costreporting Lösung auf Basis von Power BI:

ORAYLIS Power BI Showcase

 

VNET Service Endpoints

Bisher war es nicht möglich Azure Storage Konten und SQL Datenbanken (PaaS) in das eigene virtuelle Netzwerk einzubinden. Dieses Feature wird, von der Community schon lange gefordert, da die Dienste theoretisch offen aus dem Internet erreichbar sind.

Nun wird mit den VNET Service Endpoints die Möglichkeit geboten, die Dienste in den privaten Vnets sichtbar zu machen und somit den Zugriff auf interne IP zu Beschränken. Die Verbindung erfolgt dann nicht mehr über das Internet sondern über den Azure Backbone. Dies erhöht einerseits die Sicherheit und die Verbindungsgeschwindigkeit.

Auch diese Funktion soll im Laufe des Jahres noch ausgebaut werden.

VNET Endpoints for Azure Storage and Azure SQl DB

 

Stream Analytics

Azure Stream Analytics kann nun Echtzeit-Daten direkt an Azure Functions übergeben. Dort können die Daten dann beispielsweise mit C# oder Javascript weiter verarbeitet werden.

Außerdem gibt es die neue Funktion „ANOMALYDETECTION“. Diese kann verwendet werden um Anomalien innerhalb eines Datenstroms zu erkennen.

Des Weiteren akzeptiert ASA eingehende Daten nun auch wenn sie via GZIP oder Deflate komprimiert sind.
Auch im Bereich continuous integration und delivery gibt es Neuigkeiten. Mit Hilfe des Nuget Packages
Microsoft.Azure.StreamAnalytics.CICD können einfache CI/CD Pipelines für ASA Jobs erstellt werden.

New in Azure Stream Analytics

 

Azure Functions

Azure Functions unterstützten nun neben C#, F#, Node.js, Python, PHP, Batch, Bash auch Java.

Azure Functions supports Java

 

Global VNET Peering

Über das Vnet-Peering ist es möglich verschiedene virtuelle Netzwerke innerhalb eines Azure Tenants miteinander zu verbinden. Bisher war dies jedoch nur möglich, wenn sich die Netzwerke in derselben Region z.B. West Europe befunden haben. Nun können Netzwerke in verschiedenen Regionen gepaart werden. Dies ist vor allem für Szenarien wie Desaster Recovery oder Replikation interessant.

Global VNet Peering

 

Azure Data Box

Die Azure Data Box gehört zu den ehr skurrilen Neuerungen. Nimmt man diesen Dienst in Anspruch,  bekommt man eine Appliance zugesandt, auf die man seinen kompletten Datenbestand (bis zu 100 TB) laden kann. Sobald der Kopiervorgang abgeschlossen ist, wird die Box zurückgesendet und die Daten in der Cloud zur Verfügung gestellt.

Azure Data Box Announcement