Lernprogramm: Schreiben in eine Delta-Tabelle, die in Azure Data Lake Storage Gen2 gespeichert ist

Dieses Lernprogramm zeigt, wie Sie einen Stream Analytics-Auftrag erstellen können, um in eine Delta-Tabelle in Azure Data Lake Storage Gen2 zu schreiben. In diesem Tutorial erfahren Sie, wie:

Voraussetzungen

Bevor Sie beginnen, führen Sie die folgenden Schritte aus:

• Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen.
• Stellen Sie den TollApp-Ereignisgenerator in Azure bereit, verwenden Sie diesen Link zum Bereitstellen der TollApp Azure-Vorlage. Legen Sie den Parameter "interval" auf 1 fest. Erstellen und verwenden Sie eine neue Ressourcengruppe für diesen Schritt.
• Erstellen Sie ein Data Lake Storage Gen2-Konto.

Erstellen eines Stream Analytics-Auftrags

1. Melden Sie sich beim Azure-Portal an.

2. Wählen Sie im Menü links Alle Dienste aus.

3. Bewegen Sie den Mauspunkt über Stream Analytics-Aufträge im Abschnitt "Analyse ", und wählen Sie +(Plus) aus.

   

4. Klicken Sie im Azure-Portal links oben auf Ressource erstellen.

5. Wählen Sie den Analytics>Stream Analytics-Auftrag aus der Ergebnisliste aus.

6. Führen Sie auf der Seite "Neuer Stream Analytics-Auftrag " die folgenden Schritte aus:

   1. Wählen Sie für Abonnement Ihr Azure-Abonnement aus.
   2. Wählen Sie für die Ressourcengruppe dieselbe Ressource aus, die Sie zuvor in der TollApp-Bereitstellung verwendet haben.
   3. Geben Sie für "Name" einen Namen für den Auftrag ein. Der Name des Stream Analytics-Auftrags kann alphanumerische Zeichen, Bindestriche und Unterstriche enthalten und darf zwischen 3 und 63 Zeichen lang sein.
   4. Vergewissern Sie sich für die Hostingumgebung, dass Cloud ausgewählt ist.
   5. Wählen Sie für Stream-Einheiten"1" aus. Streamingeinheiten stellen die Computerressourcen dar, die zum Ausführen eines Auftrags erforderlich sind. Informationen zum Skalieren von Streamingeinheiten finden Sie im Artikel zum Verständnis und Anpassen von Streamingeinheiten .

   

7. Wählen Sie am unteren Rand der Seite die Option Bewerten + erstellen aus.

8. Überprüfen Sie auf der Seite "Überprüfen + Erstellen" die Einstellungen, und wählen Sie "Erstellen", um eine Stream-Analytics-Seite zu erstellen.

9. Wählen Sie auf der Bereitstellungsseite "Zur Ressource wechseln " aus, um zur Stream Analytics-Auftragsseite zu navigieren.

Konfigurieren der Auftragseingabe

Der nächste Schritt besteht darin, eine Eingabequelle für den Auftrag zu definieren, um Daten mithilfe des in der TollApp-Bereitstellung erstellten Ereignishubs zu lesen.

1. Suchen Sie den Stream Analytics-Auftrag, der im vorherigen Abschnitt erstellt wurde.

2. Wählen Sie im Abschnitt "Auftragstopologie " des Stream Analytics-Auftrags "Eingaben" aus.

3. Wählen Sie + Eingabe hinzufügen und Event Hub.

   

4. Füllen Sie das Eingabeformular mit den folgenden Werten aus, die über die TollApp Azure-Vorlage erstellt wurden:

   1. Geben Sie für den Eingabealiasden Eintragsstream ein.

   2. Wählen Sie "Event Hub auswählen" aus Ihren Abonnements aus.

   3. Wählen Sie für Abonnement Ihr Azure-Abonnement aus.

   4. Wählen Sie für den Event Hub-Namespace den Event Hub-Namespace aus, den Sie im vorherigen Abschnitt erstellt haben.

   5. Verwenden Sie die Standardoptionen für die verbleibenden Einstellungen, und wählen Sie "Speichern" aus.

      

Konfigurieren der Auftragsausgabe

Der nächste Schritt besteht darin, eine Ausgabesenke zu definieren, in die der Auftrag Daten schreiben kann. In diesem Tutorial schreiben Sie die Ausgabe in eine Delta-Tabelle in Azure Data Lake Storage Gen2.

1. Wählen Sie im Abschnitt "Auftragstopologie " des Stream Analytics-Auftrags die Option "Ausgaben " aus.

2. Wählen Sie + Ausgabe hinzufügen>Blob Storage/ADLS Gen2 aus.

   

3. Füllen Sie das Ausgabeformular mit den folgenden Details aus, und wählen Sie "Speichern" aus:

   1. Geben Sie bei AusgabealiasDeltaOutput ein.

   2. Wählen Sie "Blob storage/ADLS Gen2" aus Ihren Abonnements aus.

   3. Wählen Sie für Abonnement Ihr Azure-Abonnement aus.

   4. Wählen Sie für das Speicherkonto das ADLS Gen2-Konto (das konto, das mit tollapp beginnt) aus, das Sie erstellt haben.

   5. Wählen Sie für container " Neu erstellen" aus, und geben Sie einen eindeutigen Containernamen an.

   6. Wählen Sie für das Ereignis-SerialisierungsformatDelta Lake aus. Obwohl delta lake als eine der optionen hier aufgeführt ist, handelt es sich nicht um ein Datenformat. Delta Lake nutzt versionierte Parquet-Dateien, um Ihre Daten zu speichern. Weitere Informationen zum Delta-See.

   7. Geben Sie für den Delta-Tabellenpfadden Lernprogrammordner/die Delta-Tabelle ein.

   8. Verwenden Sie die Standardoptionen für die verbleibenden Einstellungen, und wählen Sie "Speichern" aus.

      

Erstellen von Abfragen

An diesem Punkt haben Sie einen Stream Analytics-Auftrag eingerichtet, um einen eingehenden Datenstrom zu lesen. Der nächste Schritt besteht darin, eine Abfrage zu erstellen, die die Daten in Echtzeit analysiert. Die Abfragen verwenden eine SQL-ähnliche Sprache, die bestimmte Erweiterungen für Stream Analytics enthält.

1. Wählen Sie jetzt "Abfrage" unter "Auftragstopologie " im linken Menü aus.

2. Geben Sie die folgende Abfrage in das Abfragefenster ein. In diesem Beispiel liest die Abfrage die Daten aus Event Hubs und kopiert ausgewählte Werte in eine Delta-Tabelle in ADLS Gen2.

    SELECT State, CarModel.Make, TollAmount
    INTO DeltaOutput
    FROM EntryStream TIMESTAMP BY EntryTime
   

3. Wählen Sie " Abfrage speichern " auf der Symbolleiste aus.

   

Starten des Stream Analytics-Auftrags und Überprüfen der Ausgabe

1. Kehren Sie zur Seite "Auftragsübersicht" im Azure-Portal zurück, und wählen Sie "Start" aus.

   Screenshot, der die Auswahl der Schaltfläche "Startauftrag" auf der Seite "Übersicht" anzeigt.

2. Vergewissern Sie sich auf der Seite " Auftragsanfang ", dass "Jetzt" für die Startzeit des Auftrags ausgewählt ist, und wählen Sie dann " Start " am unteren Rand der Seite aus.

   

3. Suchen Sie nach wenigen Minuten im Portal das Speicherkonto und den Container, den Sie als Ausgabe für den Auftrag konfiguriert haben. Sie können nun die Delta-Tabelle in dem ordner sehen, der im Container angegeben ist. Der Job benötigt einige Minuten, um beim ersten Mal anzulaufen. Nachdem er gestartet ist, wird er fortlaufend ausgeführt, sobald die Daten eingehen.

   

Bereinigen von Ressourcen

Wenn sie nicht mehr benötigt wird, löschen Sie die Ressourcengruppe, den Stream Analytics-Auftrag und alle zugehörigen Ressourcen. Durch das Löschen des Jobs wird die Abrechnung der Streamingeinheiten vermieden, die vom Job verbraucht werden. Wenn Sie den Auftrag in Zukunft verwenden möchten, können Sie ihn beenden und später bei Bedarf neu starten. Wenn Sie diesen Job nicht weiterhin verwenden werden, löschen Sie alle Ressourcen, die von diesem Lernprogramm erstellt wurden, indem Sie die folgenden Schritte ausführen:

1. Wählen Sie im linken Menü im Azure-Portal Ressourcengruppen und dann den Namen der von Ihnen erstellten Ressource aus.
2. Wählen Sie auf der Seite "Ressourcengruppe" die Option "Löschen" aus, geben Sie den Namen der zu löschenden Ressource in das Textfeld ein, und wählen Sie dann "Löschen" aus.

Nächste Schritte

In diesem Lernprogramm haben Sie einen einfachen Stream Analytics-Auftrag erstellt, die eingehenden Daten gefiltert und Ergebnisse in einer Delta-Tabelle im ADLS Gen2-Konto geschrieben. Weitere Informationen zu Stream Analytics-Aufträgen: