Schnellstart: Datenaufnahme mithilfe der Azure Synapse-Pipelines (in der Vorschau)

Das Microsoft Cloud Migration Factory (CMF)-Programm wurde entwickelt, um Kunden bei der Migration zu Fabric zu unterstützen. Das Programm bietet dem Kunden kostenlos praktische Tastaturressourcen. Diese Ressourcen werden für einen Zeitraum von 6-8 Wochen mit einem vordefinierten und vereinbarten Umfang zugewiesen. Kunden nominierungen werden vom Microsoft-Kontoteam oder direkt durch Senden einer Anfrage zur Hilfe an das CMF-Team akzeptiert.

In dieser Schnellstartanleitung erfahren Sie, wie Sie Daten aus einer Datenquelle in den Azure Synapse-Daten-Explorer-Pool laden.

Voraussetzungen

• Ein Azure-Abonnement. Erstellen Sie ein kostenloses Azure-Konto.

• Erstellen eines Data Explorer-Pools über Synapse Studio oder im Azure-Portal

• Erstellen Sie eine Data Explorer-Datenbank.

  1. Wählen Sie in Synapse Studio im linken Bereich Daten aus.

  2. Wählen Sie + (Neue Ressource hinzufügen) >Data Explorer-Pool aus, und verwenden Sie die folgenden Informationen:

     Setting	Vorgeschlagener Wert	Description
     Poolname	contosodataexplorer	Name des zu verwendende Data Explorer-Pools
     Name	TestDatabase	Der Datenbankname muss innerhalb des Clusters eindeutig sein.
     Standardaufbewahrungszeitraum	365	Die Zeitspanne (in Tagen), für die garantiert wird, dass die Daten für Abfragen verfügbar bleiben. Die Zeitspanne wird ab dem Zeitpunkt gemessen, zu dem die Daten erfasst werden.
     Standardcachezeitraum	31	Die Zeitspanne (in Tagen), wie lange häufig abgefragte Daten im SSD-Speicher oder RAM (und nicht im längerfristigen Speicher) verfügbar bleiben.

  3. Wählen Sie Erstellen, um die Datenbank zu erstellen. Die Erstellung dauert in der Regel weniger als eine Minute.

• Erstellen einer Tabelle

  1. Wählen Sie in Synapse Studio im linken Bereich Entwickeln aus.
  2. Wählen Sie unter KQL-Skripts die Option + (Neue Ressource hinzufügen) >KQL-Skript aus. Im rechten Bereich können Sie Ihr Skript benennen.
  3. Wählen Sie im Menü Verbinden mit den Eintrag contosodataexplorer aus.
  4. Wählen Sie im Menü Datenbank verwenden die Option TestDatabase aus.
  5. Fügen Sie den folgenden Befehl ein, und wählen Sie Ausführen aus, um die Tabelle zu erstellen.

  .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)
  

  Tipp

  Vergewissern Sie sich, dass die Tabelle erstellt wurde. Wählen Sie im linken Bereich Daten aus, wählen Sie das Menü mit weiteren Optionen contosodataexplorer aus, und wählen Sie dann Aktualisieren aus. Erweitern Sie unter contosodataexplorerTabellen, und stellen Sie sicher, dass die Tabelle StormEvents in der Liste angezeigt wird.

• Rufen Sie die Abfrage- und Datenerfassungsendpunkte ab. Sie benötigen den Abfrageendpunkt, um Ihren verknüpften Dienst zu konfigurieren.

  1. Wählen Sie in Synapse Studio im linken Bereich die Option Verwalten>Data Explorer-Pools aus.

  2. Wählen Sie den Daten-Explorer-Pool aus, den Sie zum Anzeigen seiner Details verwenden möchten.

     

  3. Notieren Sie sich die Endpunkte "Abfrage" und "Datenaufnahme". Verwenden Sie den Abfrageendpunkt als Cluster, wenn Verbindungen mit Ihrem Daten-Explorer-Pool konfiguriert werden. Verwenden Sie beim Konfigurieren von SDKs für die Datenaufnahme den Datenaufnahmeendpunkt.

     

Erstellen eines verknüpften Diensts

In Azure Synapse Analytics definieren Sie in einem verknüpften Dienst Ihre Verbindungsinformationen für andere Dienste. In diesem Abschnitt erstellen Sie einen verknüpften Dienst für Azure Data Explorer.

1. Wählen Sie in Synapse Studio im linken Bereich "Verknüpfte Dienste> aus.

2. Wählen Sie + Neu aus.

   

3. Wählen Sie den Azure Data Explorer-Dienst aus dem Katalog aus, und wählen Sie dann "Weiter" aus.

   

4. Verwenden Sie auf der Seite "Neue verknüpfte Dienste" die folgenden Informationen:

   Setting	Vorgeschlagener Wert	Description
   Name	contosodataexplorerlinkedservice	Der Name für den neuen verknüpften Azure Data Explorer-Dienst
   Authentifizierungsmethode	Verwaltete Identität	Die Authentifizierungsmethode für den neuen Dienst.
   Kontoauswahlmethode	Manuelle Eingabe	Die Methode zum Angeben des Abfrageendpunkts.
   Endpunkt	https://contosodataexplorer.contosoanalytics.dev.kusto.windows.net	Der Abfrageendpunkt, den Sie sich zuvor notiert haben.
   Datenbank	TestDatabase	Die Datenbank, in der Sie Daten aufnehmen möchten.

   

5. Wählen Sie Verbindung testen aus, um die Einstellungen zu überprüfen, und wählen Sie dann Erstellen aus.

Erstellen einer Pipeline zum Aufnehmen von Daten

Eine Pipeline enthält den logischen Fluss für eine Ausführung einer Reihe von Aktivitäten. In diesem Abschnitt erstellen Sie eine Pipeline mit einer Kopieraktivität, die Daten aus Ihrer bevorzugten Quelle in einen Daten-Explorer-Pool einnimmt.

1. Wählen Sie in Synapse Studio im linken Bereich die Option "Integrieren" aus.

2. Wählen Sie + aus>. Im rechten Bereich können Sie Ihre Pipeline benennen.

   

3. Ziehen Sie unter Aktivitäten>Verschieben und transformieren den Befehl Daten kopieren auf die Pipelinecanvas.

4. Wählen Sie die Kopieraktivität aus, und wechseln Sie zur Registerkarte " Quelle ". Wählen Oder erstellen Sie ein neues Quelldatenset als Quelle, aus der Daten kopiert werden sollen.

5. Wechseln Sie zur Registerkarte "Senken ". Wählen Sie "Neu" aus, um ein neues Sink-Dataset zu erstellen.

   

6. Wählen Sie das Azure Data Explorer-Dataset aus dem Katalog aus, und wählen Sie dann "Weiter" aus.

7. Verwenden Sie im Bereich Eigenschaften festlegen die folgenden Informationen, und wählen Sie dann OK aus.

   Setting	Vorgeschlagener Wert	Description
   Name	AzureDataExplorerTable	Der Name für die neue Pipeline.
   Verknüpfter Dienst	contosodataexplorerlinkedservice	Der verknüpfte Dienst, den Sie zuvor erstellt haben.
   Table	StormEvents	Die Tabelle, die Sie zuvor erstellt haben.

   

8. Um die Pipeline zu überprüfen, wählen Sie auf der Symbolleiste "Überprüfen" aus. Das Ergebnis der Pipelineüberprüfungsausgabe wird rechts auf der Seite angezeigt.

Debuggen und Veröffentlichen der Pipeline

Nachdem Sie die Konfiguration der Pipeline abgeschlossen haben, können Sie eine Debugausführung ausführen, bevor Sie Ihre Artefakte veröffentlichen, um sicherzustellen, dass alles korrekt ist.

1. Wählen Sie " Debuggen " auf der Symbolleiste aus. Der Status der Pipelineausführung wird unten im Fenster auf der Registerkarte Ausgabe angezeigt.

2. Nachdem der Pipeline-Lauf erfolgreich abgeschlossen ist, wählen Sie in der oberen Symbolleiste "Alle veröffentlichen" aus. Diese Aktion veröffentlicht Entitäten (Datasets und Pipelines), die Sie im Synapse Analytics-Dienst erstellt haben.

3. Warten Sie, bis die Meldung Erfolgreich veröffentlicht angezeigt wird. Um Benachrichtigungen anzuzeigen, wählen Sie oben rechts die Glockenschaltfläche aus.

Auslösen und Überwachen der Pipeline

In diesem Abschnitt lösen Sie die im vorherigen Schritt veröffentlichte Pipeline manuell aus.

1. Wählen Sie in der Symbolleiste die Option Trigger hinzufügen und dann Jetzt auslösen. Klicken Sie auf der Seite Pipelineausführung auf OK.

2. Wechseln Sie zur Registerkarte "Monitor ", die sich in der linken Randleiste befindet. Sie sehen eine Pipelineausführung, die von einem manuellen Trigger ausgelöst wird.

3. Wenn die Pipeline erfolgreich ausgeführt wird, wählen Sie den Link unter der Spalte " Pipelinename " aus, um Aktivitätsausführungsdetails anzuzeigen oder die Pipeline erneut auszuführen. Da in diesem Beispiel nur eine Aktivität vorhanden ist, wird in der Liste nur ein Eintrag angezeigt.

4. Wenn Sie Details zum Kopiervorgang anzeigen möchten, wählen Sie unter der Spalte Activity name (Aktivitätsname) den Link Details (das Brillensymbol) aus. Sie können Details wie die Menge der Daten, die aus der Quelle in die Senke kopiert wurden, den Datendurchsatz, die Ausführungsschritte mit entsprechender Dauer sowie die verwendeten Konfigurationen überwachen.

5. Wählen Sie oben den Link Alle Pipelineausführungen aus, um zurück zur Ansicht mit den Pipelineausführungen zu wechseln. Klicken Sie zum Aktualisieren der Liste auf Aktualisieren.

6. Überprüfen Sie, ob Ihre Daten im Daten-Explorer-Pool richtig geschrieben wurden.

Nächste Schritte

• Analysieren mit Data Explorer
• Überwachen von Data Explorer-Pools