Event Hubs-Datenverbindung (Vorschau)

Das Microsoft Cloud Migration Factory (CMF)-Programm wurde entwickelt, um Kunden bei der Migration zu Fabric zu unterstützen. Das Programm bietet dem Kunden kostenlos praktische Tastaturressourcen. Diese Ressourcen werden für einen Zeitraum von 6-8 Wochen mit einem vordefinierten und vereinbarten Umfang zugewiesen. Kunden nominierungen werden vom Microsoft-Kontoteam oder direkt durch Senden einer Anfrage zur Hilfe an das CMF-Team akzeptiert.

Bei Azure Event Hubs handelt es sich um eine Big Data-Streamingplattform und einen Ereigniserfassungsdienst. Azure Synapse Data Explorer bietet eine kontinuierliche Erfassung von vom Kunden verwalteten Event Hubs.

Die Event Hubs-Ingestionspipeline überträgt Ereignisse in mehreren Schritten an den Azure Synapse-Daten-Explorer. Sie erstellen zuerst einen Event Hubs im Azure-Portal. Anschließend erstellen Sie eine Zieltabelle im Azure Synapse-Daten-Explorer, in die die Daten in einem bestimmten Format aufgenommen werden, mithilfe der angegebenen Aufnahmeeigenschaften. Die Event Hubs-Verbindung muss das Routing von Ereignissen kennen. Daten werden gemäß der Zuordnung der Ereignissystemeigenschaften mit ausgewählten Eigenschaften eingebettet. Erstellen Sie eine Verbindung zu Event Hubs, um ein Event Hub zu erstellen und Ereignisse zu senden. Dieser Prozess kann über das Azure-Portal, programmgesteuert mit C# oder Python oder mit der Azure Resource Manager-Vorlage verwaltet werden.

Allgemeine Informationen zur Datenaufnahme im Azure Synapse-Daten-Explorer finden Sie in der Übersicht über die Datenaufnahme in Azure Synapse-Daten-Explorer.

Datenformat

• Daten werden in Form von EventData-Objekten aus Event Hubs gelesen.

• Siehe Unterstützte Formate.

  Hinweis

  Event Hub unterstützt das .raw Format nicht.

• Daten können mit dem GZip-Komprimierungsalgorithmus komprimiert werden. Geben Sie Compression in Aufnahmeeigenschaften an.

  • Die Datenkomprimierung wird für komprimierte Formate (Avro, Parkett, ORC) nicht unterstützt.
  • Benutzerdefinierte Codierungs- und eingebettete Systemeigenschaften werden für komprimierte Daten nicht unterstützt.

Aufnahmeeigenschaften

Erfassungseigenschaften weisen den Erfassungsprozess an, wohin die Daten weitergeleitet und wie sie verarbeitet werden sollen. Sie können Erfassungseigenschaften der Ereigniserfassung mithilfe von EventData.Properties angeben. Sie können die folgenden Eigenschaften festlegen:

Ereignisrouting

Wenn Sie eine Event Hubs-Verbindung mit dem Azure Synapse Data Explorer-Cluster einrichten, geben Sie Zieltabelleneigenschaften an (Tabellenname, Datenformat, Komprimierung und Zuordnung). Das Standardrouting für Ihre Daten wird auch als static routing. Sie können auch Zieltabelleneigenschaften für jedes Ereignis mithilfe von Ereigniseigenschaften angeben. Die Verbindung leitet die Daten dynamisch gemäß der EventData.Properties weiter und überschreibt dabei die statischen Eigenschaften für dieses Ereignis.

Legen Sie im folgenden Beispiel Event Hubs-Details fest, und senden Sie Wettermetrikdaten an die Tabelle WeatherMetrics. Die Daten sind im json Format. mapping1 ist in der Tabelle WeatherMetricsvordefiniert.

var eventHubNamespaceConnectionString=<connection_string>;
var eventHubName=<event_hub>;

// Create the data
var metric = new Metric { Timestamp = DateTime.UtcNow, MetricName = "Temperature", Value = 32 }; 
var data = JsonConvert.SerializeObject(metric);

// Create the event and add optional "dynamic routing" properties
var eventData = new EventData(Encoding.UTF8.GetBytes(data));
eventData.Properties.Add("Table", "WeatherMetrics");
eventData.Properties.Add("Format", "json");
eventData.Properties.Add("IngestionMappingReference", "mapping1");
eventData.Properties.Add("Tags", "['mydatatag']");

// Send events
var eventHubClient = EventHubClient.CreateFromConnectionString(eventHubNamespaceConnectionString, eventHubName);
eventHubClient.Send(eventData);
eventHubClient.Close();

Zuordnung von Ereignissystemeigenschaften

Systemeigenschaften speichern Eigenschaften, die vom Event Hubs-Dienst zum Zeitpunkt des Einreihens eines Ereignisses festgelegt werden. Die Azure Synapse Data Explorer Event Hubs-Verbindung bettet die ausgewählten Eigenschaften in die Datenlandung in Ihrer Tabelle ein.

Systemeigenschaften

Event Hubs macht die folgenden Systemeigenschaften verfügbar:

Wenn Sie Ereignissystemeigenschaften im Abschnitt Datenquelle der Tabelle ausgewählt haben, müssen Sie die Eigenschaften in das Tabellenschema und die Zuordnung einschließen.

Beispiele für die Schemazuordnung

Beispiel für die Tabellenschemazuordnung

Wenn Ihre Daten drei Spalten (Timespan, Metric und Value) enthalten und die Eigenschaften, die Sie einschließen, x-opt-enqueued-time und x-opt-offset lauten, erstellen oder ändern Sie das Tabellenschema mit dem folgenden Befehl:

    .create-merge table TestTable (TimeStamp: datetime, Metric: string, Value: int, EventHubEnqueuedTime:datetime, EventHubOffset:string)

Beispiel für eine CSV-Zuordnung

Führen Sie die folgenden Befehle aus, um am Anfang des Datensatzes Daten hinzuzufügen. Beachten Sie die Ordinalwerte.

    .create table TestTable ingestion csv mapping "CsvMapping1"
    '['
    '   { "column" : "Timespan", "Properties":{"Ordinal":"2"}},'
    '   { "column" : "Metric", "Properties":{"Ordinal":"3"}},'
    '   { "column" : "Value", "Properties":{"Ordinal":"4"}},'
    '   { "column" : "EventHubEnqueuedTime", "Properties":{"Ordinal":"0"}},'
    '   { "column" : "EventHubOffset", "Properties":{"Ordinal":"1"}}'
    ']'

Beispiel für eine JSON-Zuordnung

Daten werden mithilfe der Systemeigenschaftenzuordnung hinzugefügt. Führen Sie diese Befehle aus:

    .create table TestTable ingestion json mapping "JsonMapping1"
    '['
    '    { "column" : "Timespan", "Properties":{"Path":"$.timestamp"}},'
    '    { "column" : "Metric", "Properties":{"Path":"$.metric"}},'
    '    { "column" : "Value", "Properties":{"Path":"$.value"}},'
    '    { "column" : "EventHubEnqueuedTime", "Properties":{"Path":"$.x-opt-enqueued-time"}},'
    '    { "column" : "EventHubOffset", "Properties":{"Path":"$.x-opt-offset"}}'
    ']'

Event Hubs-Verbindung

Event Hubs erstellen

Wenn Sie noch keines haben, erstellen Sie einen Event Hubs. Das Herstellen einer Verbindung mit Event Hubs kann über das Azure-Portal, programmgesteuert mit C# oder Python oder mit der Azure Resource Manager-Vorlage verwaltet werden.

Senden von Ereignissen

Sehen Sie sich die Beispiel-App an, die Daten generiert und an einen Event Hub sendet.

Ein Beispiel zum Generieren von Beispieldaten finden Sie unter "Aufnehmen von Daten aus Event Hubs" im Azure Synapse-Daten-Explorer

Einrichten einer Lösung für die georedundante Notfallwiederherstellung

Event Hubs bietet eine Lösung für die Geo-Notfallwiederherstellung . Der Azure Synapse-Daten-Explorer unterstützt Alias keine Event Hubs-Namespaces. Um die Geo-Notfallwiederherstellung in Ihrer Lösung zu implementieren, erstellen Sie zwei Event Hubs-Datenverbindungen: eine für den primären Namespace und eine für den sekundären Namespace. Der Azure Synapse-Daten-Explorer überwacht beide Event Hubs-Verbindungen.

Nächste Schritte

• Aufnehmen von Daten aus Event Hubs in Azure Synapse-Daten-Explorer
• Erstellen einer Event Hubs-Datenverbindung für Azure Synapse-Daten-Explorer mit C#
• Erstellen einer Event Hubs-Datenverbindung für Azure Synapse Data Explorer mit Python
• Erstellen einer Event Hubs-Datenverbindung für Azure Synapse-Daten-Explorer mithilfe der Azure Resource Manager-Vorlage