Freigeben über

Übersicht über die Erfassung von Daten im Azure Synapse-Daten-Explorer (Vorschau)

Von Bedeutung

Azure Synapse Analytics Data Explorer (Vorschau) wird am 7. Oktober 2025 eingestellt. Nach diesem Datum werden Arbeitslasten, die im Synapse-Daten-Explorer ausgeführt werden, gelöscht, und die zugehörigen Anwendungsdaten gehen verloren. Es wird dringend empfohlen , zu Eventhouse in Microsoft Fabric zu migrieren.

Das Microsoft Cloud Migration Factory (CMF)-Programm wurde entwickelt, um Kunden bei der Migration zu Fabric zu unterstützen. Das Programm bietet dem Kunden kostenlos praktische Tastaturressourcen. Diese Ressourcen werden für einen Zeitraum von 6-8 Wochen mit einem vordefinierten und vereinbarten Umfang zugewiesen. Kunden nominierungen werden vom Microsoft-Kontoteam oder direkt durch Senden einer Anfrage zur Hilfe an das CMF-Team akzeptiert.

Die Datenaufnahme ist der Prozess, der zum Laden von Datensätzen aus einer oder mehreren Quellen verwendet wird, um Daten in eine Tabelle im Azure Synapse-Daten-Explorer-Pool zu importieren. Nach der Erfassung stehen die Daten für die Abfrage zur Verfügung.

Der Azure Synapse Data Explorer-Datenverwaltungsdienst, der für die Datenaufnahme verantwortlich ist, implementiert den folgenden Prozess:

  • Ruft Daten in Batches oder Streaming aus einer externen Quelle ab und liest Anforderungen aus einer ausstehenden Azure-Warteschlange.
  • Batchdaten, die an dieselbe Datenbank und Tabelle fließen, sind für den Aufnahmedurchsatz optimiert.
  • Die anfänglichen Daten werden überprüft, und das Format wird bei Bedarf konvertiert.
  • Weitere Datenmanipulation, einschließlich übereinstimmender Schemas, Organisieren, Indizieren, Codieren und Komprimieren der Daten.
  • Daten werden gemäß der festgelegten Aufbewahrungsrichtlinie im Speicher gespeichert.
  • Erfasste Daten werden in die Engine übernommen, in der sie für die Abfrage verfügbar sind.

Unterstützte Datenformate, Eigenschaften und Berechtigungen

Batchverarbeitung im Vergleich zu Streaming-Erfassungen

  • Die Batchverarbeitung führt die Datenbatchverarbeitung durch und ist für einen hohen Aufnahmedurchsatz optimiert. Diese Methode ist der bevorzugte und leistungsstärkste Typ der Aufnahme. Die Daten werden gemäß den Aufnahmeeinstellungen in Chargen organisiert. Kleine Datenbatches werden zusammengeführt und für schnelle Abfrageergebnisse optimiert. Die Erfassungsbatchrichtlinie kann für Datenbanken oder Tabellen festgelegt werden. Der maximale Batchwert beträgt standardmäßig 5 Minuten, 1000 Elemente oder eine Gesamtgröße von 1 GB. Der Grenzwert für die Datengröße für einen Batchaufnahmebefehl beträgt 4 GB.

  • Streaming-Erfassung ist eine fortlaufende Datenaufnahme aus einer Streamingquelle. Das Streaming-Ingestion ermöglicht nahezu Echtzeitlatenz für kleine Datenmengen pro Tabelle. Daten werden zunächst in den Zeilenspeicher aufgenommen und dann in Spaltenspeicherbereiche verschoben.

Aufnahmemethoden und -tools

Der Azure Synapse-Daten-Explorer unterstützt mehrere Aufnahmemethoden, die jeweils eigene Zielszenarien aufweisen. Zu diesen Methoden gehören Datenerfassungstools, Connectors und Plug-ins zu verschiedenen Services, verwaltete Pipelines, programmgesteuerte Datenerfassung mithilfe von SDKs und direkter Zugriff auf die Datenerfassung.

Erfassung mithilfe von verwalteten Pipelines

Für Organisationen, die möchten, dass die Verwaltung (Drosselung, Wiederholungen, Monitore, Warnungen und mehr) von einem externen Dienst durchgeführt wird, ist die Verwendung eines Connectors wahrscheinlich die am besten geeignete Lösung. Die Warteschlangenaufnahme ist für große Datenvolumen geeignet. Der Azure Synapse-Daten-Explorer unterstützt die folgenden Azure-Pipelines:

  • Synapse-Pipelines: Ein vollständig verwalteter Datenintegrationsdienst für Analysearbeitslasten in Synapse-Pipelines verbindet sich mit über 90 unterstützten Quellen, um eine effiziente und robuste Datenübertragung zu ermöglichen. Synapse-Pipelines bereiten Daten vor, transformieren und bereichern Daten, um Einblicke zu geben, die auf verschiedene Arten überwacht werden können. Dieser Dienst kann als einmalige Lösung genutzt werden, in regelmäßigen Abständen oder durch bestimmte Ereignisse ausgelöst werden.

Programmgesteuerte Erfassung mithilfe von SDKs

Azure Synapse Data Explorer stellt SDKs bereit, die für die Abfrage- und Datenaufnahme verwendet werden können. Die programmgesteuerte Erfassung ist für die Reduzierung der Aufnahmekosten (COGs) optimiert, indem Speichertransaktionen während und nach dem Aufnahmeprozess minimiert werden.

Bevor Sie beginnen, führen Sie die folgenden Schritte aus, um die Endpunkte des Daten-Explorer-Pools zum Konfigurieren der programmatischen Ingestion abzurufen.

  1. Wählen Sie in Synapse Studio im linken Bereich die Option Verwalten>Data Explorer-Pools aus.

  2. Wählen Sie den Daten-Explorer-Pool aus, den Sie zum Anzeigen seiner Details verwenden möchten.

    Screenshot des Bildschirms

  3. Notieren Sie sich die Endpunkte "Abfrage" und "Datenaufnahme". Verwenden Sie den Abfrageendpunkt als Cluster, wenn Verbindungen mit Ihrem Daten-Explorer-Pool konfiguriert werden. Verwenden Sie beim Konfigurieren von SDKs für die Datenaufnahme den Datenaufnahmeendpunkt.

    Screenshot des Eigenschaftenbereichs

Verfügbare SDKs und Open-Source-Projekte

Tools

  • Mit nur einem Klick können Sie Daten schnell erfassen, indem Sie Tabellen aus einer Vielzahl von Quelltypen erstellen und anpassen. Mit nur einem Klick schlägt die Erfassung automatisch Tabellen und Zuordnungsstrukturen basierend auf der Datenquelle im Azure Synapse Data Explorer vor. Die Ein-Klick-Aufnahme kann für die einmalige Aufnahme verwendet werden oder um eine kontinuierliche Aufnahme über das Ereignisraster im Container zu definieren, in den die Daten aufgenommen wurden.

Befehle des Kusto Query Language-Erfassungssteuerelements

Es gibt eine Reihe von Methoden, um Daten direkt in die Engine mittels Kusto Query Language (KQL)-Befehlen übertragen zu können. Da diese Methode die Datenverwaltungsdienste umgeht, ist sie nur für Die Erkundung und Prototyperstellung geeignet. Verwenden Sie diese Methode nicht in Produktions- oder Volumenszenarien.

  • Inlineingestion: Ein Steuerbefehl .ingest inline wird an die Engine gesendet, wobei die aufzunehmenden Daten Teil des Befehlstexts selbst sind. Diese Methode ist für improvisierte Testzwecke vorgesehen.

  • Import aus Abfrage: Ein Steuerbefehl .set, .append, .set-or-append oder .set-or-replace wird an die Engine gesendet, wobei die Daten indirekt als Ergebnisse einer Abfrage oder eines Befehls angegeben werden.

  • Aufnahme aus Speicher (Pull): Ein Steuerungsbefehl .ingest in wird an die Engine gesendet, wobei die Daten in einem externen Speicher (z. B. Azure Blob Storage) liegen, auf den die Engine zugreifen kann und auf den im Befehl verwiesen wird.

Ein Beispiel für die Verwendung von Ingest-Kontrollbefehlen zur Datenaufnahme finden Sie unter Analysieren mit dem Daten-Explorer.

Aufnahmeprozess

Nachdem Sie die am besten geeignete Aufnahmemethode für Ihre Anforderungen ausgewählt haben, führen Sie die folgenden Schritte aus:

  1. Festlegen einer Aufbewahrungsrichtlinie

    Daten, die in eine Tabelle im Azure Synapse-Daten-Explorer aufgenommen werden, unterliegen der effektiven Aufbewahrungsrichtlinie der Tabelle. Sofern nicht ausdrücklich für eine Tabelle festgelegt, wird die effektive Aufbewahrungsrichtlinie von der Aufbewahrungsrichtlinie der Datenbank abgeleitet. Die Hot-Retention ist eine Funktion der Clustergröße und Ihrer Aufbewahrungsrichtlinie. Wenn Sie mehr Daten aufnehmen, als der verfügbare Speicherplatz zulässt, wird die zuerst eingehende Daten in die Kaltaufbewahrung verschoben.

    Stellen Sie sicher, dass die Aufbewahrungsrichtlinie der Datenbank für Ihre Anforderungen geeignet ist. Wenn nicht, überschreiben Sie sie explizit auf Tabellenebene. Weitere Informationen finden Sie unter "Aufbewahrungsrichtlinie".

  2. Erstellen einer Tabelle

    Um Daten aufzunehmen, muss vorher eine Tabelle erstellt werden. Verwenden Sie eine der folgenden Optionen:

    Hinweis

    Wenn ein Datensatz unvollständig ist oder ein Feld nicht als erforderlicher Datentyp analysiert werden kann, werden die entsprechenden Tabellenspalten mit NULL-Werten aufgefüllt.

  3. Schemazuordnung erstellen

    Die Schemazuordnung hilft beim Binden von Quelldatenfeldern an Zieltabellenspalten. Mithilfe der Zuordnung können Sie Daten aus verschiedenen Quellen basierend auf den definierten Attributen in die gleiche Tabelle aufnehmen. Verschiedene Arten von Zuordnungen werden unterstützt, sowohl zeilenorientiert (CSV, JSON und AVRO) als auch spaltenorientiert (Parquet). In den meisten Methoden können Zuordnungen auch in der Tabelle vorab erstellt und über den Parameter "Ingestionsbefehl" referenziert werden.

  4. Festlegen der Updaterichtlinie (optional)

    Einige der Datenformatzuordnungen (Parkett, JSON und Avro) unterstützen einfache und nützliche Aufnahmezeittransformationen. Wenn das Szenario eine komplexere Verarbeitung beim Dateneingang erfordert, verwenden Sie die Updaterichtlinie, die eine leichte Verarbeitung mithilfe von Kusto Query Language-Befehlen ermöglicht. Die Aktualisierungsrichtlinie führt automatisch Extraktionen und Transformationen für aufgenommene Daten in der ursprünglichen Tabelle aus und erfasst die resultierenden Daten in einer oder mehreren Zieltabellen. Legen Sie Ihre Updaterichtlinie fest.

Nächste Schritte

  • Last updated on