Häufig gestellte Fragen zum SQL Server-Connector

Auf dieser Seite werden häufig gestellte Fragen zum SQL Server-Connector in Databricks Lakeflow Connect beantwortet.

Häufig gestellte Fragen zu allgemein verwalteten Verbindern

Die Antworten in den häufig gestellten Fragen zu verwalteten Connectors in Lakeflow Connect gelten für alle verwalteten Connectors. Lesen Sie weiter für konnektorspezifische FAQs.

Wie stellt Databricks eine Verbindung mit SQL Server her?

Databricks verbindet sich mit SQL Server mithilfe von TLS (Transport Layer Security) und einer JDBC-Verbindung. Anmeldeinformationen werden sicher im Unity Catalog gespeichert und können nur abgerufen werden, wenn der Benutzer, der den Datenfluss ausführt, die entsprechenden Berechtigungen hat. Databricks empfiehlt das Erstellen eines separaten Benutzers in SQL Server zum Aufnehmen von Daten. Wenn es Datenbanken oder Tabellen gibt, die für diesen Benutzer nicht verfügbar gemacht werden sollen, können Sie integrierte SQL Server-Berechtigungen verwenden.

Wird die Erfassung bei einem Pipelinefehler ohne Datenverluste fortgesetzt?

Ja. Databricks verfolgt, was der Connector aus der Quelle extrahiert und am Zielort umgesetzt hat. Wenn etwas geschieht, kann Databricks ab genau diesem Punkt fortsetzen, solange die Transaktionsprotokolle in der Quelldatenbank verbleiben. Dies kann beeinträchtigt werden, wenn die Pipeline nicht ausgeführt wird, bevor die Aufbewahrungsperiode für Protokolle die Protokolle löscht, was eine vollständige Aktualisierung der Zieltabellen erfordert.

Welche SQL Server-Variationen unterstützt der Connector?

Der Connector unterstützt Azure SQL- und AWS RDS SQL-Datenbanken. Dazu gehört SQL Server, der auf virtuellen Azure-Computern (VMs) und Amazon EC2 ausgeführt wird. Der Connector unterstützt auch sql Server lokal mit Azure ExpressRoute, AWS Direct Connect und VPN, wenn ausreichende Bandbreite verfügbar ist.

Wie ruft der Verbinder daten inkrementell ab?

Der Connector verwendet Microsoft Change Tracking und Microsoft Change Data Capture (CDC), sofern verfügbar. Wenn eine Tabelle über einen Primärschlüssel verfügt, empfiehlt Databricks die Verwendung der Änderungsnachverfolgung für eine optimale Leistung. Wenn eine Tabelle keinen Primärschlüssel hat, empfiehlt Databricks die Verwendung von CDC. Wenn sowohl die Änderungsnachverfolgung als auch CDC aktiviert sind, verwendet der Connector Änderungsnachverfolgung.

Erfasst der Connector Zeitzonen für Datums- und Uhrzeitspalten?

Nein. Datum und Uhrzeit werden im UTC-Format aufgenommen.

Kann ich den Zeitplan des Erfassungs-Gateways anpassen?

Nein, das Gateway zum Einbinden von Daten muss im kontinuierlichen Modus ausgeführt werden, um zu vermeiden, dass Änderungen aufgrund der Aufbewahrung von Protokollen gelöscht werden. Wenn Änderungen gelöscht wurden, ist für alle Tabellen eine vollständige Aktualisierung erforderlich.

Wie behandelt der Verbinder eine Tabelle ohne Primärschlüssel?

Der Verbinder behandelt alle Spalten außer großen Objekten als gebündelten Primärschlüssel. Wenn in der Quelltabelle doppelte Zeilen vorhanden sind, werden diese Zeilen als einzelne Zeile in der Zieltabelle aufgenommen.

Wie oft kann ich das Ausführen der Pipeline zum Einbinden von Daten planen?

Es gibt keine Begrenzung dafür, wie oft die Pipeline zum Einbinden von Daten ausgeführt werden kann. Databricks empfiehlt jedoch mindestens 5 Minuten zwischen Intervallen, da es einige Zeit dauert, bis der serverlose Computer gestartet wird. Databricks bietet keine Unterstützung für das Ausführen der Ingestion Pipeline im kontinuierlichen Modus.

Warum werden nicht alle Zeilen aus meiner Datenbank in der ersten Pipelineausführung angezeigt?

Das Ingestion Gateway extrahiert historische und CDC-Daten, sobald es ausgeführt wird. Die Pipeline kann ausgeführt werden, bevor alle diese Daten extrahiert wurden, was zu einer teilweisen Anwendung der Daten in den Zieltabellen führt. Es kann einige Läufe der Aufnahmepipeline dauern, bis alle Daten extrahiert und auf Zieltabellen angewendet werden.

Kann ich Daten von einem Lesereplikat oder einer sekundären Instanz einbinden?

Nein. Die Unterstützung ist auf primäre SQL Server-Instanzen beschränkt. Dies liegt daran, dass die Änderungsverfolgung und die Erfassung von Änderungsdaten auf Lesereplikaten oder sekundären Instanzen nicht unterstützt werden.