Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Affichez un aperçu de l’ingestion des tâches de configuration source à partir de SQL Server dans Azure Databricks à l’aide de Lakeflow Connect.
Suivi des modifications versus capture des changements de données
Le suivi des modifications et la capture de données modifiées permettent à Databricks de suivre les modifications dans les tables sources. Databricks recommande d’utiliser le suivi des modifications pour toute table qui a une clé primaire pour réduire la charge sur la base de données source. Si le suivi des modifications et le captage de données modifiées sont tous les deux activés, le connecteur SQL Server utilise le suivi des modifications.
| Méthode | Descriptif |
|---|---|
| Suivi des modifications | Capture le fait que les lignes d’une table ont changé, mais ne capture pas les opérations réelles. Le suivi des modifications nécessite qu’une table ait une clé primaire, mais il s’agit d’un processus léger qui n’a pas d’impact important sur la base de données source. |
| Capture des changements de données | Capture toutes les opérations d’une table et contient une vue historique des modifications apportées au fil du temps. Le CDC ne nécessite pas qu'une table ait une clé primaire, mais cela peut avoir un impact plus important sur les performances de la base de données source. |
Pour plus d’informations sur ces options, consultez Suivre les modifications de données (SQL Server) dans la documentation SQL Server.
Vue d’ensemble des tâches de configuration sources
Vous devez effectuer les tâches suivantes dans SQL Server avant d’ingérer des données dans Azure Databricks :
Vérifiez que vous répondez aux exigences de version de SQL Server :
- Pour utiliser le suivi des modifications, vous devez disposer de SQL Server 2012 ou ultérieur.
- Pour utiliser la capture de données modifiées (CDC), vous devez avoir la mise à jour cumulative 3 (CU3) du Service Pack 1 (SP1) de SQL Server 2012 ou une version ultérieure. Pour les versions antérieures à SQL Server 2016, Enterprise Edition est également nécessaire.
Configurez les paramètres de pare-feu, si nécessaire.
Créez un utilisateur de base de données dans SQL Server qui est dédié à l’ingestion Databricks et qui dispose des privilèges requis.
Configurez la base de données source, notamment la gestion des autorisations, l’activation du suivi des modifications et celle de la capture de données modifiées (CDC). Consultez Préparer SQL Server pour l’ingestion à l’aide du script d’objets utilitaires.