Udostępnij przez


Konfigurowanie programu Microsoft SQL Server do integracji z usługą Azure Databricks

Wyświetl podgląd importu zadań konfiguracji źródłowej z serwera SQL do usługi Azure Databricks za pomocą narzędzia Lakeflow Connect.

Śledzenie zmian a przechwytywanie danych zmian

Śledzenie zmian i przechwytywanie danych zmian (CDC) umożliwia usłudze Databricks śledzenie zmian w tabelach źródłowych. Usługa Databricks zaleca używanie śledzenia zmian dla każdej tabeli, która ma klucz podstawowy, aby zminimalizować obciążenie źródłowej bazy danych. Jeśli śledzenie zmian i CDC są włączone, łącznik programu SQL Server używa śledzenia zmian.

Metoda Description
Śledzenie zmian Przechwytuje fakt, że wiersze w tabeli uległy zmianie, ale nie przechwytuje rzeczywistych operacji. Śledzenie zmian wymaga, aby tabela miała klucz podstawowy, ale jest to lekki proces, który nie ma dużego wpływu na źródłową bazę danych.
Przechwytywanie zmian danych Przechwytuje każdą operację w tabeli i zawiera widok historyczny zmian wprowadzonych w czasie. Usługa CDC nie wymaga, aby tabela miała klucz podstawowy, ale może mieć większy wpływ na wydajność źródłowej bazy danych.

Aby uzyskać więcej informacji na temat tych opcji, zobacz Śledzenie zmian danych (SQL Server) w dokumentacji programu SQL Server.

Omówienie zadań konfiguracji źródłowej

Przed pozyskiwaniem danych do usługi Azure Databricks należy wykonać następujące zadania w programie SQL Server:

  1. Sprawdź, czy spełniasz wymagania dotyczące wersji programu SQL Server:

    • Aby korzystać ze śledzenia zmian, musisz mieć program SQL Server 2012 lub nowszy.
    • Aby korzystać z CDC, musisz mieć SQL Server 2012 z dodatkiem Service Pack 1 (SP1) oraz zbiorczym pakietem aktualizacji 3 (CU3) lub nowszym. W przypadku wersji starszych niż SQL Server 2016 wymagana jest również wersja Enterprise Edition.
  2. W razie potrzeby skonfiguruj ustawienia zapory.

  3. Utwórz użytkownika SQL Server przeznaczonego do ingestii danych Databricks, który spełnia wymagania dotyczące uprawnień.

  4. Skonfiguruj źródłową bazę danych, w tym zarządzanie uprawnieniami, włączanie śledzenia zmian i włączanie usługi CDC. Zobacz Przygotowywanie SQL Server do ingestowania przy użyciu skryptu obiektów narzędziowych.