Nawiązywanie połączenia z usługą Qlik Replicate

Usługa Qlik Replicate ułatwia ściąganie danych z wielu źródeł danych (Oracle, Microsoft SQL Server, SAP, mainframe i nie tylko) do usługi Delta Lake. Automatyczne przechwytywanie danych zmiany przez Replicate (CDC) pomaga uniknąć ciężkiego zadania ręcznego wyodrębniania danych, przesyłania przy użyciu skryptu API, dzielenia, przygotowywania i importowania. Qlik Compose automatyzuje proces CDC do Delta Lake.

Aby obejrzeć ogólną demonstrację rozwiązania Qlik Replicate Replicate, obejrzyj następujący film wideo w serwisie YouTube (14 minut).

Aby zapoznać się z demonstracją potoków danych w Qlik Replicate, obejrzyj poniższy film na YouTube (6 minut).

Poniżej przedstawiono kroki korzystania z usługi Qlik Replicate z usługą Azure Databricks.

Krok 1. Generowanie osobistego tokenu dostępu usługi Databricks

Usługa Qlik Replicate uwierzytelnia się w usłudze Azure Databricks przy użyciu osobistego tokenu dostępu usługi Azure Databricks.

Krok 2. Konfigurowanie klastra w celu obsługi potrzeb związanych z integracją

Usługa Qlik Replicate zapisze dane w ścieżce usługi Azure Data Lake Storage, a klaster integracji usługi Azure Databricks odczytuje dane z tej lokalizacji. W związku z tym klaster integracji wymaga bezpiecznego dostępu do ścieżki usługi Azure Data Lake Storage.

Bezpieczny dostęp do ścieżki usługi Azure Data Lake Storage

Aby zabezpieczyć dostęp do danych w usłudze Azure Data Lake Storage (ADLS), możesz użyć klucza dostępu konta usługi Azure Storage (zalecane) lub jednostki usługi Microsoft Entra ID.

Używanie klucza dostępu do konta usługi Azure Storage

Klucz dostępu konta przechowywania można skonfigurować w klastrze integracji jako część konfiguracji Spark. Upewnij się, że konto magazynu ma dostęp do kontenera i systemu plików ADLS używanych do etapowania danych, oraz do kontenera i systemu plików ADLS, w którym chcesz zapisywać tabele Delta Lake. Aby skonfigurować klaster integracji do używania klucza, wykonaj kroki opisane w temacie Nawiązywanie połączenia z usługą Azure Data Lake Storage i usługą Blob Storage.

Użyj jednostki usługi Microsoft Entra ID

Jednostkę usługi można skonfigurować w klastrze integracji usługi Azure Databricks w ramach konfiguracji platformy Spark. Upewnij się, że element główny usługi ma dostęp do kontenera ADLS używanego do tymczasowego przechowywania danych oraz do kontenera ADLS, w którym chcesz zapisywać tabele Delta. Aby skonfigurować klaster integracji do korzystania z jednostki usługi, wykonaj kroki opisane w temacie Access ADLS with service principal (Uzyskiwanie dostępu do usługi ADLS przy użyciu jednostki usługi).

Określanie konfiguracji klastra

1. Ustaw Tryb klastra na Standard.

2. Ustaw wersję środowiska uruchomieniowego usługi Databricks na wersję środowiska uruchomieniowego usługi Databricks.

3. Włącz zoptymalizowane zapisy i automatyczne kompaktowanie , dodając następujące właściwości do konfiguracji platformy Spark:

   spark.databricks.delta.optimizeWrite.enabled true
   spark.databricks.delta.autoCompact.enabled true
   

4. Skonfiguruj klaster w zależności od potrzeb dotyczących integracji i skalowania.

Aby uzyskać szczegółowe informacje o konfiguracji klastra, zobacz Informacje o konfiguracji obliczeniowej.

Zobacz Uzyskiwanie szczegółów połączenia dla zasobu obliczeniowego usługi Azure Databricks, aby uzyskać ścieżkę HTTP i adres URL JDBC.

Krok 3. Uzyskiwanie szczegółów połączenia JDBC i ODBC w celu nawiązania połączenia z klastrem

Aby połączyć klaster usługi Azure Databricks z usługą Qlik Replicate, potrzebne są następujące właściwości połączenia JDBC/ODBC:

• JDBC URL
• HTTP Path (Ścieżka HTTP)

Krok 4. Konfigurowanie usługi Qlik Replicate za pomocą usługi Azure Databricks

Przejdź do strony logowania usługi Qlik i postępuj zgodnie z instrukcjami.

Dodatkowe zasoby

Pomoc