Udostępnij przez


Dodawanie źródła cdC bazy danych MongoDB do strumienia zdarzeń (wersja zapoznawcza)

W tym artykule pokazano, jak dodać źródło przechwytywania zmian danych bazy danych MongoDB (CDC) do strumienia zdarzeń.

Łącznik CDC dla MongoDB umożliwia przesyłanie strumieniowe zdarzeń przechwytywania zmian danych (CDC) z MongoDB do Fabric Eventstream. Obsługuje wiele typów wdrożeń bazy danych MongoDB, w tym lokalnych, hostowanych w chmurze i MongoDB Atlas, umożliwiając szeroką gamę scenariuszy usługi CDC. Za pomocą tego łącznika można przechwytywać zmiany bazy danych w czasie rzeczywistym i przesyłać je strumieniowo bezpośrednio do strumienia zdarzeń w celu natychmiastowego przetwarzania i analizy.

Wymagania wstępne

  • Obszar roboczy w pojemności Fabric lub w trybie licencji próbnej, z uprawnieniami co najmniej współautora.
  • Klaster Bazy danych MongoDB dostępny z adresu IP klienta.
  • Funkcja przechwytywania zmian danych (CDC) jest włączona dla kolekcji, które chcesz przechwycić.
  • Strumień zdarzeń w obrębie platformy Fabric. Jeśli go nie masz, utwórz strumień zdarzeń.

Konfigurowanie wystąpienia bazy danych MongoDB

W tym przykładzie użyto usługi MongoDB Atlas, zarządzanej usługi MongoDB w chmurze MongoDB.

Aby przechwycić zmiany, należy włączyć funkcję Przechwytywanie zmian danych (CDC) dla kolekcji docelowych.

Uruchom następujące polecenie w shell MongoDB, aby włączyć CDC dla kolekcji:

db.runCommand({
  collMod: "<collectionName>",
  changeStreamPreAndPostImages: { enabled: true }
});

Uwaga / Notatka

Aby uruchomić to polecenie, musisz mieć użytkownika z atlasAdmin rolą zawierającą akcję collMod. Jeśli nie masz tych uprawnień, poproś współpracownika z rolą atlasAdmin o włączenie przechwytywania zmian danych (CDC) dla kolekcji docelowych przed przechwyceniem zmian w strumieniu zdarzeń.

Musisz również utworzyć lub użyć istniejącego użytkownika MongoDB o roli read (lub wyższej) w docelowej bazie danych. W usłudze MongoDB Atlas w chmurze MongoDB przejdź do pozycji Dostęp do bazy danych , aby zweryfikować rolę użytkownika.

Zrzut ekranu przedstawiający sposób edytowania roli bazy danych MongoDB.

W usłudze MongoDB Atlas w chmurze MongoDB przejdź do pozycji Dostęp sieciowy i dodaj adres IP klienta do listy dostępu do adresów IP.

Zrzut ekranu przedstawiający sposób dodawania listy identyfikatorów.

Dodawanie bazy danych MongoDB (CDC) jako źródła

Jeśli jeszcze nie dodano żadnego źródła do strumienia zdarzeń, wybierz kafelek Użyj źródła zewnętrznego .

Zrzut ekranu przedstawiający wybór kafelka do korzystania z zewnętrznego źródła.

Jeśli dodajesz źródło do już opublikowanego strumienia zdarzeń, przełącz się na tryb edycji. Na wstążce wybierz pozycję Dodaj źródła>zewnętrzne.

Zrzut ekranu przedstawiający opcje dodawania źródeł zewnętrznych.

Na stronie Wybieranie źródła danych wyszukaj i wybierz pozycję Połącz na kafelku MongoDB (CDC ).

Zrzut ekranu przedstawiający wybór bazy danych MongoDB (CDC) jako typu źródłowego w kreatorze Get events.

Konfigurowanie bazy danych MongoDB (CDC) i nawiązywanie z nią połączenia

  1. Wybierz typ wystąpienia: MongoDB Atlas lub MongoDB (zarządzany samodzielnie).

  2. Połączenie:

    1. Jeśli wybierzesz usługę MongoDB Atlas:

      1. Na ekranie Połącz w obszarze Połączenie wybierz pozycję Nowe połączenie , aby utworzyć połączenie w chmurze.

        Zrzut ekranu przedstawiający stronę Connect.

      2. Wprowadź następujące ustawienia połączenia i poświadczenia połączenia:

      • Serwer: parametry połączenia klastra Atlas, na przykład cluster0.example.mongodb.net.

      • Klaster: to pole jest opcjonalne. Nazwa klastra jest już częścią serwera, więc możesz pozostawić to pole puste.

      • Nazwa połączenia: wygenerowana automatycznie lub możesz wprowadzić nową nazwę dla tego połączenia.

      • Nazwa użytkownika i hasło: poświadczenia użytkownika z co najmniej rolą read . Upewnij się, że użytkownik ma dostęp do docelowej bazy danych i kolekcji.

        Zrzut ekranu przedstawiający ustawienia połączenia dla usługi MongoDB Atlas.

    2. W przypadku wybrania bazy danych MongoDB (self-managed):

      1. Na ekranie Połącz w obszarze Połączenie wybierz pozycję Nowe połączenie , aby utworzyć połączenie w chmurze.

        Zrzut ekranu przedstawiający stronę Connect.

      2. Wprowadź następujące ustawienia połączenia i poświadczenia połączenia:

      • Serwer: parametry połączenia dla własnego serwera MongoDB, na przykład mongodb0.example.com:27017.

      • Nazwa połączenia: wygenerowana automatycznie lub możesz wprowadzić nową nazwę dla tego połączenia.

      • Nazwa użytkownika i hasło: użyj użytkownika z uprawnieniami do odczytu lub wyższymi, aby uzyskać dostęp do docelowej bazy danych i kolekcji.

        Zrzut ekranu przedstawiający ustawienia połączenia dla bazy danych MongoDB (self-managed).

  3. Wprowadź następujące informacje, aby skonfigurować źródło danych CDC bazy danych MongoDB, a następnie wybierz przycisk Dalej.

    • Bazy danych: wybierz pozycję Wszystkie (ustawienie domyślne) lub Wprowadź nazwy bazy danych. Jeśli wybierzesz tę drugą, podaj opcjonalną rozdzielaną przecinkami listę wyrażeń regularnych, które pasują do nazw baz danych do monitorowania.
    • Kolekcje: wybierz pozycję Wszystkie (ustawienie domyślne) lub Wprowadź nazwy kolekcji. Jeśli wybierzesz tę ostatnią, podaj rozdzielaną przecinkami listę wyrażeń regularnych, które pasują do w pełni kwalifikowanych przestrzeni nazw (na przykład dbName.collectionName) kolekcji bazy danych MongoDB do monitorowania.
  4. Możesz rozwinąć Ustawienia zaawansowane, aby uzyskać dostęp do większej liczby opcji konfiguracji źródła CDC MongoDB.

    • Tryb migawki: Opcje to:
      • initial (default): Określa, że łącznik odczytuje migawkę, gdy nie zostanie znalezione żadne przesunięcie lub jeśli strumień oplog/change nie zawiera już poprzedniego przesunięcia.
      • initial_only: łącznik wykonuje migawkę bazy danych. Po zakończeniu tworzenia migawki łącznik się wyłącza i przestaje przesyłać rekordy zdarzeń dla dalszych zmian w bazie danych.
      • no_data: Łącznik przechwytuje strukturę wszystkich odpowiednich tabel, ale nie tworzy zdarzeń READ reprezentujących zestaw danych w momencie uruchamiania łącznika.

    Możesz również edytować nazwę źródła, wybierając przycisk Ołówek dla pozycji Nazwa źródła w sekcji Szczegóły strumienia po prawej stronie.

    Zrzut ekranu przedstawiający wybieranie tabel, identyfikatora serwera i portu dla połączenia bazy danych MongoDB (CDC).

  5. Na stronie Przeglądanie i łączenie po przejrzeniu podsumowania źródła CDC bazy danych MongoDB wybierz pozycję Dodaj , aby ukończyć konfigurację.

    Zrzut ekranu przedstawiający stronę Przegląd + połączenie z wybranym przyciskiem Dodaj.

Wyświetlanie zaktualizowanego strumienia zdarzeń

Zobaczysz źródło bazy danych MongoDB (CDC) dodane do strumienia zdarzeń w trybie edycji.

Zrzut ekranu przedstawiający dodane źródło CDC bazy danych MongoDB w trybie edycji z wyróżnionym przyciskiem Publikuj.

Zostanie wyświetlony strumień zdarzeń w trybie na żywo. Wybierz pozycję Edytuj na wstążce, aby wrócić do trybu edycji, aby zaktualizować strumień zdarzeń.

Zrzut ekranu przedstawiający dodane źródło CDC bazy danych MongoDB w trybie na żywo.

Limitation

  • Źródło CDC bazy danych MongoDB obecnie nie obsługuje funkcji CI/CD, w tym integracji z Git i pipeline CI/CD. Próba wyeksportowania lub zaimportowania elementu strumienia zdarzeń z tym źródłem do repozytorium Git może spowodować błędy.

Inne łączniki: