Udostępnij przez


Skonfiguruj Delta Sharing dla swojego konta (dla dostawców)

Na tej stronie opisano sposób konfiguracji Delta Sharing w usłudze Azure Databricks dla dostawców danych (organizacje, które chcą bezpiecznie udostępniać dane przy użyciu Delta Sharing).

Jeśli jesteś odbiorcą danych (organizacja, która odbiera dane udostępniane przy użyciu Delta Sharing), zobacz Odczyt danych udostępnianych przy użyciu Delta Sharing z Databricks do Databricks (dla odbiorców).

Important

Delta Sharing wymaga obszaru roboczego z aktywnym Unity Catalog. Można utworzyć jeden obszar roboczy z funkcją Unity Catalog do zarządzania dostępem. Na niektórych kontach nowe obszary robocze są automatycznie włączane dla Unity Catalog. Zobacz Automatyczne uruchamianie Unity Catalog.

Jeśli tworzenie nowego obszaru roboczego z włączonym katalogiem Unity nie jest możliwe, możesz użyć projektu open-source Delta Sharing, aby wdrożyć własny serwer Delta Sharing do udostępniania tabel Delta z dowolnej platformy.

Konfiguracja początkowego dostawcy obejmuje następujące kroki:

  1. Włącz Delta Sharing w metamagazynie Unity Catalog.
  2. (Opcjonalnie) Zainstaluj interfejs wiersza polecenia Unity Catalog.
  3. Przyznaj uprawnienia do tworzenia i zarządzania udziałami oraz odbiorcami.
  4. Konfigurowanie audytów związanych z aktywnością Delta Sharing.
  5. Ustaw czas życia (TTL) dla materializacji danych.
  6. Skonfiguruj dostęp do sieci pamięci masowej.

Requirements

Jako dostawca danych, który konfiguruje konto usługi Azure Databricks, aby móc udostępniać dane, musisz mieć następujące elementy:

  • Co najmniej jeden obszar roboczy usługi Azure Databricks, dla którego włączono katalog Unity.

    Nie musisz migrować wszystkich obszarów roboczych do Unity Catalog, aby korzystać z obsługi Databricks dla Delta Sharing providers. Zobacz Czy potrzebuję Unity Catalog do korzystania z Delta Sharing?.

    Odbiorcy nie muszą mieć obszaru roboczego z włączoną funkcją Unity Catalog.

  • Rola administratora konta w celu włączenia Delta Sharing dla magazynu metadanych Unity Catalog oraz w celu włączenia rejestrowania audytu.

  • Rola administratora magazynu metadanych lub uprawnienia CREATE SHARE i CREATE RECIPIENT. Zobacz Role administratora.

    Note

    Jeśli obszar roboczy został automatycznie włączony dla usługi Unity Catalog, być może nie masz administratora metastore. Jednak administratorzy obszarów roboczych w takich obszarach roboczych domyślnie mają uprawnienia CREATE SHARE i CREATE RECIPIENT w metastore.

    Aby uzyskać więcej informacji, zobacz Automatyczne włączanie Unity Catalog i uprawnienia administratora obszaru roboczego , gdy obszary robocze są automatycznie włączane dla Unity Catalog.

  • Konfiguracja magazynu w chmurze, która umożliwia odbiorcy dostęp do sieci.

Włącz Delta Sharing w magazynie metadanych

Nie musisz włączać funkcji Delta Sharing w swoim metastore, jeśli zamierzasz używać Delta Sharing tylko do udostępniania danych użytkownikom w innych metastore Unity Catalog na swoim koncie. Udostępnianie między magazynami metadanych w ramach jednego konta Azure Databricks jest domyślnie włączone.

W przeciwnym razie wykonaj następujące kroki dla każdego katalogu Unity Catalog, który zarządza danymi, które planujesz udostępniać za pomocą Delta Sharing.

  1. Jako administrator konta usługi Azure Databricks zaloguj się do konsoli konta.

  2. Na pasku bocznym kliknij ikonę Dane.Wykaz.

  3. Kliknij nazwę magazynu metadanych, aby otworzyć jego szczegóły.

  4. Kliknij pole wyboru obok pozycji Zezwalaj na udostępnianie różnicowe osobom spoza organizacji.

  5. Skonfiguruj okres istnienia tokenu odbiorcy.

    Ta konfiguracja określa okres, po którym wszystkie tokeny adresata wygasają i muszą zostać ponownie wygenerowane. Tokeny adresatów są używane tylko w otwartym protokole udostępniania . Tokeny są ważne przez maksymalnie jeden rok po utworzeniu.

    Note

    Okres istnienia tokenu odbiorcy dla istniejących adresatów nie jest aktualizowany automatycznie po zmianie domyślnego okresu istnienia tokenu odbiorcy dla magazynu metadanych. Aby zastosować nowy okres ważności tokenu do danego adresata, należy zrotować token. Zobacz Zarządzanie tokenami adresatów.

    Aby ustawić domyślny okres istnienia tokenu odbiorcy:

    1. Upewnij się, że Ustaw wygaśnięcie jest włączone (to jest ustawienie domyślne).
    2. Wprowadź liczbę sekund, minut, godzin lub dni i wybierz jednostkę miary. Tokeny są ważne przez maksymalnie jeden rok po utworzeniu.
    3. Kliknij przycisk Włącz.

    Aby uzyskać więcej informacji, zobacz Zagadnienia dotyczące zabezpieczeń tokenów.

  6. W przypadku udostępniania adresatowi usługi Azure Databricks, który nie znajduje się na Twoim koncie, wprowadź nazwę organizacji.

    Note

    Określenie czytelnej nazwy organizacji pomaga adresatom zidentyfikować swoich dostawców udziałów i odpowiednie obiekty dostawcy na liście dostawców adresata.

  7. Kliknij przycisk Włącz.

(opcjonalnie) Zainstalować Unity Catalog CLI

Aby zarządzać udziałami i odbiorcami, możesz użyć Eksploratora Katalogu, poleceń SQL lub interfejsu wiersza poleceń Unity Catalog CLI. Interfejs wiersza polecenia działa w środowisku lokalnym i nie wymaga zasobów obliczeniowych usługi Azure Databricks.

Aby zainstalować interfejs wiersza polecenia, zobacz Co to jest interfejs wiersza polecenia usługi Databricks?.

Nadawanie uprawnień do tworzenia i zarządzania udziałami oraz adresatami

Administratorzy magazynu metadanych mają możliwość tworzenia udziałów i adresatów oraz zarządzania nimi, w tym udzielania udziałów adresatom. Wiele zadań dostawcy może być delegowanych przez administratora magazynu metadanych przy użyciu następujących uprawnień:

  • CREATE SHARE w metastore daje możliwość tworzenia udziałów.
  • CREATE RECIPIENT w metastore umożliwia tworzenie odbiorców.
  • USE RECIPIENT umożliwia wyświetlanie listy i szczegółów wszystkich odbiorców w metastore.
  • USE SHARE w magazynie metadanych umożliwia wyświetlanie listy i szczegółów wszystkich udziałów w magazynie metadanych.
  • USE RECIPIENT, USE SHARE, i SET SHARE PERMISSION połączone zapewniają użytkownikowi możliwość udzielania dostępu do udziału adresatom.
  • Administrator magazynu metadanych ma możliwość przeniesienia własności dowolnego udziału.
  • Właściciele udziałów i właściciele odbiorców mogą aktualizować te obiekty i przyznawać udziały odbiorcom. Twórcy obiektów domyślnie otrzymują własność, ale własność może zostać przeniesiona.
  • Właściciele udziałów mogą dodawać tabele i woluminy do udziałów, o ile mają SELECT dostęp do tabel i READ VOLUME dostęp do woluminów.

Aby uzyskać szczegółowe informacje, zobacz Uprawnienia w katalogu Unity i obiekty do zabezpieczenia oraz uprawnienia wymienione dla opisanych zadań Delta Sharing.

Włączanie rejestrowania inspekcji

Jako administrator konta usługi Azure Databricks należy włączyć rejestrowanie inspekcji w celu przechwytywania zdarzeń Delta Sharing, takich jak:

  • Gdy ktoś tworzy, modyfikuje, aktualizuje lub usuwa udział lub adresata
  • Gdy odbiorca uzyskuje dostęp do linku aktywacji i pobiera poświadczenie (tylko przy otwartym udostępnianiu)
  • Gdy odbiorca uzyskuje dostęp do danych
  • Gdy poświadczenia odbiorcy zostaną zmienione lub wygasną (dotyczy tylko otwartego udostępniania)

Important

Działanie Delta Sharing jest rejestrowane na poziomie konta. Podczas konfigurowania dostarczania dziennika nie należy wprowadzać wartości dla elementu workspace_ids_filter.

Aby włączyć rejestrowanie inspekcji, postępuj zgodnie z instrukcjami w referencji dziennika diagnostycznego.

Aby uzyskać szczegółowe informacje na temat rejestrowania zdarzeń usługi Delta Sharing, zobacz Inspekcja i monitorowanie udostępniania danych.

Konfigurowanie czasu życia materializacji danych

Jako administrator konta Azure Databricks lub metastore, można skonfigurować wartość TTL dla materializacji danych, która określa, jak długo zmaterializowany wynik jest przechowywany w pamięci podręcznej. Materializacja występuje, gdy odbiorca wysyła zapytania o współużytkowane widoki dynamiczne, zmaterializowane widoki, tabele przesyłania strumieniowego i tabele obce. Domyślnie TTL wynosi osiem godzin. Sama pamięć podręczna zostanie eksmitowana przez materializację po dodatkowych trzech godzinach, zapewniając dodatkowy czas na zakończenie istniejących zapytań.

Aby zmienić tę wartość, wykonaj następujące czynności:

  1. W obszarze roboczym usługi Azure Databricks kliknij ikonę Dane.Wykaz do otwierania Eksploratora wykazu.

  2. Na górze okienka Wykaz kliknij ikonę koła zębatego i wybierz pozycję Delta Sharing.

    Alternatywnie, na stronie Szybki dostęp, kliknij przycisk Delta Sharing >.

  3. Na karcie Udostępnione mi kliknij swoją nazwę organizacji w prawym górnym rogu.

  4. Kliknij Wyświetl ustawienia Delta Sharing.

  5. W polu Materialization TTL (Czas wygaśnięcia materializacji) wprowadź żądaną wartość czasu wygaśnięcia.

Zezwalaj na dostęp sieciowy do magazynu

Jeśli Twoje przechowywanie w chmurze jest skonfigurowane z kontrolą dostępu, dodaj sieć odbiorcy do listy dozwolonych, aby mógł odczytać udostępnione tabele.

Aby uzyskać szczegółowe informacje, zobacz Configure Azure Storage firewalls and virtual networks (Konfigurowanie zapór i sieci wirtualnych usługi Azure Storage) oraz Configure a firewall for serverless compute access (Konfigurowanie zapory dla bezserwerowego dostępu obliczeniowego).