Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Na tej stronie opisano sposób konfiguracji Delta Sharing w usłudze Azure Databricks dla dostawców danych (organizacje, które chcą bezpiecznie udostępniać dane przy użyciu Delta Sharing).
Jeśli jesteś odbiorcą danych (organizacja, która odbiera dane udostępniane przy użyciu Delta Sharing), zobacz Odczyt danych udostępnianych przy użyciu Delta Sharing z Databricks do Databricks (dla odbiorców).
Important
Delta Sharing wymaga obszaru roboczego z aktywnym Unity Catalog. Można utworzyć jeden obszar roboczy z funkcją Unity Catalog do zarządzania dostępem. Na niektórych kontach nowe obszary robocze są automatycznie włączane dla Unity Catalog. Zobacz Automatyczne uruchamianie Unity Catalog.
Jeśli tworzenie nowego obszaru roboczego z włączonym katalogiem Unity nie jest możliwe, możesz użyć projektu open-source Delta Sharing, aby wdrożyć własny serwer Delta Sharing do udostępniania tabel Delta z dowolnej platformy.
Konfiguracja początkowego dostawcy obejmuje następujące kroki:
- Włącz Delta Sharing w metamagazynie Unity Catalog.
- (Opcjonalnie) Zainstaluj interfejs wiersza polecenia Unity Catalog.
- Przyznaj uprawnienia do tworzenia i zarządzania udziałami oraz odbiorcami.
- Konfigurowanie audytów związanych z aktywnością Delta Sharing.
- Ustaw czas życia (TTL) dla materializacji danych.
- Skonfiguruj dostęp do sieci pamięci masowej.
Requirements
Jako dostawca danych, który konfiguruje konto usługi Azure Databricks, aby móc udostępniać dane, musisz mieć następujące elementy:
Co najmniej jeden obszar roboczy usługi Azure Databricks, dla którego włączono katalog Unity.
Nie musisz migrować wszystkich obszarów roboczych do Unity Catalog, aby korzystać z obsługi Databricks dla Delta Sharing providers. Zobacz Czy potrzebuję Unity Catalog do korzystania z Delta Sharing?.
Odbiorcy nie muszą mieć obszaru roboczego z włączoną funkcją Unity Catalog.
Rola administratora konta w celu włączenia Delta Sharing dla magazynu metadanych Unity Catalog oraz w celu włączenia rejestrowania audytu.
Rola administratora magazynu metadanych lub uprawnienia
CREATE SHAREiCREATE RECIPIENT. Zobacz Role administratora.Note
Jeśli obszar roboczy został automatycznie włączony dla usługi Unity Catalog, być może nie masz administratora metastore. Jednak administratorzy obszarów roboczych w takich obszarach roboczych domyślnie mają uprawnienia
CREATE SHAREiCREATE RECIPIENTw metastore.Aby uzyskać więcej informacji, zobacz Automatyczne włączanie Unity Catalog i uprawnienia administratora obszaru roboczego , gdy obszary robocze są automatycznie włączane dla Unity Catalog.
Konfiguracja magazynu w chmurze, która umożliwia odbiorcy dostęp do sieci.
Włącz Delta Sharing w magazynie metadanych
Nie musisz włączać funkcji Delta Sharing w swoim metastore, jeśli zamierzasz używać Delta Sharing tylko do udostępniania danych użytkownikom w innych metastore Unity Catalog na swoim koncie. Udostępnianie między magazynami metadanych w ramach jednego konta Azure Databricks jest domyślnie włączone.
W przeciwnym razie wykonaj następujące kroki dla każdego katalogu Unity Catalog, który zarządza danymi, które planujesz udostępniać za pomocą Delta Sharing.
Jako administrator konta usługi Azure Databricks zaloguj się do konsoli konta.
Na pasku bocznym kliknij
Wykaz.
Kliknij nazwę magazynu metadanych, aby otworzyć jego szczegóły.
Kliknij pole wyboru obok pozycji Zezwalaj na udostępnianie różnicowe osobom spoza organizacji.
Skonfiguruj okres istnienia tokenu odbiorcy.
Ta konfiguracja określa okres, po którym wszystkie tokeny adresata wygasają i muszą zostać ponownie wygenerowane. Tokeny adresatów są używane tylko w otwartym protokole udostępniania . Tokeny są ważne przez maksymalnie jeden rok po utworzeniu.
Note
Okres istnienia tokenu odbiorcy dla istniejących adresatów nie jest aktualizowany automatycznie po zmianie domyślnego okresu istnienia tokenu odbiorcy dla magazynu metadanych. Aby zastosować nowy okres ważności tokenu do danego adresata, należy zrotować token. Zobacz Zarządzanie tokenami adresatów.
Aby ustawić domyślny okres istnienia tokenu odbiorcy:
- Upewnij się, że Ustaw wygaśnięcie jest włączone (to jest ustawienie domyślne).
- Wprowadź liczbę sekund, minut, godzin lub dni i wybierz jednostkę miary. Tokeny są ważne przez maksymalnie jeden rok po utworzeniu.
- Kliknij przycisk Włącz.
Aby uzyskać więcej informacji, zobacz Zagadnienia dotyczące zabezpieczeń tokenów.
W przypadku udostępniania adresatowi usługi Azure Databricks, który nie znajduje się na Twoim koncie, wprowadź nazwę organizacji.
Note
Określenie czytelnej nazwy organizacji pomaga adresatom zidentyfikować swoich dostawców udziałów i odpowiednie obiekty dostawcy na liście dostawców adresata.
Kliknij przycisk Włącz.
(opcjonalnie) Zainstalować Unity Catalog CLI
Aby zarządzać udziałami i odbiorcami, możesz użyć Eksploratora Katalogu, poleceń SQL lub interfejsu wiersza poleceń Unity Catalog CLI. Interfejs wiersza polecenia działa w środowisku lokalnym i nie wymaga zasobów obliczeniowych usługi Azure Databricks.
Aby zainstalować interfejs wiersza polecenia, zobacz Co to jest interfejs wiersza polecenia usługi Databricks?.
Nadawanie uprawnień do tworzenia i zarządzania udziałami oraz adresatami
Administratorzy magazynu metadanych mają możliwość tworzenia udziałów i adresatów oraz zarządzania nimi, w tym udzielania udziałów adresatom. Wiele zadań dostawcy może być delegowanych przez administratora magazynu metadanych przy użyciu następujących uprawnień:
-
CREATE SHAREw metastore daje możliwość tworzenia udziałów. -
CREATE RECIPIENTw metastore umożliwia tworzenie odbiorców. -
USE RECIPIENTumożliwia wyświetlanie listy i szczegółów wszystkich odbiorców w metastore. -
USE SHAREw magazynie metadanych umożliwia wyświetlanie listy i szczegółów wszystkich udziałów w magazynie metadanych. -
USE RECIPIENT,USE SHARE,iSET SHARE PERMISSIONpołączone zapewniają użytkownikowi możliwość udzielania dostępu do udziału adresatom. - Administrator magazynu metadanych ma możliwość przeniesienia własności dowolnego udziału.
- Właściciele udziałów i właściciele odbiorców mogą aktualizować te obiekty i przyznawać udziały odbiorcom. Twórcy obiektów domyślnie otrzymują własność, ale własność może zostać przeniesiona.
- Właściciele udziałów mogą dodawać tabele i woluminy do udziałów, o ile mają
SELECTdostęp do tabel iREAD VOLUMEdostęp do woluminów.
Aby uzyskać szczegółowe informacje, zobacz Uprawnienia w katalogu Unity i obiekty do zabezpieczenia oraz uprawnienia wymienione dla opisanych zadań Delta Sharing.
Włączanie rejestrowania inspekcji
Jako administrator konta usługi Azure Databricks należy włączyć rejestrowanie inspekcji w celu przechwytywania zdarzeń Delta Sharing, takich jak:
- Gdy ktoś tworzy, modyfikuje, aktualizuje lub usuwa udział lub adresata
- Gdy odbiorca uzyskuje dostęp do linku aktywacji i pobiera poświadczenie (tylko przy otwartym udostępnianiu)
- Gdy odbiorca uzyskuje dostęp do danych
- Gdy poświadczenia odbiorcy zostaną zmienione lub wygasną (dotyczy tylko otwartego udostępniania)
Important
Działanie Delta Sharing jest rejestrowane na poziomie konta. Podczas konfigurowania dostarczania dziennika nie należy wprowadzać wartości dla elementu workspace_ids_filter.
Aby włączyć rejestrowanie inspekcji, postępuj zgodnie z instrukcjami w referencji dziennika diagnostycznego.
Aby uzyskać szczegółowe informacje na temat rejestrowania zdarzeń usługi Delta Sharing, zobacz Inspekcja i monitorowanie udostępniania danych.
Konfigurowanie czasu życia materializacji danych
Jako administrator konta Azure Databricks lub metastore, można skonfigurować wartość TTL dla materializacji danych, która określa, jak długo zmaterializowany wynik jest przechowywany w pamięci podręcznej. Materializacja występuje, gdy odbiorca wysyła zapytania o współużytkowane widoki dynamiczne, zmaterializowane widoki, tabele przesyłania strumieniowego i tabele obce. Domyślnie TTL wynosi osiem godzin. Sama pamięć podręczna zostanie eksmitowana przez materializację po dodatkowych trzech godzinach, zapewniając dodatkowy czas na zakończenie istniejących zapytań.
Aby zmienić tę wartość, wykonaj następujące czynności:
W obszarze roboczym usługi Azure Databricks kliknij
Wykaz do otwierania Eksploratora wykazu.
Na górze okienka Wykaz kliknij
i wybierz pozycję Delta Sharing.
Alternatywnie, na stronie Szybki dostęp, kliknij przycisk Delta Sharing >.
Na karcie Udostępnione mi kliknij swoją nazwę organizacji w prawym górnym rogu.
Kliknij Wyświetl ustawienia Delta Sharing.
W polu Materialization TTL (Czas wygaśnięcia materializacji) wprowadź żądaną wartość czasu wygaśnięcia.
Zezwalaj na dostęp sieciowy do magazynu
Jeśli Twoje przechowywanie w chmurze jest skonfigurowane z kontrolą dostępu, dodaj sieć odbiorcy do listy dozwolonych, aby mógł odczytać udostępnione tabele.
Aby uzyskać szczegółowe informacje, zobacz Configure Azure Storage firewalls and virtual networks (Konfigurowanie zapór i sieci wirtualnych usługi Azure Storage) oraz Configure a firewall for serverless compute access (Konfigurowanie zapory dla bezserwerowego dostępu obliczeniowego).