Domyślne przechowywanie na platformie Databricks

Na tej stronie wyjaśniono, jak działa domyślny magazyn w usłudze Azure Databricks oraz jak tworzyć wykazy i obiekty danych, które go używają.

Co to jest magazyn domyślny?

Magazyn domyślny to w pełni zarządzana platforma magazynu obiektów, która zapewnia gotowy do użycia magazyn na koncie usługi Azure Databricks. Niektóre funkcje usługi Azure Databricks używają domyślnego magazynu jako alternatywy dla magazynu zewnętrznego.

Obszary robocze bezserwerowe używają domyślnego przechowywania na potrzeby przechowywania wewnętrznego i roboczego oraz domyślnego katalogu, który jest tworzony razem z obszarem roboczym. W obszarach roboczych bezserwerowych można utworzyć dodatkowe wykazy w domyślnym magazynie lub we własnym magazynie obiektów w chmurze.

W klasycznych i bezserwerowych obszarach roboczych domyślny magazyn jest używany przez funkcje do przechowywania takich elementów jak metadane płaszczyzny sterowania, dane pochodne, modele i inne artefakty. Na przykład Clean Rooms, Klasyfikacja Danych, wykrywanie anomalii i Agent Bricks używają domyślnego magazynu obszaru roboczego. Zapoznaj się z dokumentacją poszczególnych funkcji, aby uzyskać szczegółowe informacje o tym, co każda funkcja przechowuje w magazynie domyślnym.

Wymagania

• Tworzenie katalogów w domyślnym magazynie jest dostępne tylko w obszarach roboczych bezserwerowych (publiczna wersja zapoznawcza).
• Domyślnie wykazy korzystające z magazynu domyślnego są dostępne tylko z obszaru roboczego, w którym są tworzone. Możesz przyznać innym obszarom roboczym dostęp, w tym klasycznym obszarom roboczym, ale muszą używać bezserwerowych zasobów obliczeniowych w celu uzyskania dostępu do danych w wykazie. Zobacz Ograniczanie dostępu katalogu do określonych obszarów roboczych.
• Musisz mieć CREATE CATALOG uprawnienia do utworzenia wykazu z domyślnym magazynem. Zobacz uprawnienia Katalogu Unity i obiekty podlegające zabezpieczeniom.
• Jeśli klient używa sterownika ODBC usługi Azure Databricks w celu uzyskania dostępu do domyślnego katalogu magazynu zza zapory, należy skonfigurować zaporę, aby zezwolić na dostęp do regionalnych bram magazynu usługi Azure Databricks. Aby uzyskać szczegółowe informacje dotyczące adresu IP i nazwy domeny dla magazynu domyślnego, zobacz Adresy IP i domeny dla usług i zasobów usługi Azure Databricks.

Tworzenie nowego wykazu

Wykonaj następujące kroki, aby utworzyć nowy wykaz przy użyciu magazynu domyślnego:

1. Kliknij Wykaz na pasku bocznym. Pojawi się Eksplorator wykazu.
2. Kliknij pozycję Utwórz katalog. Zostanie wyświetlone okno dialogowe Tworzenie nowego wykazu .
3. Podaj nazwę wykazu , która jest unikatowa na Twoim koncie.
4. Wybierz opcję Użyj magazynu domyślnego.
5. Kliknij pozycję Utwórz.

W obszarach roboczych bezserwerowych można również użyć następującego polecenia SQL, aby utworzyć nowy katalog w magazynie domyślnym. Nie trzeba określać lokalizacji katalogu.

CREATE CATALOG [ IF NOT EXISTS ] catalog_name
    [ COMMENT comment ]

Praca z magazynem domyślnym

Wszystkie interakcje z magazynem domyślnym wymagają przetwarzania bezserwerowego z obsługą wykazu aparatu Unity.

Zasoby wspierane przez magazyn domyślnie używają tego samego modelu uprawnień co inne obiekty w wykazie aparatu Unity. Musisz mieć wystarczające uprawnienia do tworzenia, wyświetlania, wykonywania zapytań lub modyfikowania obiektów danych. Zobacz uprawnienia Katalogu Unity i obiekty podlegające zabezpieczeniom.

Domyślnie pracujesz z magazynem przez tworzenie i interakcję z zarządzanymi tabelami i woluminami zarządzanymi obsługiwanymi domyślnie. Zobacz tabele zarządzane przez Unity Catalog w Azure Databricks dla Delta Lake i Apache Iceberg oraz Co to są woluminy katalogu Unity?.

Eksplorator wykazu, notesy, edytor SQL i pulpity nawigacyjne umożliwiają interakcję z obiektami danych przechowywanymi w domyślnym magazynie.

Przykładowe zadania

Poniżej przedstawiono przykłady zadań, które można wykonać z magazynem domyślnym:

• Przekaż pliki lokalne do woluminu zarządzanego lub utwórz zarządzaną tabelę. Zobacz Przekazywanie plików do woluminu wykazu aparatu Unity i Tworzenie lub modyfikowanie tabeli przy użyciu przekazywania plików.
• Wykonywanie zapytań dotyczących danych za pomocą notesów. Zobacz Samouczek: wykonywanie zapytań i wizualizowanie danych z notesu.
• Tworzenie pulpitu nawigacyjnego. Zobacz Tworzenie pulpitu nawigacyjnego.
• Wykonywanie zapytań dotyczących danych przy użyciu języka SQL i planowanie zapytań SQL. Zobacz Pisanie zapytań i eksplorowanie danych w nowym edytorze SQL.
• Pozyskiwanie danych z woluminu zewnętrznego do zarządzanej tabeli. Zobacz Używanie automatycznego modułu ładującego z wykazem aparatu Unity.
• Pozyskiwanie danych do zarządzanej tabeli za pomocą funkcji Fivetran. Zobacz Connect to Fivetran (Nawiązywanie połączenia z platformą Fivetran).
• Korzystanie z narzędzi analizy biznesowej do eksplorowania tabel zarządzanych. Zobacz Connect Tableau and Azure Databricks and Power BI with Azure Databricks (Łączenie usług Tableau i Azure Databricksi Power BI za pomocą usługi Azure Databricks).
• Uruchamianie notesów bezserwerowych. Zobacz obliczenia bezserwerowe dla notatników.
• Uruchamianie zadań bezserwerowych. Zobacz Run your Lakeflow Jobs with serverless compute for workflows (Uruchamianie zadań lakeflow z bezserwerowymi obliczeniami dla przepływów pracy).
• Uruchamianie modelu obsługującego punkty końcowe. Zobacz Modele wdrażane przy użyciu serwera modeli Mosaic AI.
• Uruchamianie bezserwerowych deklaratywnych potoków Spark w usłudze Lakeflow. Zobacz Jak skonfigurować potok bezserwerowy.
• Użyj optymalizacji predykcyjnej w tabelach. Zobacz Optymalizację predykcyjną dla tabel zarządzanych w Unity Catalog.

Ograniczenia

Obowiązują następujące ograniczenia:

• Klasyczne zasoby obliczeniowe (bezserwerowe) nie mogą wchodzić w interakcje z elementami zawartości danych w domyślnym magazynie.
• Udostępnianie różnicowe obsługuje udostępnianie tabel wszystkim adresatom — otwartym lub Azure Databricks — a adresaci mogą uzyskiwać dostęp do udostępnionych tabel (beta) przy użyciu klasycznych obliczeń. Włącz funkcję Delta Sharing dla domyślnego magazynu – rozszerzony dostęp w konsoli konta.
  • Ta funkcja nie jest obsługiwana w następujących regionach: southcentralus, uksouthi westus2.
  • Wszystkie inne współużytkowane zasoby mogą być udostępniane tylko adresatom usługi Azure Databricks w tej samej chmurze. Adresaci muszą używać bezserwerowych obliczeń.
• Tabele z włączonym partycjonowaniem nie mogą być udostępniane przez funkcję delta.
• Zewnętrzni klienci Iceberg i Delta nie mogą bezpośrednio uzyskiwać dostępu do leżących u podstaw metadanych, listy manifestów i plików danych dla tabel UC w domyślnej pamięci masowej (dostęp do FileIO nie jest obsługiwany). Jednak narzędzia analizy biznesowej, takie jak Power BI i Tableau, mogą uzyskiwać dostęp do tabel katalogu Unity w domyślnym magazynie, korzystając ze sterowników ODBC i JDBC. Klienci zewnętrzni mogą również uzyskiwać dostęp do woluminów Unity Catalog w domyślnym magazynie przy użyciu interfejsu API plików.
• Magazyn domyślny obsługuje zewnętrzny dostęp za pośrednictwem sterowników ODBC i JDBC w Azure Databricks, w tym optymalizację wydajności sterownika ODBC z funkcją Cloud Fetch dla zapytań dotyczących większych zestawów danych. Jednakże, jeśli uzyskujesz dostęp do domyślnej tabeli przechowywania z obszaru roboczego z włączoną funkcją Private Link dla interfejsu frontowego, zapytania klienta ODBC przekraczające 100 MB nie powiodą się, ponieważ optymalizacja pobierania z chmury dla domyślnych tabel przechowywania nie obsługuje aktualnie funkcji Private Link dla interfejsu frontowego.