Udostępnij przez

Konwertuj na Delta Lake

Polecenie CONVERT TO DELTA SQL wykonuje jednorazową konwersję tabel Parquet i Apache Iceberg na tabele usługi Delta Lake. Aby przeprowadzić przyrostowe konwersje tabel Parquet lub Iceberg do usługi Delta Lake, zobacz Przyrostowe klonowanie tabel Parquet i Apache Iceberg do usługi Delta Lake.

Katalog Unity obsługuje polecenie CONVERT TO DELTA SQL dla tabel Parquet i Iceberg przechowywanych w lokalizacjach zewnętrznych zarządzanych przez Katalog Unity.

Istniejące pliki danych Parquet można skonfigurować jako tabele zewnętrzne w Unity Catalog, a następnie przekonwertować je na Delta Lake, aby odblokować wszystkie funkcje Databricks Lakehouse.

Aby uzyskać dokumentację techniczną, zobacz CONVERT TO DELTA.

Konwertowanie katalogu plików Parquet lub Iceberg w lokalizacji zewnętrznej na usługę Delta Lake

Uwaga

  • Konwertowanie tabel Iceberg jest w publicznej wersji zapoznawczej.
  • Konwertowanie tabel Iceberg jest obsługiwane w Databricks Runtime 10.4 LTS i nowszym.
  • Konwertowanie tabel metastore Iceberg nie jest obsługiwane.
  • Konwertowanie tabel Iceberg, które doświadczyły ewolucji partycji, nie jest obsługiwane.
  • Konwertowanie tabel Iceberg merge-on-read, które były aktualizowane, usuwane lub scalane, nie jest obsługiwane.
  • Poniżej przedstawiono ograniczenia dotyczące konwertowania tabel Iceberg z partycjami zdefiniowanymi na kolumnach obciętych:
    • W środowisku Databricks Runtime 12.2 LTS i poniżej jedynym obsługiwanym typem kolumny obciętej jest string.
    • W środowisku Databricks Runtime 13.3 LTS lub nowszym można pracować z obcinanymi kolumnami typów string, longlub int.
    • Usługa Azure Databricks nie obsługuje pracy z obciętymi kolumnami typu decimal.

Możesz przekonwertować direktorię plików danych Parquet na tabelę Delta Lake, o ile masz dostęp do zapisu w lokalizacji magazynu. Aby uzyskać informacje na temat konfigurowania dostępu za pomocą Unity Catalog, zobacz Nawiązywanie połączenia z magazynem obiektów w chmurze przy użyciu Unity Catalog.

Uwaga

Katalog Unity wymaga Azure Data Lake Storage.

CONVERT TO DELTA parquet.`abfss://container@storageAccount.dfs.core.windows.net/parquet-data`;

CONVERT TO DELTA iceberg.`abfss://container@storageAccount.dfs.core.windows.net/iceberg-data`;

Aby załadować przekonwertowane tabele jako tabele zewnętrzne do katalogu Unity, musisz mieć uprawnienie CREATE EXTERNAL TABLE w lokalizacji zewnętrznej.

Uwaga

W przypadku środowiska Databricks Runtime 11.3 LTS i nowszych, CONVERT TO DELTA automatycznie wnioskuje informacje o partycji dla tabel zarejestrowanych w magazynie metadanych Hive. Należy podać informacje o partycjonowaniu zewnętrznych tabel w ramach Unity Catalog.

Przekształcanie zarządzanych i zewnętrznych tabel do Delta Lake w Unity Catalog

CONVERT TO DELTA składnia może być używana tylko do tworzenia zewnętrznych tabel Unity Catalog. Użyj instrukcji CTAS, aby przekonwertować starszą tabelę zarządzanego magazynu metadanych Hive bezpośrednio na zarządzaną tabelę Delta Lake zarządzaną przez Unity Catalog. Zobacz Ulepszanie tabeli Hive do tabeli zarządzanej w Unity Catalog przy użyciu CREATE TABLE AS SELECT.

Aby uaktualnić zewnętrzną tabelę Parquet do tabeli zewnętrznej Unity Catalog, zobacz Uaktualnianie schematu lub tabel z Hive metastore do tabel zewnętrznych Unity Catalog przy użyciu kreatora uaktualniania.

Po zarejestrowaniu zewnętrznej tabeli Parquet w katalogu Unity, można przekonwertować ją na zewnętrzną tabelę Delta Lake. Jeśli tabela Parquet jest podzielona na partycje, musisz podać informacje o partycjonowaniu.

CONVERT TO DELTA catalog_name.database_name.table_name;

CONVERT TO DELTA catalog_name.database_name.table_name PARTITIONED BY (date_updated DATE);
  • Last updated on