델타 클라이언트에서 Databricks 테이블 읽기

이 페이지에서는 Unity REST API를 사용하여 외부 델타 클라이언트에서 Unity 카탈로그 관리 및 외부 테이블에 액세스하는 방법에 대한 개요를 제공합니다. 외부 클라이언트에서 외부 델타 테이블을 만들려면 외부 클라이언트 에서 외부 델타 테이블 만들기를 참조하세요.

Iceberg REST 카탈로그 사용하여 Apache Spark 및 DuckDB를 비롯한 지원되는 Iceberg 클라이언트에서 Azure Databricks의 Unity 카탈로그 등록 테이블을 읽습니다.

지원되는 통합의 전체 목록은 Unity 카탈로그 통합을 참조하세요.

Unity REST API를 사용하여 읽기 및 쓰기

Unity REST API는 외부 클라이언트가 Unity 카탈로그에 등록된 테이블에 대한 읽기 권한을 제공합니다. 일부 클라이언트는 테이블을 만들고 기존 테이블에 쓰는 것도 지원합니다.

엔드포인트 /api/2.1/unity-catalog사용하여 액세스를 구성합니다.

요구 사항

Azure Databricks는 Unity 카탈로그의 일부로 테이블에 대한 Unity REST API 액세스를 지원합니다. 이러한 엔드포인트를 사용하려면 작업 영역에서 Unity 카탈로그를 사용하도록 설정해야 합니다. 다음 표 형식은 Unity REST API 읽기에 적합합니다.

• Unity 카탈로그에서 관리되는 테이블.
• Unity 카탈로그 외부 테이블.

Unity REST API를 사용하여 델타 클라이언트에서 Databricks 개체를 읽도록 액세스를 구성하려면 다음 구성 단계를 완료해야 합니다.

• 메타스토어에 외부 데이터 액세스 사용하도록 설정합니다. 메타스토어에서 외부 데이터 액세스 사용을 참조하세요.
• 통합을 구성하는 보안 주체에게 개체가 EXTERNAL USE SCHEMA 포함된 스키마에 대한 권한을 부여합니다. 보안 주체 Unity 카탈로그 권한 부여를 참조하세요.
• Databricks 개인용 액세스 토큰을 사용하여 인증합니다. Azure Databricks 리소스에 대한 액세스 권한 부여를 참조하세요.

Apache Spark를 사용하여 델타 테이블 읽기

Apache Spark를 사용하여 Unity 카탈로그 관리 및 외부 델타 테이블을 읽으려면 다음 구성이 필요합니다.

"spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension",
"spark.sql.catalog.spark_catalog": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>.uri": "<workspace-url>/api/2.1/unity-catalog",
"spark.sql.catalog.<uc-catalog-name>.token": "<token>",
"spark.sql.defaultCatalog": "<uc-catalog-name>",
"spark.jars.packages": "io.delta:delta-spark_2.12:3.2.1,io.unitycatalog:unitycatalog-spark_2.12:0.2.0,org.apache.hadoop:hadoop-azure:3.3.6"

다음 변수를 대체합니다.

• <uc-catalog-name>: 테이블을 포함하는 Unity 카탈로그의 이름입니다.
• <workspace-url>: Azure Databricks 작업 영역의 URL입니다.
• <token>: 통합을 구성하는 주체에 대한 PAT 토큰입니다.

클라우드 개체 스토리지용 Apache Spark를 구성하는 방법에 대한 자세한 내용은 Unity 카탈로그 OSS 설명서를 참조하세요.