이 페이지에서는 작업 영역-로컬 Hive 메타스토어 또는 외부 Hive 메타스토어에 관계없이 Azure Databricks 작업 영역에서 사용되는 레거시 Hive 메타스토어에 대한 직접 액세스를 사용하지 않도록 설정하는 방법을 설명합니다. Unity 카탈로그 마이그레이션을 완료하거나 Hive metastore를 Unity 카탈로그가 관리하는 외국 카탈로그로 페더레이션한 경우 간단한 작업 영역 관리자 설정을 사용하여 사용자가 Unity 카탈로그를 우회하고 Hive 메타스토어에 등록된 테이블에 액세스하지 못하도록 할 수 있습니다.
Hive 메타스토어의 데이터는 Unity 카탈로그에 의해 관리되지 않습니다. 직접 Hive 메타스토어 액세스를 사용하지 않도록 설정하는 것은 Unity 카탈로그로 마이그레이션하고 Unity 카탈로그 데이터 거버넌스를 최대한 활용하는 프로세스에서 중요한 단계입니다. 직접 액세스를 사용하지 않도록 설정하고 Hive 메타스토어 페더레이션을 활용하여 Hive 메타스토어에서 관리하는 테이블을 계속 쿼리할 수 있습니다. Hive 메타스토어에 대한 직접 작업 영역 액세스를 사용하지 않도록 설정하기 전이나 후에 Hive 메타스토어 테이블을 페더레이션할 수 있습니다. 기존 작업 영역을 Unity 카탈로그 및 Hive 메타스토어 페더레이션으로 업그레이드를 참조하세요. Unity 카탈로그를 사용하여 Hive 메타스토어에 등록된 테이블을 제어할 수 있습니다.
중요합니다
Unity 카탈로그로 마이그레이션한 후에도 Hive 메타스토어 액세스를 명시적으로 사용하지 않도록 설정하지 않는 한 Azure Databricks 컴퓨팅 클러스터는 기본적으로 Hive 메타스토어에 연결됩니다. Hive 메타스토어 유지 관리가 Unity 카탈로그 워크로드에 영향을 주지 않도록 하려면 모든 클러스터 및 워크로드에 대해 Hive 메타스토어에 대한 직접 액세스를 한 번에 사용하지 않도록 설정하거나(Hive 메타스토어에 대한 모든 직접 액세스를 사용하지 않도록 설정) Spark 구성을 사용하여 클러스터별 액세스를 사용하지 않도록 설정할 수 있습니다(Hive 메타스토어에 대한 모든 직접 액세스 사용 안 함).
새 작업 영역에 대한 계정 수준에서 Hive 메타스토어에 대한 액세스를 사용하지 않도록 설정하려면 레거시 기능 계정 설정 사용 안 함 을 사용합니다.
시작하기 전에: 레거시 메타스토어를 사용하지 않도록 설정해야 하는 경우는 언제인가요?
레거시 Hive metastore를 사용하지 않도록 설정하기 전에 다음 조건을 충족해야 합니다.
- 레거시 메타스토어에 등록된 모든 테이블의 Unity 카탈로그로의 마이그레이션을 완료했거나, 항상 Unity 카탈로그만 사용하고 레거시 Hive 메타스토어를 전혀 사용하지 않은 경우입니다.
- 사용자가 레거시 메타스토어에 등록된 테이블 사용을 중지하도록 강제하려고 합니다.
- 모든 작업을 Databricks Runtime 13.3 LTS 이상으로 업그레이드했습니다.
레거시 메타스토어를 사용하지 않도록 설정하면 어떻게 되나요?
레거시 메타스토어를 사용하지 않도록 설정한 후:
Hive 메타스토어에 등록된 테이블에 대해 실행되는 모든 작업이 실패합니다.
대체 기능이 비활성화되었습니다.
13.3 미만의 Databricks 런타임 버전에서 실행되는 작업은 실패합니다.
현재 실행 중인 작업은 종료될 때까지 계속 작동하지만 해당 클러스터에서 다시 시작은 실패합니다.
레거시 제목 및
hive_metastore카탈로그는 카탈로그 탐색기 브라우저 창에서 사라집니다.카탈로그의 내용을 표시하려는 SQL 명령이
hive_metastore실패합니다.
Note
레거시 액세스를 사용하지 않도록 설정해도 사용자가 클러스터에서 사용할 수 있는 서비스 주체와 같은 클러스터 수준 자격 증명을 사용할 수 없습니다. Databricks는 클러스터에서 이러한 자격 증명을 제거하는 것이 좋습니다.
비격리 공유 클러스터는 레거시 Hive 메타스토어 비활성화 설정을 존중하지 않습니다. 사용자가 이러한 클러스터를 만들고 사용하지 못하도록 하려면 작업 영역에 대해 사용자 격리 적용 설정을 사용하도록 설정합니다. 작업 영역에서 사용자 격리 클러스터 유형 적용을 참조하세요.
Hive 메타스토어에 대한 모든 직접 액세스를 비활성화
레거시 액세스 작업 영역 관리자 설정 사용 안 함 을 사용하여 작업 영역의 레거시 Hive 메타스토어를 비활성화합니다.
- 작업 영역 관리자로 Azure Databricks 작업 영역에 로그인합니다.
- 오른쪽 위에 있는 사용자 프로필 메뉴를 클릭하고 메뉴에서 설정을 선택합니다.
- 작업 영역 관리자 > 보안으로 이동합니다.
- 레거시 액세스를 '사용 안 함'으로 설정하시고: 레거시 액세스 기능을 사용할 수 없습니다.
- 새 설정이 적용되었는지 확인하려면 약 5분 정도 기다립니다.
- 실행 중인 모든 클러스터를 다시 시작합니다.
개별 컴퓨팅 클러스터에 대한 액세스 사용 안 함
클러스터별로 Hive 메타스토어에 대한 직접 액세스를 점진적으로 사용하지 않도록 설정할 수도 있습니다. 이 방법은 전체 작업 영역에 대해 사용하지 않도록 설정할 수 있을 때까지 Hive 메타스토어에 대한 의존도를 증분 방식으로 줄이려는 경우 Unity 카탈로그 마이그레이션 중에 유용할 수 있습니다.
직접 액세스를 사용하지 않도록 설정하려면 클러스터에서 다음 Spark 구성을 설정합니다.
spark.databricks.unityCatalogOnlyMode True
spark.databricks.sql.initial.catalog.namespace <catalog-name>
Unity 카탈로그에 있는 메타스토어의 이름으로 <catalog-name>을(를) 교체하십시오. Unity 카탈로그 전용 모드를 사용하도록 설정하면 클러스터가 더 이상 기본 카탈로그로 사용할 hive_metastore 수 없으므로 초기 카탈로그도 설정해야 합니다.