Partilhar via

Desabilitar o acesso ao metastore do Hive usado pelo seu espaço de trabalho do Azure Databricks

Esta página descreve como desabilitar o acesso direto ao metastore herdado do Hive que é usado pelo seu espaço de trabalho do Azure Databricks, seja o metastore do Hive local do espaço de trabalho ou um metastore externo do Hive. Depois de concluir a migração do Catálogo Unity ou federar o metastore do Hive como um catálogo estrangeiro regido pelo Catálogo Unity, você poderá usar uma configuração simples de administrador do espaço de trabalho para impedir que os usuários ignorem o Catálogo Unity e acessem tabelas registradas no metastore do Hive.

Os dados no metastore do Hive não são regidos pelo Unity Catalog. Desabilitar o acesso direto ao metastore do Hive é uma etapa importante no processo de migração para o Unity Catalog e garantir que você aproveite ao máximo a governança de dados do Unity Catalog. Você pode desabilitar o acesso direto e continuar a consultar tabelas gerenciadas pelo metastore do Hive aproveitando a federação do metastore do Hive. Você pode federar tabelas do metastore do Hive antes ou depois de desativar o acesso direto do espaço de trabalho ao metastore do Hive. Consulte Como atualizar um espaço de trabalho existente para o Unity Catalog e Federação de metastore do Hive: permitir que o Unity Catalog governe tabelas registadas num metastore do Hive.

Importante

Mesmo depois de migrar para o Unity Catalog, os clusters de computação do Azure Databricks ligam-se à metastore Hive por defeito, a menos que desatives explicitamente o acesso à metastore Hive. Para evitar que a manutenção da metastore Hive afete as cargas de trabalho do Catálogo Unity, pode desativar o acesso direto à metastore Hive para todos os clusters e cargas de trabalho simultaneamente (desativar todo o acesso direto à metastore Hive), ou usar uma configuração Spark para desativar o acesso cluster a cluster (Desativar todo o acesso direto à metastore Hive).

Para desabilitar o acesso ao metastore do Hive no nível da conta para novos espaços de trabalho, use a configuração Desabilitar conta de recursos herdados .

Antes de começar: quando você deve desativar o metastore herdado?

Antes de desativar o metastore herdado do Hive, você deve atender aos seguintes critérios:

  • Você concluiu a migração de todas as tabelas registadas no repositório de metadados herdado para o Unity Catalog, ou sempre usou o Unity Catalog e nunca o repositório de metadados herdado do Hive.
  • Você deseja forçar os seus utilizadores a parar de utilizar tabelas registadas no metastore herdado.
  • Você atualizou todas as tarefas para o Databricks Runtime 13.3 LTS ou mais recente.

O que acontece quando você desativa o metastore herdado?

Depois de desativar o metastore herdado:

  • Todos os trabalhos executados em tabelas registradas no metastore do Hive falharão.

  • O fallback está desativado.

  • Os trabalhos executados em versões do Databricks Runtime abaixo de 13.3 falharão.

    Os trabalhos atualmente em execução continuarão a funcionar até serem encerrados, mas as reinicializações nesses clusters falharão.

  • O cabeçalho Legado e o catálogo hive_metastore desaparecem do painel do navegador Catalog Explorer.

  • Os comandos SQL que tentam mostrar o hive_metastore conteúdo do catálogo falharão.

Note

A desativação do acesso herdado não impede que os usuários usem credenciais no nível do cluster, como entidades de serviço, disponíveis em um cluster. O Databricks recomenda que você remova essas credenciais de seus clusters.

Os clusters compartilhados pela No Isolation não respeitam a configuração de desativação do metastore antigo do Hive. Para impedir que os usuários criem e usem esses clusters, habilite a configuração Impor isolamento do usuário para o espaço de trabalho. Consulte Aplicar tipos de clusters de isolamento de utilizador num espaço de trabalho.

Desativar todo o acesso direto ao metastore do Hive

Desative o metastore herdado do Hive no seu espaço de trabalho usando a configuração Desabilitar acesso herdado do administrador do espaço de trabalho.

  1. Como administrador do espaço de trabalho, faça logon no seu espaço de trabalho do Azure Databricks.
  2. Clique no menu de perfil de usuário no canto superior direito e selecione Configurações no menu.
  3. Vá para Segurança do administrador > do espaço de trabalho.
  4. Defina Desativar acesso herdado como Desativado: os recursos de acesso herdados não podem ser usados.
  5. Para garantir que a nova configuração entrou em vigor, aguarde aproximadamente cinco minutos.
  6. Reinicie todos os clusters em execução.

Desativar o acesso para clusters de computação individuais

Você também pode desativar o acesso direto ao metastore do Hive gradualmente, numa base de cluster a cluster. Essa abordagem pode ser útil durante uma migração do Catálogo Unity quando você deseja reduzir a dependência do metastore do Hive incrementalmente até que possa desativá-lo para todo o espaço de trabalho.

Para desabilitar o acesso direto, defina as seguintes configurações do Spark no cluster:

spark.databricks.unityCatalogOnlyMode True
spark.databricks.sql.initial.catalog.namespace <catalog-name>

Substitua <catalog-name> pelo nome de um catálogo Unity que existe em seu metastore. Ao ativar o modo apenas com o catálogo Unity, também deve definir um catálogo inicial, pois o cluster não pode mais utilizar hive_metastore como catálogo padrão.

  • Last updated on