Compartilhar via

Desabilitar o acesso ao metastore do Hive utilizado pelo ambiente de trabalho do Azure Databricks

Esta página descreve como desabilitar o acesso direto ao metastore do Hive herdado usado pelo workspace do Azure Databricks, seja o metastore do Hive local do workspace ou um metastore do Hive externo. Quando você concluir a migração do Catálogo do Unity ou federar seu metastore do Hive como um catálogo estrangeiro que é regido pelo Catálogo do Unity, você pode usar uma configuração de administrador de workspace simples para impedir que os usuários ignorem o Catálogo do Unity e acessem tabelas registradas no metastore do Hive.

Os dados no metastore do Hive não são regidos pelo Catálogo do Unity. Desabilitar o acesso direto ao metastore do Hive é uma etapa importante no processo de migração para o Catálogo do Unity e garantir que você aproveite ao máximo a governança de dados do Catálogo do Unity. Você pode desabilitar o acesso direto e continuar consultando tabelas gerenciadas pelo metastore do Hive aproveitando a federação do metastore do Hive. Você pode federar tabelas do metastore do Hive antes ou depois de desabilitar o acesso direto do workspace a ele. Consulte Atualizar um espaço de trabalho existente para o Catálogo do Unity e Federação de metastore do Hive: habilitar o Catálogo do Unity para governar tabelas registradas em um metastore do Hive.

Importante

Mesmo depois de migrar para o Catálogo do Unity, os clusters de computação do Azure Databricks se conectam ao metastore do Hive por padrão, a menos que você desabilite explicitamente o acesso ao metastore do Hive. Para impedir que a manutenção do metastore do Hive afete suas cargas de trabalho do Catálogo do Unity, você pode desabilitar o acesso direto ao metastore do Hive para todos os clusters e cargas de trabalho ao mesmo tempo (desabilitar todo o acesso direto ao metastore do Hive) ou usar uma configuração do Spark para desabilitar o acesso em uma base cluster por cluster (Desabilitar todo o acesso direto ao metastore do Hive).

Para desabilitar o acesso ao metastore do Hive no nível da conta para novos workspaces, use a configuração de conta Desabilitar recursos herdados .

Antes de começar: quando você precisa desabilitar o metastore herdado?

Antes de desabilitar o metastore herdado do Hive, você deve atender aos seguintes critérios:

  • Você terminou de migrar todas as tabelas registradas no metastore herdado para o Catálogo do Unity, ou sempre usou o Catálogo do Unity e nunca o metastore do Hive herdado.
  • Você deseja fazer com que seus usuários deixem de usar tabelas registradas no metastore herdado.
  • Você atualizou todos os trabalhos para o Databricks Runtime 13.3 LTS ou superior.

O que acontece quando você desabilita o metastore herdado?

Depois de desabilitar o metastore herdado:

  • Haverá falha em todos os trabalhos em execução em relação às tabelas registradas no metastore do Hive.

  • O fallback é desabilitado.

  • Os trabalhos executados nas versões do Databricks Runtime abaixo da 13.3 falharão.

    Atualmente, os trabalhos em execução continuarão a funcionar até que sejam encerrados, mas as reinicializações nesses clusters falharão.

  • O cabeçalho Legacy e o catálogo hive_metastore desaparecem do painel do navegador Catalog Explorer.

  • Os comandos SQL que tentam mostrar o conteúdo do hive_metastore catálogo falharão.

Note

Desativar o acesso herdado não impede que os usuários usem credenciais em nível de cluster, como principais de serviço, disponíveis em um cluster. O Databricks recomenda que você remova essas credenciais de seus clusters.

Os clusters sem isolamento compartilhado não respeitam a configuração de desabilitação do metastore do Hive herdado. Para impedir que os usuários criem e usem esses clusters, habilite a configuração Impor Isolamento do Usuário para o workspace. Consulte Impor tipos de cluster de isolamento de usuários em um espaço de trabalho.

Desabilitar todo o acesso direto ao metastore do Hive

Desabilite o metastore do Hive herdado do seu workspace usando a configuração do administrador de workspace Desabilitar o acesso herdado:

  1. Como administrador do workspace, faça logon no workspace do Azure Databricks.
  2. Clique no menu de perfil do usuário na parte superior direita e selecione Configurações no menu.
  3. Vá para Administração do Workspace > Segurança.
  4. Defina Desabilitar acesso herdado como Desabilitado: recursos de acesso herdado não podem ser usados.
  5. Para garantir que a nova configuração tenha efeito, aguarde aproximadamente cinco minutos.
  6. Reinicie todos os clusters em execução.

Desabilitar o acesso para clusters de computação individuais

Você também pode desabilitar o acesso direto ao metastore do Hive gradualmente, para cada cluster individualmente. Essa abordagem pode ser útil durante uma migração do Unity Catalog quando você deseja reduzir a dependência do metastore do Hive incrementalmente até poder desabilitá-la para o workspace inteiro.

Para desabilitar o acesso direto, defina as seguintes configurações do Spark no cluster:

spark.databricks.unityCatalogOnlyMode True
spark.databricks.sql.initial.catalog.namespace <catalog-name>

Substitua <catalog-name> pelo nome de um catálogo do Unity Catalog que existe em seu metastore. Ao habilitar o modo somente catálogo do Unity, você também deve definir um catálogo inicial porque o cluster não pode mais usar hive_metastore como o catálogo padrão.

  • Last updated on