Automatize a configuração do Unity Catalog usando o Terraform

Você pode automatizar a configuração do Unity Catalog usando o provedor Databricks Terraform. Este artigo fornece links para o guia de implantação do Unity Catalog do provedor Terraform e documentação de referência de recursos, juntamente com requisitos ("Antes de começar") e dicas de validação e implantação.

Antes de começar

Para automatizar a configuração do Unity Catalog usando o Terraform, você deve ter o seguinte:

• Sua conta do Azure Databricks deve estar no plano Premium.
• Em seu locatário do Azure, você deve ter permissão para criar:
  • Uma conta de armazenamento para usar com o Azure Data Lake Storage. Ver Criar uma conta de armazenamento para usar com Azure Data Lake Storage.
  • Um novo recurso para manter uma identidade gerenciada atribuída ao sistema. Isso requer que tu sejas um Contributor ou Owner de um grupo de recursos em qualquer subscrição no locatário.

Para usar o provedor Databricks Terraform para configurar um metastore para o Unity Catalog, armazenamento para o metastore, qualquer armazenamento externo e todas as suas credenciais de acesso relacionadas, você deve ter o seguinte:

• Uma conta do Azure.

• Um utilizador administrador ao nível da conta na sua conta Azure.

• Em sua máquina de desenvolvimento local, você deve ter:

  • O Terraform CLI. Consulte Download Terraform no site Terraform.

  • A CLI do Azure, conectada por meio do comando az login com um usuário que tenha direitos de Contributor ou Owner à sua assinatura. Consulte Como instalar a CLI do Azure. Para entrar com uma conta de usuário ou entidade de serviço, consulte Entrar com a CLI do Azure.

    Observação

    Quando te autenticas com ferramentas, sistemas, scripts e aplicações automatizadas, é uma prática recomendada de segurança fazer login através do comando az login com um principal de serviço do Microsoft Entra ID. Consulte Entrar com uma entidade de serviço e Autenticar com a entidade de serviço do Azure.

Para usar o provedor Databricks Terraform para configurar todos os outros componentes de infraestrutura do Unity Catalog, você deve ter o seguinte:

• Um espaço de trabalho do Azure Databricks.

• Em sua máquina de desenvolvimento local, você deve ter:

  • O Terraform CLI. Consulte Download Terraform no site Terraform.

  • Um dos seguintes:

    • Databricks CLI versão 0.205 ou superior, configurado com o seu token de acesso pessoal do Azure Databricks ao executar databricks configure --host <workspace-url> --profile <some-unique-profile-name>. Consulte Instalar ou atualizar a CLI do Databricks e aautenticação de token de acesso pessoal (preterida).

      Observação

      Como prática recomendada de segurança, quando você se autentica com ferramentas, sistemas, scripts e aplicativos automatizados, o Databricks recomenda que você use tokens de acesso pessoal pertencentes a entidades de serviço em vez de usuários do espaço de trabalho. Para criar tokens para entidades de serviço, consulte Gerenciar tokens para uma entidade de serviço.

    • A CLI do Azure, conectada por meio do comando az login. Consulte Como instalar a CLI do Azure. Para entrar com uma conta de usuário ou entidade de serviço, consulte Entrar com a CLI do Azure.

      Observação

      Quando te autenticas com ferramentas, sistemas, scripts e aplicações automatizadas, é uma prática recomendada de segurança fazer login através do comando az login com um principal de serviço do Microsoft Entra ID. Consulte Entrar com uma entidade de serviço e Autenticar com a entidade de serviço do Azure.

    • As duas variáveis de ambiente do Azure Databricks a seguir:

      • DATABRICKS_HOST, defina o valor da URL da instância do espaço de trabalho , por exemplo, https://dbc-1234567890123456.cloud.databricks.com
      • DATABRICKS_TOKEN, definido como o valor do seu token de acesso pessoal do Azure Databricks ou token do Microsoft Entra ID (anteriormente Azure Ative Directory). Consulte também Monitorar e revogar tokens de acesso pessoal.

      Para definir essas variáveis de ambiente, consulte a documentação do seu sistema operacional.

      Observação

      Como prática recomendada de segurança, quando você se autentica com ferramentas, sistemas, scripts e aplicativos automatizados, o Databricks recomenda que você use tokens de acesso pessoal pertencentes a entidades de serviço em vez de usuários do espaço de trabalho. Para criar tokens para entidades de serviço, consulte Gerenciar tokens para uma entidade de serviço.

Guia de implantação do Unity Catalog do provedor Terraform e documentação de referência de recursos

Para saber como implantar todos os pré-requisitos e habilitar o Unity Catalog para um espaço de trabalho, consulte Implantando recursos de pré-requisito e habilitando o Unity Catalog na documentação do provedor Databricks Terraform.

Se você já tiver alguns componentes de infraestrutura do Unity Catalog instalados, poderá usar o Terraform para implantar componentes adicionais da infraestrutura do Unity Catalog conforme necessário. Consulte cada seção do guia mencionado no parágrafo anterior e a seção Catálogo Unity da documentação do provedor Databricks Terraform.

Validar, planejar, implantar ou destruir os recursos

• Para validar a sintaxe das configurações do Terraform sem implantá-las, execute o comando terraform validate.
• Para mostrar as ações que o Terraform tomaria para implantar as configurações, execute o comando terraform plan. Na verdade, esse comando não implanta as configurações.
• Para implantar as configurações, execute o comando terraform deploy.
• Para excluir os recursos implantados, execute o comando terraform destroy.