Tarefa da plataforma dbt para trabalhos

Use a tarefa da plataforma dbt para orquestrar e monitorar trabalhos de plataforma dbt existentes diretamente do Azure Databricks. Esta página explica como selecionar e disparar trabalhos de dbt, definir opções de repetição automática para falhas e monitorar execuções.

Diferenças entre plataforma dbt e tarefas dbt

Os Jobs oferecem dois tipos de tarefas para projetos dbt. Escolha a certa com base no local em que o projeto dbt é gerenciado:

Tarefa da plataforma dbt: use isso para orquestrar trabalhos de plataforma dbt pré-existentes. Ele se conecta à API da plataforma dbt e dispara uma execução lá. Escolha isso se quiser centralizar a orquestração no Azure Databricks, mantendo todos os benefícios da plataforma dbt, como monitoramento e agendamento.

Tarefa dbt: use isso para executar projetos do dbt core em um cluster do Azure Databricks com código do Git. Escolha isso se você precisar de controle total sobre o ambiente de execução e preferir gerenciar dependências inteiramente no Azure Databricks. Consulte Tarefa dbt para trabalhos.

Pré-requisitos

Para usar a tarefa da plataforma dbt, você deve atender aos seguintes pré-requisitos:

• Um administrador do workspace deve habilitar a visualização. Consulte Gerenciar visualizações do Azure Databricks.
• Você deve ter CREATE CONNECTION privilégios no metastore do Catálogo do Unity em seu espaço de trabalho.
• Acesso a um projeto dbt existente com um trabalho definido na plataforma dbt. Para saber mais, confira Trabalhos na plataforma dbt na documentação do dbt.
• Permissões para gerar um token de serviço na plataforma dbt. Para saber mais, consulte tokens de conta de serviço.

Reunir detalhes da plataforma dbt

Para integrar o dbt ao Azure Databricks, você precisa dos três detalhes a seguir:

• Sua ID da conta da plataforma dbt.
• Uma chave de API gerada na plataforma dbt.
• A URL do host de implantação da plataforma dbt.

As seções a seguir descrevem como encontrar essas informações necessárias.

Obtenha a ID da conta:

Para recuperar a ID da conta:

1. Faça logon na plataforma dbt.
2. Navegue até Configurações>Configurações da Conta.
3. Obtenha a ID da conta do sufixo de URL, que está no seguinte formato: https://cloud.getdbt.com/settings/accounts/{account_id}.

Obter sua chave de API

Para recuperar sua chave de API:

1. Faça logon na plataforma dbt.
2. Navegue até Configurações>Configurações do Perfil>Seu Perfil>Acessar API>Chave da API.

URL do host

A URL do host depende da localização e da locação. Consulte os endereços Access, Regions e IP na documentação do dbt para localizar a URL da sua região.

Identifique sua região e locação (multilocatário ou baseado em célula). Use a coluna URL de Acesso para obter a URL do host.

Configuração da conexão da plataforma dbt

Use as etapas a seguir para configurar a conexão da plataforma dbt no Azure Databricks.

1. Clique no Catálogo na barra lateral.
2. Clique no no navegador de esquemas. Em seguida, clique em Criar uma conexão. O formulário Configurar conexão é aberto.
3. Insira as seguintes informações e clique em Avançar:
   • No nome da conexão, insira um nome.
   • Para o tipo de conexão, escolha a plataforma dbt.
4. Insira o host da plataforma dbt no campo Host. Não inclua uma barra final (/).
5. Insira a ID da conta da plataforma dbt e o Token de API coletado em uma etapa anterior.
6. Clique em Criar conexão para confirmar os detalhes da conexão.
7. (Opcional) Conceda a outros usuários privilégios para usar a conexão:
   • Escolha IDs de usuário e grupos para conceder privilégios no menu suspenso Principais.
   • Selecione os privilégios que você deseja conceder.
   • Clique em Confirmar.

Criar um novo trabalho com uma tarefa de plataforma dbt

1. No seu espaço de trabalho, clique no Tarefas e Pipelines na barra lateral.
2. Clique em Criar e depois em Job. O novo trabalho é automaticamente nomeado com um timestamp associado.
3. (Opcional) Clique no nome do trabalho e insira um novo nome para editá-lo.
4. Clique em Adicionar outro tipo de tarefa. Pesquise a plataforma dbt e clique no ícone para selecioná-la.
5. Insira um Nome de tarefa.
6. Use o menu suspenso de conexão da plataforma dbt para selecionar a conexão criada anteriormente.
7. Use o menu suspenso da tarefa da plataforma dbt para selecionar a tarefa da plataforma dbt que você deseja orquestrar.
8. Clique em Salvar tarefa.
9. (Opcional) Clique em Executar agora para testar manualmente seu trabalho.

Definir um agendamento ou gatilho

Você pode configurar trabalhos para disparar automaticamente de acordo com um agendamento baseado em tempo ou a chegada de novos dados. Para saber mais sobre as opções disponíveis, consulte Automatizando trabalhos com agendas e gatilhos.

Monitorar atividades

Você pode monitorar trabalhos do Lakeflow na interface do usuário do Azure Databricks. Para tarefas da plataforma dbt, você também pode abrir um link que aponta para detalhes de execução das tarefas na plataforma dbt.

Para monitorar uma execução:

1. Clique em Jobs & Pipelines na barra lateral do workspace.

2. (Opcional) Selecione os filtros Trabalhos e Propriedade minha .

3. Clique no link Nome do seu trabalho.

   A guia Execuções é exibida, mostrando exibições de matriz e lista de execuções ativas e concluídas.

4. Clique no link para a execução na coluna Hora de Início no modo de exibição de lista de execuções. O status da tarefa na plataforma dbt é aberto.

5. Clique em Exibir no dbt para ver os detalhes de execução do trabalho na plataforma dbt.