Tarefa da plataforma DBT para trabalhos

Use a tarefa da plataforma dbt para orquestrar e monitorar trabalhos existentes da plataforma dbt diretamente do Azure Databricks. Esta página explica como selecionar e acionar trabalhos dbt, definir opções de repetição automática para falhas e monitorar execuções.

Diferenças entre a plataforma dbt e as tarefas dbt

O Jobs oferece dois tipos de tarefas para projetos dbt. Escolha o certo com base em onde seu projeto dbt é gerenciado:

Tarefa da plataforma dbt: Use isso para orquestrar tarefas pré-existentes da plataforma dbt. Ele se conecta à API da plataforma dbt e dispara uma execução lá. Escolha isso se quiser centralizar a orquestração no Azure Databricks, mantendo todos os benefícios da plataforma dbt, como monitoramento e agendamento.

tarefa dbt: use isso para executar projetos dbt core em um cluster do Azure Databricks com código do Git. Escolha isso se precisar de controle total sobre o ambiente de execução e preferir gerenciar dependências inteiramente no Azure Databricks. Consulte dbt task para trabalhos.

Pré-requisitos

Para usar a tarefa da plataforma dbt, você deve atender aos seguintes pré-requisitos:

• Um administrador de espaço de trabalho deve habilitar a visualização. Consulte Gerenciar visualizações do Azure Databricks.
• Você deve ter CREATE CONNECTION privilégios no metastore do Unity Catalog no seu espaço de trabalho.
• Acesso a um projeto dbt existente com um trabalho definido na plataforma dbt. Para saber mais, consulte Trabalhos na plataforma dbt na documentação do dbt.
• Permissões para gerar um token de serviço na plataforma dbt. Para saber mais, consulte Tokens de conta de serviço.

Reúna detalhes da plataforma dbt

Para integrar o dbt ao Azure Databricks, você precisa dos três detalhes a seguir:

• O ID da conta da sua plataforma dbt.
• Uma chave de API gerada na plataforma dbt.
• URL do host de implantação da plataforma dbt.

As seções a seguir descrevem como encontrar essas informações necessárias.

Obtenha o ID da sua conta:

Para recuperar o ID da sua conta:

1. Faça login na plataforma dbt.
2. Navegue até Configurações>Configurações da conta.
3. Obtenha o ID da conta do sufixo URL, que está no seguinte formato: https://cloud.getdbt.com/settings/accounts/{account_id}.

Obtenha sua chave de API

Para recuperar sua chave de API:

1. Faça login na plataforma dbt.
2. Navegue até Configurações>Definições de Perfil>O Seu Perfil>Acesso à API>Chave da API.

URL do anfitrião

O URL do seu servidor depende da sua localização e locação. Consulte Acesso, Regiões, endereços IP & na documentação dbt para encontrar o URL da sua região.

Identifique sua região e locação (multilocatário ou baseada em célula). Utilize a coluna URL de acesso para obter o URL do anfitrião.

Configuração de conexão da plataforma DBT

Use as etapas a seguir para configurar sua conexão de plataforma dbt no Azure Databricks.

1. Clique no Catálogo na barra lateral.
2. Clique no o ícone de adição no navegador de esquema. Em seguida, clique em Criar uma conexão. O formulário Configurar conexão é aberto.
3. Introduza as seguintes informações e, em seguida, clique em Seguinte:
   • Em Nome da conexão, insira um nome.
   • Em Tipo de conexão, escolha plataforma dbt.
4. Insira o URL do host da plataforma dbt no campo de texto Host . Não inclua uma barra final (/).
5. Insira o ID da conta da plataforma dbt e o token da API que você coletou em uma etapa anterior.
6. Clique em Criar conexão para confirmar os detalhes da conexão.
7. (Opcional) Conceda a outros usuários privilégios para usar a conexão:
   • Escolha os IDs de usuário e os grupos aos quais deseja conceder privilégios no menu suspenso Principais .
   • Selecione os privilégios que deseja conceder.
   • Clique em Confirmar.

Criar um novo trabalho com uma tarefa da plataforma dbt

1. No espaço de trabalho, clique no Jobs & Pipelines na barra lateral.
2. Clique em Criar e depois Trabalho. O novo trabalho é automaticamente nomeado com um timestamp associado.
3. (Opcional) Clique no nome do trabalho e insira um novo nome para editá-lo.
4. Clique em Adicionar outro tipo de tarefa. Pesquise pela plataforma dbt e clique no ícone para selecioná-la.
5. Insira um nome de tarefa.
6. Use o menu suspenso dbt platform connection para selecionar a conexão criada anteriormente.
7. Use o menu suspenso do dbt platform job para selecionar a tarefa da plataforma dbt que o utilizador pretende orquestrar.
8. Clique em Salvar tarefa.
9. (Opcional) Clique em Executar agora para testar manualmente seu trabalho.

Definir um cronograma ou gatilho

Você pode configurar trabalhos para serem acionados automaticamente de acordo com um cronograma baseado em tempo ou a chegada de novos dados. Para saber mais sobre as opções disponíveis, consulte Automatizando trabalhos com agendas e gatilhos.

Execuções de monitoramento

Você pode monitorar trabalhos do Lakeflow na interface do usuário do Azure Databricks. Para trabalhos da plataforma dbt, você também pode abrir um link que aponta para os detalhes da execução do trabalho na plataforma dbt.

Para monitorizar uma execução:

1. Clique em Trabalhos & Pipelines na barra lateral do espaço de trabalho.

2. (Opcional) Selecione os filtros Trabalhos e Propriedade de mim .

3. Clique no link Nome da sua vaga.

   O separador Execuções aparece, mostrando as exibições de matriz e lista de execuções ativas e concluídas.

4. Clique no link para a execução na coluna Hora de início na exibição de lista de execuções. O status do trabalho da plataforma dbt é aberto.

5. Clique em Exibir no dbt para ver os detalhes da execução do trabalho na plataforma dbt.