Compartilhar via


Automatizando trabalhos com agendas e gatilhos

Em Trabalhos do Lakeflow, é possível configurar trabalhos para disparar automaticamente em qualquer uma das seguintes situações:

  • Em uma agenda com base no tempo
  • Quando da chegada de arquivos a um local de armazenamento do Unity Catalog
  • Continuamente

Você também pode disparar execuções de tarefas manualmente ou por meio de ferramentas de orquestração externas.

Agendamentos e gatilhos de trabalho

Tipo de gatilho Comportamento
Agendado Aciona uma execução de trabalho com base em um agendamento baseado em tempo. Consulte Executar trabalhos em um agendamento.
Atualização da tabela Os gatilhos são executados quando as tabelas de origem são atualizadas. Consulte trabalhos de gatilho quando as tabelas de origem são atualizadas.
Chegada do arquivo Dispara a execução de um trabalho quando novos arquivos chegam a um local de armazenamento monitorado do Catálogo do Unity. Confira Disparar trabalhos quando novos arquivos chegarem.
Contínuo Para manter o trabalho sempre em execução, acione outra execução de trabalho sempre que uma execução de trabalho for concluída ou falhar. Consulte Executar trabalhos continuamente.
Nenhum (manual) As execuções são disparadas manualmente com o botão Executar agora ou programaticamente usando outras ferramentas de orquestração. Consulte Iniciar uma única execução de trabalho

Por padrão, apenas uma única execução de um trabalho pode estar ativa por vez. No entanto, é possível aumentar esse limite nas configurações avançadas. As corridas são ignoradas quando excedem a simultaneidade máxima configurada para uma tarefa. Consulte Configurar o máximo de execuções simultâneas.

Configurar um gatilho em uma tarefa

  1. Abra a tarefa onde você deseja configurar um gatilho.

  2. No painel Detalhes do trabalho , role para baixo até a seção Agendas &Gatilhos e clique em Adicionar gatilho.

  3. Em Agendas & Gatilhos, selecione o tipo de gatilho que você deseja configurar: Agendado, Atualização de Tabela, Chegada de arquivo ou Contínuo.

    Com base no tipo de gatilho, outras opções também estão disponíveis para configuração.

  4. Clique em Salvar. Depois de salvar o gatilho, seu trabalho será iniciado somente quando um novo arquivo chegar no local configurado.

Observação

Se uma ou mais tarefas em um trabalho de várias tarefas não forem bem-sucedidas, execute novamente o subconjunto de tarefas malsucedidas. Consulte Executar novamente tarefas com falha e ignoradas.

Pausar e retomar gatilhos de trabalho

Você pode pausar e retomar seus trabalhos no painel Detalhes do trabalho em Agendas e Gatilhos. Os botões Pausar e Retomar aparecem apenas para trabalhos que têm um gatilho configurado.

Para pausar qualquer gatilho de trabalho ativo, clique em Pausar. Quando você pausa um gatilho, todas as execuções ativas no momento continuam, mas o gatilho não inicia mais novas execuções.

Para retomar o gatilho, clique em Retomar. Quando você retoma um gatilho, o comportamento configurado é retomado no mesmo agendamento configurado anteriormente.

Ao criar ou editar um gatilho, você também pode controlar essas configurações na caixa de diálogo Programações e gatilhos. Alterne entre Ativo e Pausado para controlar o Status do Gatilho.

Observação

Se uma execução estiver ativa quando um gatilho contínuo for retomado, o agendador de trabalho aguardará até que essa execução seja concluída para disparar uma nova execução.