Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Este artigo contém recomendações e recursos para configurar a computação para trabalhos do Lakeflow.
Importante
As limitações para computação sem servidor para trabalhos incluem o seguinte:
- Sem suporte para agendamento contínuo .
- Não há suporte para gatilhos de intervalo padrão ou baseados em tempo no Structured Streaming.
Para obter mais limitações, consulte Limitações de computação sem servidor.
Cada trabalho pode ter uma ou mais tarefas. Você define recursos de computação para cada tarefa. Várias tarefas definidas para o mesmo trabalho podem usar o mesmo recurso de computação.
Qual é o cálculo recomendado para cada tarefa?
A tabela a seguir indica os tipos de computação recomendados e suportados para cada tipo de tarefa.
Nota
A computação sem servidor para trabalhos tem limitações e não suporta todas as cargas de trabalho. Consulte Limitações de computação sem servidor.
| Tarefa | Computação recomendada | Computação suportada |
|---|---|---|
| Notebooks | Trabalhos sem servidor | Trabalhos sem servidor, trabalhos clássicos, trabalhos clássicos de uso geral |
| Script em Python | Trabalhos sem servidor | Trabalhos sem servidor, trabalhos clássicos, trabalhos clássicos de uso geral |
| Roda Python | Trabalhos sem servidor | Trabalhos sem servidor, trabalhos clássicos, trabalhos clássicos de uso geral |
| SQL | Armazém SQL sem servidor | Armazém de dados SQL sem servidor, armazém de dados SQL pro |
| Oleodutos declarativos Lakeflow Spark | Pipeline sem servidor | Pipeline sem servidor, Pipeline clássico |
| DBT | Armazém SQL sem servidor | Armazém de dados SQL sem servidor, armazém de dados SQL pro |
| Comandos dbt CLI | Trabalhos sem servidor | Trabalhos sem servidor, trabalhos clássicos, trabalhos clássicos de uso geral |
| JAR | Trabalhos clássicos | Trabalhos clássicos, polivalentes |
| Enviar faísca | Trabalhos clássicos | Trabalhos clássicos |
O preço do Lakeflow Jobs está vinculado à computação usada para executar tarefas. Para obter mais detalhes, consulte Preços do Databricks.
Como configuro a computação para Jobs?
A computação de trabalhos clássicos é configurada diretamente da interface do usuário de trabalhos do Lakeflow e essas configurações fazem parte da definição de trabalho. Todos os outros tipos de computação disponíveis armazenam suas configurações com outros ativos de espaço de trabalho. A tabela a seguir tem mais detalhes:
| Tipo de computação | Detalhes |
|---|---|
| Computação clássica de tarefas | Você configura a computação para trabalhos clássicos usando a mesma interface do usuário e as configurações disponíveis para computação multiuso. Consulte Referência de configuração de computação. |
| Computação sem servidor para trabalhos | A computação sem servidor para trabalhos é o padrão para todas as tarefas que a suportam. O Databricks gerencia configurações de computação para computação sem servidor. Consulte Executar seus trabalhos do Lakeflow com computação sem servidor para fluxos de trabalho. |
| Armazéns SQL | Os armazéns SQL sem servidor e pro são configurados por administradores de espaço de trabalho ou usuários com privilégios irrestritos de criação de cluster. Você configura tarefas para serem executadas em armazéns SQL existentes. Consulte Ligar-se a um SQL warehouse. |
| Lakeflow Spark Declarative Pipelines computar | Você define as configurações de computação para Lakeflow Spark Declarative Pipelines durante a configuração do pipeline. Consulte Configurar computação clássica para pipelines. Azure Databricks gere recursos de computação para Lakeflow Spark Declarative Pipelines sem servidor. Consulte Configurar um pipeline sem servidor. |
| Computação polivalente | Opcionalmente, você pode configurar tarefas usando a computação clássica para todos os fins. O Databricks não recomenda essa configuração para trabalhos de produção. Consulte a Referência de configuração de computação e A computação multiuso deve ser usada para tarefas?. |
Partilhe computação entre tarefas
Configure tarefas para usar os mesmos recursos de computação dos processos, de modo a otimizar o uso de recursos com processos que orquestram várias tarefas. O compartilhamento de computação entre tarefas pode reduzir a latência associada aos tempos de inicialização.
Você pode usar um único recurso de computação de trabalho para executar todas as tarefas que fazem parte do trabalho ou vários recursos de trabalho otimizados para cargas de trabalho específicas. Qualquer computação de trabalho configurada como parte de um trabalho está disponível para todas as outras tarefas no trabalho.
A tabela a seguir destaca as diferenças entre a computação de trabalho configurada para uma única tarefa e a computação de trabalho compartilhada entre tarefas:
| Tarefa única | Partilhado entre tarefas | |
|---|---|---|
| Iniciar | Quando a execução da tarefa começa. | Quando a primeira tarefa configurada para ser executada usando o recurso de computação começa. |
| Encerrar | Após a execução da tarefa. | Após a tarefa final configurada para usar o recurso de computação ser executada. |
| Computação ociosa | Não aplicável. | A computação permanece ativa e ociosa enquanto as tarefas que não usam o recurso de computação são executadas. |
Um cluster de tarefas compartilhadas tem como escopo uma única execução de trabalho e não pode ser usado por outros trabalhos ou execuções do mesmo trabalho.
As bibliotecas não podem ser declaradas em uma configuração de cluster de trabalho compartilhado. Você deve adicionar bibliotecas dependentes nas configurações de tarefas.
Rever, configurar e trocar cargas de trabalho computacional
A seção Computação no painel Detalhes do Trabalho lista todos os recursos de computação configurados para as tarefas no trabalho atual.
As tarefas configuradas para usar um recurso de computação são realçadas no gráfico de tarefas quando você passa o mouse sobre a especificação de computação.
Use o botão Trocar para alterar a computação de todas as tarefas associadas a um recurso de computação.
Os recursos de computação de trabalhos clássicos têm uma opção para Configurar. Outros recursos de computação oferecem opções para exibir e modificar detalhes de configuração de computação.
Mais informações
Para obter detalhes adicionais sobre como configurar trabalhos clássicos do Azure Databricks, consulte Práticas recomendadas para configurar trabalhos clássicos do Lakeflow.