Partilhar via

Tarefa de notebook para trabalhos

Use a tarefa do notebook para implantar notebooks Databricks.

Configurar uma tarefa do bloco de notas

Antes de começar, você deve ter seu bloco de anotações em um local acessível pelo usuário que está configurando o trabalho.

Nota

A interface do usuário de trabalhos exibe opções dinamicamente com base em outras configurações configuradas.

Para iniciar o fluxo de configuração de uma tarefa Notebook:

  1. Navegue para o separador Tarefas na UI de Trabalhos.
  2. Clique em Adicionar tarefa.
  3. Insira um nome no campo Nome da tarefa .
  4. No menu suspenso Tipo, selecione Notebook.

Configurar a origem

No menu drop-down Source, selecione um local para o script Python, usando uma das seguintes opções.

Área de trabalho

Use o espaço de trabalho para configurar um bloco de anotações armazenado no espaço de trabalho concluindo as seguintes etapas:

  1. Clique no campo Caminho . A caixa de diálogo Selecionar Bloco de Anotações é apresentada.
  2. Navegue até o bloco de anotações, clique para realçar o arquivo e clique em Confirmar.

Nota

Você pode usar esta opção para configurar uma tarefa para um notebook armazenado numa pasta Git do Databricks. O Databricks recomenda o uso da opção de fornecedor Git e de um repositório Git remoto para o versionamento de ativos agendados com tarefas.

Fornecedor Git

Recorra ao provedor Git para configurar um notebook num repositório Git remoto.

As opções exibidas pela interface do usuário dependem se você já configurou ou não um provedor Git em outro lugar. Apenas um repositório Git remoto pode ser usado para todas as tarefas em um trabalho. Consulte Utilizar o Git com tarefas.

Importante

Os notebooks criados pelo Lakeflow Jobs que são executados a partir de repositórios Git remotos são efêmeros e não podem ser usados para rastrear execuções, experimentos ou modelos do MLflow. Ao criar um bloco de anotações a partir de um trabalho, utilize um experimento MLflow do espaço de trabalho (em vez de um experimento MLflow do bloco de anotações) e chame mlflow.set_experiment("/path/to/experiment") no bloco de anotações do espaço de trabalho antes de executar qualquer código de rastreamento MLflow. Para obter mais detalhes, consulte Evitar perda de dados em experimentos MLflow.

O campo Caminho aparece depois de ter configurado uma referência git.

Insira o caminho relativo para o seu caderno, como etl/bronze/ingest.py.

Importante

Ao inserir o caminho relativo, não comece com / ou ./. Por exemplo, se o caminho absoluto para o bloco de anotações que você deseja acessar for /etl/bronze/ingest.py, insira etl/bronze/ingest.py no campo Caminho .

Configurar recursos de computação e bibliotecas dependentes

  1. Use o Computação para selecionar ou configurar um cluster que suporte a lógica no seu notebook.
  2. Se você usa Serverless computação, instale bibliotecas diretamente dentro do notebook, usando o painel Ambiente ou usando %pip installo . Consulte Configurar o ambiente sem servidor.
  3. Para todas as outras configurações de computação, clique em + Adicionar em Bibliotecas dependentes. A caixa de diálogo Adicionar biblioteca dependente aparece.
    • Você pode selecionar uma biblioteca existente ou carregar uma nova biblioteca.
    • Você só pode usar bibliotecas armazenadas em um local suportado por suas configurações de computação. Veja suporte da biblioteca Python.
    • Cada fonte de biblioteca tem um fluxo diferente para selecionar ou carregar uma biblioteca. Consulte Instalar bibliotecas.

Finalizar a configuração do trabalho

  1. (Opcional) Configure os Parâmetros como pares chave-valor que podem ser acedidos no notebook através de dbutils.widgets. Consulte Configurar parâmetros de tarefa.
  2. Clique em Salvar tarefa.

Limitações

A saída total das células do bloco de notas (a saída combinada de todas as células do bloco de notas) está sujeita a um limite de dimensão de 20 MB. Além disso, a saída de célula individual está sujeita a um limite de tamanho de 8MB. Se a saída total da célula exceder 20 MB de tamanho, ou se a saída de uma célula individual for maior que 8 MB, a execução será cancelada e marcada como falha.

Se precisar de ajuda para localizar células próximas ou além do limite, execute o notebook em um cluster geral e use esta técnica de salvamento automático de notebook.

  • Last updated on