Número de bytes na parte de resultado

Posição na sequência de partes do conjunto de resultados

Número de linhas na parte de resultado

Deslocamento de linha inicial no conjunto de resultados

Nome da coluna

Posição da coluna (baseada em 0)

Formato de tipo de intervalo

O nome do tipo de dados base. Isso não inclui detalhes para tipos complexos, como STRUCT, MAP ou ARRAY.

Número de dígitos para o tipo DECIMAL

Número de casas decimais para tipo DECIMAL

Especificação completa do tipo SQL

Esquema e metadados do conjunto de resultados

ID da instrução

Status de execução da instrução

Metadados da parte de resultado

Definições de coluna do conjunto de resultados

Total de bytes no conjunto de resultados

Número total de partes

Número total de linhas

Status de truncamento de resultados

Estado de execução da instrução

Mensagem de erro

Bytes na parte de resultado

Posição da parte

Matriz de matrizes com valores de cadeia de caracteres

Índice da próxima parte

Próximo link da parte

Linhas em partes

Deslocamento de linha inicial

Bytes em partes

Posição da parte

Tempo de expiração do link

Cabeçalhos HTTP necessários

Índice da próxima parte

Próximo link da parte

Linhas em partes

Deslocamento de linha inicial

A ID global exclusiva da execução recém-disparada.

Se for true, disparará uma atualização completa na tabela dinâmica delta.

Se for true, habilite o enfileiramento para o trabalho. Esse é um campo obrigatório.

A lista de trabalhos. Incluído apenas na resposta se houver trabalhos a serem listados.

Um token que pode ser usado para listar a próxima página de trabalhos (se aplicável).

Um token que pode ser usado para listar a página anterior de trabalhos (se aplicável).

O momento em que esse trabalho foi criado em milissegundos de época (milissegundos desde 1/1/1970 UTC).

O nome de usuário do criador. Esse campo não será incluído na resposta se o usuário já tiver sido excluído.

A ID da política de orçamento usada por esse trabalho para fins de atribuição de custo. Isso pode ser definido por meio (em ordem de precedência): 1. Administradores de orçamento por meio da conta ou do console de workspace 2. A interface do usuário de trabalhos na página de detalhes do trabalho e na API de Trabalhos usando budget_policy_id 3. Padrão inferido com base em políticas de orçamento acessíveis do run_as identidade na criação ou modificação do trabalho.

Indica se o trabalho tem mais propriedades de matriz (tarefas, job_clusters) que não são mostradas. Eles podem ser acessados por meio do ponto de extremidade :method:jobs/get. Ela só é relevante para a API 2.2 :method:jobs/list requests with expand_tasks=true.

O identificador canônico para este trabalho.

A ID da política de orçamento especificada pelo usuário a ser usada para este trabalho. Se não for especificado, uma política de orçamento padrão poderá ser aplicada ao criar ou modificar o trabalho. Consulte effective_budget_policy_id para a política de orçamento usada por essa carga de trabalho.

Uma descrição opcional para a vaga. O comprimento máximo é de 27700 caracteres na codificação UTF-8.

Uma lista de especificações de ambiente de execução de tarefa que podem ser referenciadas por tarefas sem servidor deste trabalho. É necessário que um ambiente esteja presente para tarefas sem servidor. Para tarefas de notebook sem servidor, o ambiente é acessível no painel de ambiente do notebook. Para outras tarefas sem servidor, o ambiente de tarefa deve ser especificado usando environment_key nas configurações da tarefa.

Uma lista de especificações de cluster de trabalho que podem ser compartilhadas e reutilizados por tarefas deste trabalho. Bibliotecas não podem ser declaradas em um cluster de trabalho compartilhado. Você deve declarar bibliotecas dependentes nas configurações de tarefa.

Um número máximo opcional permitido de vezes que o trabalho pode ser executado simultaneamente. Defina esse valor se você quiser ser capaz de fazer várias execuções do mesmo trabalho simultaneamente. Isso é útil, por exemplo, se você disparar seu trabalho em um agendamento frequente e quiser permitir que execuções consecutivas se sobreponham entre si ou se você quiser disparar várias execuções que diferem por seus parâmetros de entrada. Essa configuração afeta apenas novas execuções. Por exemplo, suponha que a simultaneidade do trabalho seja 4 e que haja 4 execuções ativas simultâneas. Em seguida, definir a simultaneidade como 3 não eliminará nenhuma das execuções ativas. No entanto, a partir daí, novas execuções são ignoradas, a menos que haja menos de 3 execuções ativas. Esse valor não pode exceder 1000. Definir esse valor como 0 faz com que todas as novas execuções sejam ignoradas.

Um nome opcional para o trabalho. O comprimento máximo é de 4.096 bytes na codificação UTF-8.

Definições de parâmetro no nível do trabalho

Um mapa de etiquetas associadas ao trabalho específico. Essas tags são encaminhadas para o cluster como rótulos de clusters de trabalho e estão sujeitas às mesmas limitações que os rótulos de cluster. No máximo 25 etiquetas podem ser adicionadas à tarefa.

Uma lista de especificações de tarefa a serem executadas por este trabalho. Ele dá suporte a até 1000 elementos em pontos de extremidade de gravação (:method:jobs/create, :method:jobs/reset, :method:jobs/update, :method:jobs/submit). Os pontos de extremidade de leitura retornam apenas 100 tarefas. Se mais de 100 tarefas estiverem disponíveis, você poderá paginar por meio delas usando :method:jobs/get. Use o campo next_page_token na raiz do objeto para determinar se há mais resultados disponíveis.

Um tempo limite opcional aplicado a cada execução dessa tarefa. Um valor de 0 significa que não há tempo limite.

Caminho do arquivo que contém metadados de implantação.

Uma lista de endereços de email a serem notificados quando a duração de uma execução exceder o limite especificado para a métrica RUN_DURATION_SECONDS no campo de integridade. Se nenhuma regra para a métrica RUN_DURATION_SECONDS for especificada no campo de integridade do trabalho, as notificações não serão enviadas.

Uma lista de endereços de email a serem notificados quando uma execução for concluída sem êxito. Uma execução é considerada como tendo sido concluída sem êxito se terminar com um INTERNAL_ERROR life_cycle_state ou um FAILED ou TIMED_OUT result_state. Se isso não for especificado na criação, redefinição ou atualização do trabalho, a lista estará vazia e as notificações não serão enviadas.

Uma lista de endereços de email a serem notificados quando uma execução começar. Se não for especificado na criação, redefinição ou atualização do trabalho, a lista estará vazia e as notificações não serão enviadas.

Uma lista de endereços de email a serem notificados quando os limites de backlog de streaming forem excedidos para qualquer fluxo. Os limites de backlog de streaming podem ser definidos no campo de integridade usando as seguintes métricas: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS ou STREAMING_BACKLOG_FILES. O alerta é baseado na média de 10 minutos dessas métricas. Se o problema persistir, as notificações serão ressentidas a cada 30 minutos.

Uma lista de endereços de email a serem notificados quando uma execução for concluída com êxito. Considera-se que uma execução foi concluída com êxito se terminar com uma life_cycle_state TERMINADA e uma result_state SUCCESS. Se não for especificado na criação, redefinição ou atualização do trabalho, a lista estará vazia e as notificações não serão enviadas.

A chave de um ambiente. Ele tem que ser exclusivo dentro de um trabalho.

Lista de dependências pip, conforme suportado pela versão do pip nesse ambiente. Cada dependência é uma linha de arquivo de requisitos pip válida por https://pip.pypa.io/en/stable/reference/requirements-file-format/. As dependências permitidas incluem um especificador de requisitos, uma URL de arquivo morto, um caminho de projeto local (como WSFS ou volumes UC no Azure Databricks) ou uma URL de projeto vcs.

Obrigatório Versão do ambiente usada pelo ambiente. Cada versão vem com uma versão específica do Python e um conjunto de pacotes do Python. A versão é uma cadeia de caracteres, que consiste em um inteiro. Consulte https://learn.microsoft.com/azure/databricks/release-notes/serverless/#serverless-environment-versions.

Nome do branch a ser verificado e usado por este trabalho. Esse campo não pode ser especificado em conjunto com git_tag ou git_commit.

Confirme-se para ser verificado e usado por este trabalho. Esse campo não pode ser especificado em conjunto com git_branch ou git_tag.

Nome da marca a ser verificada e usada por este trabalho. Esse campo não pode ser especificado em conjunto com git_branch ou git_commit.

URL do repositório a ser clonado por esse trabalho.

Confirmar que foi usado para executar a execução. Se git_branch tiver sido especificado, isso apontará para o HEAD do branch no momento da execução; se git_tag foi especificado, isso aponta para a confirmação para a qual a marca aponta.

Especifica o valor limite que a métrica de integridade deve obedecer para atender à regra de integridade.

Um nome exclusivo para o cluster de trabalho. Esse campo é necessário e deve ser exclusivo dentro do trabalho. JobTaskSettings pode se referir a esse campo para determinar qual cluster será iniciado para a execução da tarefa.

Quando definido como verdadeiro, valores fixos e padrão da política serão usados para campos que são omitidos. Quando definido como false, somente valores fixos da política serão aplicados.

Encerra automaticamente o cluster depois que ele fica inativo por esse tempo em minutos. Se não for definido, esse cluster não será encerrado automaticamente. Se especificado, o limite deve estar entre 10 e 10000 minutos. Os usuários também podem definir esse valor como 0 para desabilitar explicitamente a terminação automática.

Nome do cluster solicitado pelo usuário. Isso não precisa ser exclusivo. Se não for especificado na criação, o nome do cluster será uma cadeia de caracteres vazia. Para clusters de trabalho, o nome do cluster é definido automaticamente com base nas IDs de execução do trabalho e do trabalho.

Tags adicionais para recursos de cluster. O Azure Databricks marcará todos os recursos de cluster (por exemplo, instâncias do AWS e volumes de EBS) com essas marcas além de default_tags. Observações: – Atualmente, o Azure Databricks permite no máximo 45 marcas personalizadas – os clusters só poderão reutilizar recursos de nuvem se as marcas dos recursos forem um subconjunto das marcas de cluster

A ID opcional do pool de instâncias ao qual o cluster pertence. O cluster de pools usará o pool de instâncias com id (instance_pool_id) caso o pool de driver não tenha sido atribuído.

O tipo de nó do driver do Spark. Observe que esse campo é opcional; se não definido, o tipo de nó de driver será definido como o mesmo valor que node_type_id definido acima. Esse campo, juntamente com node_type_id, não deverá ser definido se virtual_cluster_size estiver definido. Se driver_node_type_id, node_type_id e virtual_cluster_size forem especificados, driver_node_type_id e node_type_id terá precedência.

Dimensionamento automático do Armazenamento Local: quando habilitado, esse cluster adquirirá dinamicamente espaço em disco adicional quando seus trabalhos do Spark estiverem com pouco espaço em disco. Esse recurso requer permissões específicas do AWS para funcionar corretamente – consulte o Guia do Usuário para obter mais detalhes.

Se o LUKS deve ser habilitado nos discos locais das VMs de cluster

A configuração usada para armazenar scripts de inicialização. Qualquer número de destinos pode ser especificado. Os scripts são executados em sequência na ordem fornecida. Se cluster_log_conf for especificado, os logs de script de inicialização serão enviados para <destino>/<cluster-ID>/init_scripts.

A ID opcional do pool de instâncias ao qual o cluster pertence.

Esse campo só pode ser usado quando tipo = CLASSIC_PREVIEW. Quando definido como true, o Azure Databricks definirá automaticamente custom_tags, spark_conf e num_workers relacionados a nó único

Esse campo codifica, por meio de um único valor, os recursos disponíveis para cada um dos nós do Spark neste cluster. Por exemplo, os nós do Spark podem ser provisionados e otimizados para cargas de trabalho intensivas de computação e memória. Recupere uma lista de tipos de nós disponíveis usando a chamada à API :method:clusters/listNodeType.

Número de nós de trabalho que esse cluster deve ter. Um cluster tem um Driver Spark e executores de num_workers para um total de num_workers + 1 nós Spark. Observação: ao ler as propriedades de um cluster, esse campo reflete o número desejado de trabalhadores em vez do número atual real de trabalhos. Por exemplo, se um cluster for redimensionado de 5 a 10 trabalhadores, esse campo será imediatamente atualizado para refletir o tamanho de destino de 10 trabalhadores, enquanto os trabalhadores listados em spark_info aumentarão gradualmente de 5 para 10 à medida que os novos nós forem provisionados.

A ID da política de cluster usada para criar o cluster, se aplicável.

Nome de usuário único se data_security_mode estiver SINGLE_USER

Um objeto que contém um conjunto opcional de pares chave-valor de configuração do Spark especificado pelo usuário. Os usuários também podem passar uma cadeia de caracteres de opções de JVM extras para o driver e os executores por meio de spark.driver.extraJavaOptions e spark.executor.extraJavaOptions, respectivamente.

Um objeto que contém um conjunto opcional de pares chave-valor de variáveis de ambiente especificados pelo usuário. Observe que o par chave-valor do formulário (X,Y) será exportado como está (ou seja, exportar X='Y') ao iniciar o driver e os trabalhadores. Para especificar um conjunto adicional de SPARK_DAEMON_JAVA_OPTS, recomendamos acrescentá-los a $SPARK_DAEMON_JAVA_OPTS, conforme mostrado no exemplo abaixo. Isso garante que todas as variáveis ambientais gerenciadas do databricks padrão também sejam incluídas. Exemplo de variáveis de ambiente do Spark: {"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} ou {"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}

A versão spark do cluster, por exemplo, 3.3.x-scala2.11. Uma lista das versões disponíveis do Spark pode ser recuperada usando a chamada à API :method:clusters/sparkVersions.

Conteúdo da chave pública SSH que será adicionado a cada nó do Spark neste cluster. As chaves privadas correspondentes podem ser usadas para fazer logon com o nome de usuário ubuntu na porta 2200. Até 10 chaves podem ser especificadas.

Esse campo só pode ser usado quando tipo = CLASSIC_PREVIEW. effective_spark_version é determinado por spark_version (versão DBR), esse campo use_ml_runtime e se node_type_id é nó gpu ou não.

O número máximo de trabalhos para os quais o cluster pode escalar verticalmente quando sobrecarregado. Observe que max_workers deve ser estritamente maior que min_workers.

O número mínimo de trabalhos para os quais o cluster pode reduzir verticalmente quando subutilizado. É também o número inicial de trabalhos que o cluster terá após a criação.

Os primeiros nós first_on_demand do cluster serão colocados em instâncias sob demanda. Esse valor deve ser maior que 0, para garantir que o nó do driver de cluster seja colocado em uma instância sob demanda. Se esse valor for maior ou igual ao tamanho atual do cluster, todos os nós serão colocados em instâncias sob demanda. Se esse valor for menor que o tamanho do cluster atual, first_on_demand nós serão colocados em instâncias sob demanda e o restante será colocado em instâncias de disponibilidade. Observe que esse valor não afeta o tamanho do cluster e não pode ser modificado ao longo do tempo de vida de um cluster.

O preço máximo da oferta a ser usado para instâncias spot do Azure. O preço máximo da oferta não pode ser maior do que o preço sob demanda da instância. Se não for especificado, o valor padrão será -1, que especifica que a instância não pode ser removida com base no preço e apenas com base na disponibilidade. Além disso, o valor deve ser > 0 ou -1.

destino de dbfs, por exemplo, dbfs:/my/path

Destino de volumes uc, por exemplo, /Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh ou dbfs:/Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh

URL da imagem do Docker.

Senha do usuário

Nome do utilizador

abfss destination, por exemplo, abfss:// container-name<@>storage-account-name.dfs.core.windows.net/<> directory-name<>.

destino do arquivo local, por exemplo, arquivo:/my/local/file.sh

Destino/URI do GCS, por exemplo, gs://my-bucket/some-prefix

destino do wsfs, por exemplo, workspace:/cluster-init-scripts/setup-datadog.sh

Com os trabalhos definidos, o cluster pode ser usado para trabalhos

Com os notebooks definidos, esse cluster pode ser usado para notebooks

Se for true, não envie notificações para destinatários especificados no on_failure se a execução for cancelada.

Se for true, não envie notificações para destinatários especificados em on_failure se a execução for ignorada.

Valor padrão do parâmetro.

O nome do parâmetro definido. Pode conter apenas caracteres alfanuméricos, _, -, e .

ID do aplicativo de uma entidade de serviço ativa. Definir esse campo requer a função servicePrincipal/user.

O e-mail de um usuário ativo do workspace. Usuários não administradores só podem definir esse campo como seu próprio email.

Uma expressão Cron usando a sintaxe de Quartzo que descreve a agenda de um trabalho. Consulte o Gatilho cron para obter detalhes. Este campo é necessário.

Uma ID de fuso horário java. A agenda de um trabalho é resolvida em relação a esse fuso horário. Consulte o Fuso Horário do Java para obter detalhes. Este campo é necessário.

Uma matriz opcional de objetos que especifica o grafo de dependência da tarefa. Todas as tarefas especificadas neste campo devem ser concluídas antes de executar essa tarefa. A tarefa será executada somente se a condição run_if for verdadeira. A chave é task_key e o valor é o nome atribuído à tarefa dependente.

Uma descrição opcional para essa tarefa.

Uma opção para desabilitar a otimização automática no sem servidor

A chave que faz referência a uma especificação de ambiente em um trabalho. Esse campo é necessário para script Python, roda python e tarefas dbt ao usar computação sem servidor.

Se existing_cluster_id, a ID de um cluster existente que é usada para todas as execuções. Ao executar trabalhos ou tarefas em um cluster existente, talvez seja necessário reiniciar manualmente o cluster se ele parar de responder. Sugerimos a execução de trabalhos e tarefas em novos clusters para maior confiabilidade

Se job_cluster_key, essa tarefa será executada reutilizando o cluster especificado em job.settings.job_clusters.

Uma lista opcional de bibliotecas a serem instaladas no cluster. O valor padrão é uma lista vazia.

Um número máximo opcional de vezes para tentar novamente uma execução malsucedida. Uma execução será considerada sem êxito se for concluída com o result_state ou INTERNAL_ERROR life_cycle_state com falha. O valor -1 significa repetir indefinidamente e o valor 0 significa nunca repetir.

Um intervalo mínimo opcional em milissegundos entre o início da execução com falha e a execução de repetição subsequente. O comportamento padrão é que execuções malsucedidas são repetidas imediatamente.

Uma política opcional para especificar se um trabalho será repetido quando atingir o tempo limite. O comportamento padrão é não repetir o tempo limite.

Um nome exclusivo para a tarefa. Esse campo é usado para fazer referência a essa tarefa de outras tarefas. Esse campo é necessário e deve ser exclusivo em seu trabalho pai. Em Atualizar ou Redefinir, esse campo é usado para fazer referência às tarefas a serem atualizadas ou redefinidas.

Um tempo limite opcional aplicado a cada execução desta tarefa de trabalho. Um valor de 0 significa que não há tempo limite.

O operando à esquerda da tarefa de condição. Pode ser um valor de cadeia de caracteres ou um estado de trabalho ou referência de parâmetro.

O operando direito da tarefa de condição. Pode ser um valor de cadeia de caracteres ou um estado de trabalho ou referência de parâmetro.

O identificador do painel a ser atualizado.

Opcional: a ID do warehouse com a qual executar o painel para o agendamento. Se não for especificado, o warehouse padrão do painel será usado.

Opcional: permite que os usuários especifiquem uma linha de assunto personalizada no email enviado aos assinantes.

Quando verdadeiro, a assinatura não enviará emails.

A lista de assinantes para a qual enviar o instantâneo do painel.

Um instantâneo do painel será enviado para o destino quando o campo destination_id estiver presente.

Um instantâneo do painel será enviado para o email do usuário quando o campo user_name estiver presente.

Só pode ser especificado em dependências de tarefa de condição. O resultado da tarefa dependente que deve ser atendida para que essa tarefa seja executada.

O nome da tarefa da qual essa tarefa depende.

Uma lista de endereços de email a serem notificados quando a duração de uma execução exceder o limite especificado para a métrica RUN_DURATION_SECONDS no campo de integridade. Se nenhuma regra para a métrica RUN_DURATION_SECONDS for especificada no campo de integridade do trabalho, as notificações não serão enviadas.

Uma lista de endereços de email a serem notificados quando uma execução for concluída sem êxito. Uma execução é considerada como tendo sido concluída sem êxito se terminar com um INTERNAL_ERROR life_cycle_state ou um FAILED ou TIMED_OUT result_state. Se isso não for especificado na criação, redefinição ou atualização do trabalho, a lista estará vazia e as notificações não serão enviadas.

Uma lista de endereços de email a serem notificados quando uma execução começar. Se não for especificado na criação, redefinição ou atualização do trabalho, a lista estará vazia e as notificações não serão enviadas.

Uma lista de endereços de email a serem notificados quando os limites de backlog de streaming forem excedidos para qualquer fluxo. Os limites de backlog de streaming podem ser definidos no campo de integridade usando as seguintes métricas: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS ou STREAMING_BACKLOG_FILES. O alerta é baseado na média de 10 minutos dessas métricas. Se o problema persistir, as notificações serão ressentidas a cada 30 minutos.

Uma lista de endereços de email a serem notificados quando uma execução for concluída com êxito. Considera-se que uma execução foi concluída com êxito se terminar com uma life_cycle_state TERMINADA e uma result_state SUCCESS. Se não for especificado na criação, redefinição ou atualização do trabalho, a lista estará vazia e as notificações não serão enviadas.

URI da biblioteca JAR a ser instalada. As URIs com suporte incluem caminhos de workspace, caminhos de volumes de catálogo do Unity e URIs do ADLS. Por exemplo: { "jar": "/Workspace/path/to/library.jar" }, { "jar" : "/Volumes/path/to/library.jar" } ou { "jar": "abfss://my-bucket/library.jar" }. Se o ADLS for usado, verifique se o cluster tem acesso de leitura na biblioteca. Talvez seja necessário iniciar o cluster com uma entidade de serviço do Microsoft Entra ID para acessar o URI do ADLS.

URI do arquivo requirements.txt a ser instalado. Há suporte apenas para caminhos de workspace e caminhos de volumes de catálogo do Unity. Por exemplo: { "requirements": "/Workspace/path/to/requirements.txt" } ou { "requirements" : "/Volumes/path/to/requirements.txt" }

URI da biblioteca de rodas a ser instalada. As URIs com suporte incluem caminhos de workspace, caminhos de volumes de catálogo do Unity e URIs do ADLS. Por exemplo: { "whl": "/Workspace/path/to/library.whl" }, { "whl" : "/Volumes/path/to/library.whl" } ou { "whl": "abfss://my-bucket/library.whl" }. Se o ADLS for usado, verifique se o cluster tem acesso de leitura na biblioteca. Talvez seja necessário iniciar o cluster com uma entidade de serviço do Microsoft Entra ID para acessar o URI do ADLS.

Um número máximo permitido opcional de execuções simultâneas da tarefa. Defina esse valor se você quiser ser capaz de executar várias execuções da tarefa simultaneamente.

Matriz para tarefa a ser iterada. Pode ser uma cadeia de caracteres JSON ou uma referência a um parâmetro de matriz.

O nome do pacote CRAN a ser instalado.

O repositório em que o pacote pode ser encontrado. Se não for especificado, o repositório CRAN padrão será usado.

Coordenadas maven no estilo Gradle. Por exemplo: "org.jsoup:jsoup:1.7.2".

Lista de dependências a serem excluídas. Por exemplo: ["slf4j:slf4j", "*:hadoop-client"]. Exclusões de dependência do Maven: https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html.

Repositório maven do qual instalar o pacote Maven. Se omitido, os pacotes do Repositório Central do Maven e do Spark serão pesquisados.

O nome do pacote pypi a ser instalado. Também há suporte para uma especificação de versão exata opcional. Exemplos: "simplejson" e "simplejson==3.8.0".

O repositório em que o pacote pode ser encontrado. Se não for especificado, o índice pip padrão será usado.

Parâmetros base a serem usados para cada execução deste trabalho. Se a execução for iniciada por uma chamada para :method:jobs/run Now com parâmetros especificados, os dois mapas de parâmetros serão mesclados. Se a mesma chave for especificada em base_parameters e em execução agora, o valor de run-now será usado. Use variáveis de parâmetro de tarefa para definir parâmetros que contêm informações sobre execuções de trabalho. Se o notebook usa um parâmetro que não é especificado no base_parameters do trabalho ou nos parâmetros de substituição run-now, o valor padrão do notebook é usado. Recupere esses parâmetros em um notebook usando dbutils.widgets.get. A representação JSON desse campo não pode exceder 1 MB.

O caminho do notebook a ser executado no workspace do Azure Databricks ou no repositório remoto. Para notebooks armazenados no workspace do Azure Databricks, o caminho deve ser absoluto e começar com uma barra. Para notebooks armazenados em um repositório remoto, o caminho deve ser relativo. Este campo é necessário.

O warehouse_id opcional para executar o notebook em um sql warehouse. Não há suporte para armazéns SQL clássicos, use sql warehouses sem servidor ou profissionais. Observe que os sql warehouses dão suporte apenas a células SQL; se o notebook contiver células não SQL, a execução falhará.

Se for true, não envie notificações aos destinatários especificados em on_start para as execuções repetidas e não envie notificações aos destinatários especificados em on_failure até a última repetição da execução.

Se for true, não envie notificações para destinatários especificados no on_failure se a execução for cancelada.

Se for true, não envie notificações para destinatários especificados em on_failure se a execução for ignorada.

Se for true, disparará uma atualização completa na tabela dinâmica delta.

O nome completo da tarefa de pipeline a ser executada.

Ponto de entrada nomeado a ser usado, se ele não existir nos metadados do pacote, ele executará a função do pacote diretamente usando $packageName.$entryPoint()

Parâmetros de linha de comando passados para a tarefa de roda do Python na forma de ["--name=task", "--data=dbfs:/path/to/data.json"]. Deixe-o vazio se os parâmetros não forem nulos.

Nome do pacote a ser executado

Parâmetros de linha de comando passados para a tarefa de roda do Python. Deixe-o vazio se named_parameters não for nulo.

ID do trabalho a ser disparado.

Parâmetros de nível de trabalho usados para disparar o trabalho.

O nome completo da classe que contém o método principal a ser executado. Essa classe deve estar contida em um JAR fornecido como uma biblioteca. O código deve usar SparkContext.getOrCreate para obter um contexto spark; caso contrário, as execuções do trabalho falharão.

Parâmetros passados para o método principal. Use variáveis de parâmetro de tarefa para definir parâmetros que contêm informações sobre execuções de trabalho.

Parâmetros de linha de comando passados para o arquivo Python. Use variáveis de parâmetro de tarefa para definir parâmetros que contêm informações sobre execuções de trabalho.

O arquivo Python a ser executado. Há suporte para URIs de arquivo de nuvem (como dbfs:/, s3:/, adls:/, gcs:/) e caminhos de workspace. Para arquivos python armazenados no workspace do Azure Databricks, o caminho deve ser absoluto e começar com /. Para arquivos armazenados em um repositório remoto, o caminho deve ser relativo. Este campo é necessário.

Parâmetros de linha de comando passados para o envio do Spark. Use variáveis de parâmetro de tarefa para definir parâmetros que contêm informações sobre execuções de trabalho.

Uma lista opcional de IDs de notificação do sistema a serem chamadas quando a duração de uma execução excede o limite especificado para a métrica RUN_DURATION_SECONDS no campo de integridade. Um máximo de 3 destinos pode ser especificado para a propriedade on_duration_warning_threshold_exceeded.

Uma lista opcional de IDs de notificação do sistema a serem chamadas quando a execução falhar. Um máximo de 3 destinos pode ser especificado para a propriedade on_failure.

Uma lista opcional de IDs de notificação do sistema a serem chamadas quando a execução for iniciada. Um máximo de 3 destinos pode ser especificado para a propriedade on_start.

Uma lista opcional de IDs de notificação do sistema a serem chamadas quando os limites de backlog de streaming forem excedidos para qualquer fluxo. Os limites de backlog de streaming podem ser definidos no campo de integridade usando as seguintes métricas: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS ou STREAMING_BACKLOG_FILES. O alerta é baseado na média de 10 minutos dessas métricas. Se o problema persistir, as notificações serão ressentidas a cada 30 minutos. Um máximo de 3 destinos pode ser especificado para a propriedade on_streaming_backlog_exceeded.

Uma lista opcional de IDs de notificação do sistema para chamar quando a execução for concluída com êxito. Um máximo de 3 destinos pode ser especificado para a propriedade on_success.

Se definido, o gatilho iniciará uma execução somente após a quantidade de tempo especificada passada desde a última vez em que o gatilho foi acionado. O valor mínimo permitido é de 60 segundos

URL a ser monitorada para chegadas de arquivos. O caminho deve apontar para a raiz ou um subcaminho do local externo.

Se definido, o gatilho iniciará uma execução somente depois que nenhuma atividade de arquivo tiver ocorrido durante o período de tempo especificado. Isso possibilita aguardar a chegada de um lote de arquivos de entrada antes de disparar uma execução. O valor mínimo permitido é de 60 segundos.

O intervalo no qual o gatilho deve ser executado.

Indica se o gatilho aproveita eventos de arquivo para detectar chegadas de arquivo.

O número de sequência dessa tentativa de execução para uma execução de trabalho disparada. A tentativa inicial de uma execução tem um attempt_number de 0. Se a tentativa de execução inicial falhar e o trabalho tiver uma política de repetição (max_retries > 0), as execuções subsequentes serão criadas com um original_attempt_run_id da ID da tentativa original e uma attempt_number de incremento. As execuções são repetidas somente até que tenham êxito e o attempt_number máximo é o mesmo que o valor max_retries para o trabalho.

O tempo em milissegundos necessário para encerrar o cluster e limpar quaisquer artefatos associados. A duração de uma execução de tarefa é a soma do setup_duration, do execution_duration e do cleanup_duration. O campo cleanup_duration é definido como 0 para execuções de trabalho de várias tarefas. A duração total de uma execução de trabalho multitarefa é o valor do campo run_duration.

O nome de usuário do criador. Esse campo não será incluído na resposta se o usuário já tiver sido excluído.

Descrição da execução

A hora em que essa execução terminou em milissegundos de época (milissegundos desde 1/1/1970 UTC). Esse campo será definido como 0 se o trabalho ainda estiver em execução.

O tempo em milissegundos que levou para executar os comandos no JAR ou notebook até que eles concluíssem, falhassem, atingissem o tempo limite, fossem cancelados ou encontrassem um erro inesperado. A duração de uma execução de tarefa é a soma do setup_duration, do execution_duration e do cleanup_duration. O campo execution_duration é definido como 0 para execuções de trabalho de várias tarefas. A duração total de uma execução de trabalho multitarefa é o valor do campo run_duration.

Indica se a execução tem mais propriedades de matriz (tarefas, job_clusters) que não são mostradas. Eles podem ser acessados por meio do ponto de extremidade :method:jobs/getrun. Ela só é relevante para solicitações da API 2.2 :method:jobs/listruns com expand_tasks=true.

Uma lista de especificações de cluster de trabalho que podem ser compartilhadas e reutilizados por tarefas deste trabalho. Bibliotecas não podem ser declaradas em um cluster de trabalho compartilhado. Você deve declarar bibliotecas dependentes nas configurações de tarefa. Se mais de 100 clusters de trabalho estiverem disponíveis, você poderá paginar por meio deles usando :method:jobs/getrun.

O identificador canônico do trabalho que contém essa execução.

Parâmetros de nível de trabalho usados na execução

ID da execução do trabalho à qual essa execução pertence. Para o trabalho herdado e de tarefa única, o campo é preenchido com a ID de execução do trabalho. Para execuções de tarefa, o campo é preenchido com a ID da execução do trabalho à qual a execução da tarefa pertence.

Um token que pode ser usado para listar a próxima página de propriedades da matriz.

Se essa execução for uma repetição de uma tentativa de execução anterior, esse campo conterá o run_id da tentativa original; caso contrário, é o mesmo que o run_id.

O tempo em milissegundos que a execução gastou na fila.

O histórico de reparo da execução.

O tempo em milissegundos levou a execução do trabalho e todos os seus reparos para terminar.

O identificador canônico da execução. Essa ID é exclusiva em todas as execuções de todos os trabalhos.

Um nome opcional para a execução. O comprimento máximo é de 4.096 bytes na codificação UTF-8.

A URL na página de detalhes da execução.

O tempo em milissegundos necessário para configurar o cluster. Para execuções executadas em novos clusters, esse é o tempo de criação do cluster, para execuções executadas em clusters existentes desta vez deve ser muito curta. A duração de uma execução de tarefa é a soma do setup_duration, do execution_duration e do cleanup_duration. O campo setup_duration é definido como 0 para execuções de trabalho de várias tarefas. A duração total de uma execução de trabalho multitarefa é o valor do campo run_duration.

O momento em que essa execução foi iniciada em milissegundos de época (milissegundos desde 1/1/1970 UTC). Essa pode não ser a hora em que a tarefa de trabalho começa a ser executada, por exemplo, se o trabalho está agendado para ser executado em um novo cluster, esse é o momento em que a chamada de criação do cluster é emitida.

A lista de tarefas executadas pela execução. Cada tarefa tem seus próprios run_id que você pode usar para chamar JobsGetOutput para recuperar as versões de execução. Se mais de 100 tarefas estiverem disponíveis, você poderá paginar por meio delas usando :method:jobs/getrun. Use o campo next_page_token na raiz do objeto para determinar se há mais resultados disponíveis.

O identificador canônico para o cluster usado por uma execução. Esse campo está sempre disponível para execuções em clusters existentes. Para execuções em novos clusters, ele fica disponível depois que o cluster é criado. Esse valor pode ser usado para exibir logs navegando até /#setting/sparkui/$cluster_id/driver-logs. Os logs continuam disponíveis após a conclusão da execução. A resposta não incluirá esse campo se o identificador ainda não estiver disponível.

O identificador canônico para o contexto spark usado por uma execução. Esse campo é preenchido quando a execução inicia a execução. Esse valor pode ser usado para exibir a interface do usuário do Spark navegando até /#setting/sparkui/$cluster_id/$spark_context_id. A interface do usuário do Spark continua disponível após a conclusão da execução. A resposta não incluirá esse campo se o identificador ainda não estiver disponível.

Se existing_cluster_id, a ID de um cluster existente que é usada para todas as execuções. Ao executar trabalhos ou tarefas em um cluster existente, talvez seja necessário reiniciar manualmente o cluster se ele parar de responder. Sugerimos a execução de trabalhos e tarefas em novos clusters para maior confiabilidade

Se job_cluster_key, essa tarefa será executada reutilizando o cluster especificado em job.settings.job_clusters.

Uma lista opcional de bibliotecas a serem instaladas no cluster. O valor padrão é uma lista vazia.

O valor padrão opcional do parâmetro

O nome do parâmetro

O valor usado na execução

A hora de término da execução (reparada).

A ID do reparo. Retornado apenas para os itens que representam um reparo em repair_history.

A hora de início da execução (reparada).

As IDs de execução da tarefa são executadas como parte desse item de histórico de reparos.

Uma mensagem descritiva com os detalhes da fila. Esse campo não foi estruturado e seu formato exato está sujeito a alterações.

Uma mensagem descritiva com os detalhes da terminação. Esse campo não foi estruturado e o formato pode ser alterado.

O número de sequência dessa tentativa de execução para uma execução de trabalho disparada. A tentativa inicial de uma execução tem um attempt_number de 0. Se a tentativa de execução inicial falhar e o trabalho tiver uma política de repetição (max_retries > 0), as execuções subsequentes serão criadas com um original_attempt_run_id da ID da tentativa original e uma attempt_number de incremento. As execuções são repetidas somente até que tenham êxito e o attempt_number máximo é o mesmo que o valor max_retries para o trabalho.

O tempo em milissegundos necessário para encerrar o cluster e limpar quaisquer artefatos associados. A duração de uma execução de tarefa é a soma do setup_duration, do execution_duration e do cleanup_duration. O campo cleanup_duration é definido como 0 para execuções de trabalho de várias tarefas. A duração total de uma execução de trabalho multitarefa é o valor do campo run_duration.

Uma matriz opcional de objetos que especifica o grafo de dependência da tarefa. Todas as tarefas especificadas neste campo devem ser concluídas com êxito antes de executar essa tarefa. A chave é task_key e o valor é o nome atribuído à tarefa dependente.

Uma descrição opcional para essa tarefa.

A hora em que essa execução terminou em milissegundos de época (milissegundos desde 1/1/1970 UTC). Esse campo será definido como 0 se o trabalho ainda estiver em execução.

A chave que faz referência a uma especificação de ambiente em um trabalho. Esse campo é necessário para script Python, roda python e tarefas dbt ao usar computação sem servidor.

O tempo em milissegundos que levou para executar os comandos no JAR ou notebook até que eles concluíssem, falhassem, atingissem o tempo limite, fossem cancelados ou encontrassem um erro inesperado. A duração de uma execução de tarefa é a soma do setup_duration, do execution_duration e do cleanup_duration. O campo execution_duration é definido como 0 para execuções de trabalho de várias tarefas. A duração total de uma execução de trabalho multitarefa é o valor do campo run_duration.

Se existing_cluster_id, a ID de um cluster existente que é usada para todas as execuções. Ao executar trabalhos ou tarefas em um cluster existente, talvez seja necessário reiniciar manualmente o cluster se ele parar de responder. Sugerimos a execução de trabalhos e tarefas em novos clusters para maior confiabilidade

Se job_cluster_key, essa tarefa será executada reutilizando o cluster especificado em job.settings.job_clusters.

Uma lista opcional de bibliotecas a serem instaladas no cluster. O valor padrão é uma lista vazia.

O tempo em milissegundos que a execução gastou na fila.

O tempo em milissegundos levou a execução do trabalho e todos os seus reparos para terminar.

A ID da execução da tarefa.

O tempo em milissegundos necessário para configurar o cluster. Para execuções executadas em novos clusters, esse é o tempo de criação do cluster, para execuções executadas em clusters existentes desta vez deve ser muito curta. A duração de uma execução de tarefa é a soma do setup_duration, do execution_duration e do cleanup_duration. O campo setup_duration é definido como 0 para execuções de trabalho de várias tarefas. A duração total de uma execução de trabalho multitarefa é o valor do campo run_duration.

O momento em que essa execução foi iniciada em milissegundos de época (milissegundos desde 1/1/1970 UTC). Essa pode não ser a hora em que a tarefa de trabalho começa a ser executada, por exemplo, se o trabalho está agendado para ser executado em um novo cluster, esse é o momento em que a chamada de criação do cluster é emitida.

Um nome exclusivo para a tarefa. Esse campo é usado para fazer referência a essa tarefa de outras tarefas. Esse campo é necessário e deve ser exclusivo em seu trabalho pai. Em Atualizar ou Redefinir, esse campo é usado para fazer referência às tarefas a serem atualizadas ou redefinidas.

Um tempo limite opcional aplicado a cada execução desta tarefa de trabalho. Um valor de 0 significa que não há tempo limite.

O operando à esquerda da tarefa de condição. Pode ser um valor de cadeia de caracteres ou um estado de trabalho ou referência de parâmetro.

O resultado da avaliação da expressão de condição. Preenchido se a tarefa foi concluída com êxito. Pode ser "true" ou "false"

O operando direito da tarefa de condição. Pode ser um valor de cadeia de caracteres ou um estado de trabalho ou referência de parâmetro.

A ID de execução da execução da tarefa Executar Trabalho

Uma mensagem de erro indicando por que uma tarefa falhou ou por que a saída não está disponível. A mensagem não foi estruturada e seu formato exato está sujeito a alterações.

Se houver um erro ao executar a execução, esse campo conterá todos os rastreamentos de pilha disponíveis.

A saída de tarefas que gravam em fluxos padrão (stdout/stderr), como spark_jar_task, spark_python_task, python_wheel_task. Não há suporte para o notebook_task, pipeline_task ou spark_submit_task. O Azure Databricks restringe essa API para retornar os últimos 5 MB desses logs.

Se os logs são truncados.

O valor passado para dbutils.notebook.exit(). O Azure Databricks restringe essa API para retornar os primeiros 5 MB do valor. Para obter um resultado maior, seu trabalho pode armazenar os resultados em um serviço de armazenamento em nuvem. Esse campo estará ausente se dbutils.notebook.exit() nunca tiver sido chamado.

Se o resultado foi truncado ou não.

A ID de execução da execução do trabalho disparado