Número de bytes en el fragmento de resultado

Posición en la secuencia de fragmentos del conjunto de resultados

Número de filas del fragmento de resultado

Inicio del desplazamiento de fila en el conjunto de resultados

Nombre de la columna

Posición de columna (basada en 0)

Formato de tipo de intervalo

Nombre del tipo de datos base. Esto no incluye detalles para tipos complejos como STRUCT, MAP o ARRAY.

Número de dígitos para el tipo DECIMAL

Número de posiciones decimales para el tipo DECIMAL

Especificación completa del tipo SQL

Esquema y metadatos del conjunto de resultados

Id. de instrucción

Estado de ejecución de instrucciones

Metadatos del fragmento de resultado

Definiciones de columna del conjunto de resultados

Total de bytes en el conjunto de resultados

Número total de fragmentos

Número total de filas

Estado de truncamiento de resultados

Estado de ejecución de la instrucción

Mensaje de error

Bytes en el fragmento de resultado

Posición del fragmento

Matriz de matrices con valores de cadena

Índice de fragmento siguiente

Siguiente vínculo de fragmento

Filas en fragmento

Desplazamiento de fila inicial

Bytes en fragmento

Posición del fragmento

Hora de expiración del vínculo

Encabezados HTTP necesarios

Índice de fragmento siguiente

Siguiente vínculo de fragmento

Filas en fragmento

Desplazamiento de fila inicial

Identificador único global de la ejecución recién desencadenada.

Si es true, desencadena una actualización completa en la tabla dinámica delta.

Si es true, habilite la cola para el trabajo. Se trata de un campo obligatorio.

Lista de trabajos. Solo se incluye en la respuesta si hay trabajos para enumerar.

Token que se puede usar para enumerar la página siguiente de trabajos (si procede).

Token que se puede usar para enumerar la página anterior de trabajos (si procede).

Hora a la que se creó este trabajo en milisegundos de época (milisegundos desde 1/1/1/1970 UTC).

Nombre de usuario del creador. Este campo no se incluirá en la respuesta si el usuario ya se ha eliminado.

Identificador de la directiva presupuestaria utilizada por este trabajo con fines de atribución de costos. Esto puede establecerse a través de (en orden de prioridad): 1. Administradores de presupuesto a través de la cuenta o la consola del área de trabajo 2. Interfaz de usuario de trabajos en la página de detalles del trabajo y api de trabajos mediante budget_policy_id 3. Valor predeterminado inferido en función de las directivas presupuestarias accesibles de la identidad de run_as en la creación o modificación del trabajo.

Indica si el trabajo tiene más propiedades de matriz (tareas, job_clusters) que no se muestran. Se puede acceder a ellos a través de :method:jobs/get endpoint. Solo es relevante para las solicitudes api 2.2 :method:jobs/list con expand_tasks=true.

Identificador canónico de este trabajo.

Identificador de la directiva de presupuesto especificada por el usuario que se va a usar para este trabajo. Si no se especifica, se puede aplicar una directiva de presupuesto predeterminada al crear o modificar el trabajo. Consulte effective_budget_policy_id para obtener la directiva de presupuesto que usa esta carga de trabajo.

Descripción opcional del trabajo. La longitud máxima es de 27700 caracteres en codificación UTF-8.

Lista de especificaciones del entorno de ejecución de tareas a las que pueden hacer referencia las tareas sin servidor de este trabajo. Es necesario que un entorno esté presente para las tareas sin servidor. Para las tareas de cuaderno sin servidor, el entorno es accesible en el panel del entorno del cuaderno. Para otras tareas sin servidor, es necesario especificar el entorno de tareas mediante environment_key en la configuración de la tarea.

Lista de especificaciones de clúster de trabajos que las tareas de este trabajo pueden compartir y reutilizar. Las bibliotecas no se pueden declarar en un clúster de trabajos compartidos. Debe declarar bibliotecas dependientes en la configuración de tareas.

Número máximo permitido opcional de ejecuciones simultáneas del trabajo. Establezca este valor si desea poder ejecutar varias ejecuciones del mismo trabajo de manera simultánea. Esto resulta útil, por ejemplo, si desencadena el trabajo según una programación frecuente y desea permitir que las ejecuciones consecutivas se superpongan entre sí, o si desea desencadenar varias ejecuciones que difieren según sus parámetros de entrada. Esta configuración afecta solo a las nuevas ejecuciones. Por ejemplo, supongamos que la simultaneidad del trabajo es 4 y hay 4 ejecuciones activas simultáneas. A continuación, establecer la simultaneidad en 3 no eliminará ninguna de las ejecuciones activas. Sin embargo, desde entonces, se omiten las nuevas ejecuciones a menos que haya menos de 3 ejecuciones activas. Este valor no puede superar los 1000. Establecer este valor en 0 hace que se omitan todas las nuevas ejecuciones.

Nombre opcional del trabajo. La longitud máxima es de 4096 bytes en codificación UTF-8.

Definiciones de parámetros de nivel de trabajo

Mapa de etiquetas asociadas al trabajo. Estos se reenvían al clúster como etiquetas de clúster para clústeres de trabajo y están sujetos a las mismas limitaciones que las etiquetas de clúster. Se puede agregar un máximo de 25 etiquetas al trabajo.

Lista de especificaciones de tareas que se ejecutarán por este trabajo. Admite hasta 1000 elementos en puntos de conexión de escritura (:method:jobs/create, :method:jobs/reset, :method:jobs/update, :method:jobs/submit). Los puntos de conexión de lectura devuelven solo 100 tareas. Si hay más de 100 tareas disponibles, puede paginarlos mediante :method:jobs/get. Use el campo next_page_token en la raíz del objeto para determinar si hay más resultados disponibles.

Límite de tiempo opcional que se aplica a cada ejecución de esta tarea. Un valor de 0 significa que no se ha agotado el tiempo de espera.

Ruta de acceso del archivo que contiene metadatos de implementación.

Lista de direcciones de correo electrónico que se notificarán cuando la duración de una ejecución supera el umbral especificado para la métrica de RUN_DURATION_SECONDS en el campo de mantenimiento. Si no se especifica ninguna regla para la métrica de RUN_DURATION_SECONDS en el campo de mantenimiento del trabajo, no se envían notificaciones.

Lista de direcciones de correo electrónico que se notificarán cuando se completa una ejecución sin éxito. Se considera que una ejecución se ha completado sin éxito si finaliza con un INTERNAL_ERROR life_cycle_state o un error o TIMED_OUT result_state. Si no se especifica en la creación, restablecimiento o actualización de trabajos, la lista está vacía y no se envían notificaciones.

Lista de direcciones de correo electrónico que se notificarán cuando comienza una ejecución. Si no se especifica en la creación, el restablecimiento o la actualización del trabajo, la lista está vacía y no se envían notificaciones.

Lista de direcciones de correo electrónico que se deben notificar cuando se superan los umbrales de trabajos pendientes de streaming para cualquier flujo. Los umbrales de trabajos pendientes de streaming se pueden establecer en el campo de mantenimiento mediante las siguientes métricas: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS o STREAMING_BACKLOG_FILES. La alerta se basa en el promedio de 10 minutos de estas métricas. Si el problema persiste, las notificaciones se vuelven a enviar cada 30 minutos.

Lista de direcciones de correo electrónico que se van a notificar cuando se completa correctamente una ejecución. Se considera que una ejecución se ha completado correctamente si finaliza con un life_cycle_state TERMINATED y un result_state SUCCESS. Si no se especifica en la creación, el restablecimiento o la actualización del trabajo, la lista está vacía y no se envían notificaciones.

Clave de un entorno. Debe ser único dentro de un trabajo.

Lista de dependencias de pip, como admite la versión de pip en este entorno. Cada dependencia es una línea de archivo de requisitos pip válida por https://pip.pypa.io/en/stable/reference/requirements-file-format/. Las dependencias permitidas incluyen un especificador de requisitos, una dirección URL de archivo, una ruta de acceso de proyecto local (como volúmenes WSFS o UC en Databricks) o una dirección URL del proyecto de VCS.

Obligatorio. Versión del entorno usada por el entorno. Cada versión incluye una versión específica de Python y un conjunto de paquetes de Python. La versión es una cadena que consta de un entero.

Nombre de la rama que se va a desprotegir y usar en este trabajo. Este campo no se puede especificar junto con git_tag o git_commit.

Confirme que se va a desprotegir y usar este trabajo. Este campo no se puede especificar junto con git_branch o git_tag.

Nombre de la etiqueta que se va a desprotegir y usar en este trabajo. Este campo no se puede especificar junto con git_branch o git_commit.

Dirección URL del repositorio que va a clonar este trabajo.

Confirmación que se usó para ejecutar la ejecución. Si se especificó git_branch, apunta al HEAD de la rama en el momento de la ejecución; si se especificó git_tag, apunta a la confirmación a la que apunta la etiqueta.

Especifica el valor de umbral que debe cumplir la métrica de mantenimiento para satisfacer la regla de mantenimiento.

Un nombre único para el clúster de trabajos. Este campo es obligatorio y debe ser único dentro del trabajo. JobTaskSettings puede hacer referencia a este campo para determinar qué clúster se va a iniciar para la ejecución de la tarea.

Cuando se establece en true, los valores fijos y predeterminados de la directiva se usarán para los campos que se omiten. Cuando se establece en false, solo se aplicarán los valores fijos de la directiva.

Finaliza automáticamente el clúster tras estar inactivo durante el tiempo especificado en minutos. Si no se establece, este clúster no se terminará automáticamente. Si se especifica, el umbral debe estar comprendido entre 10 y 10000 minutos. Los usuarios también pueden establecer este valor en 0 para deshabilitar explícitamente la terminación automática.

Nombre del clúster solicitado por el usuario. Esto no tiene que ser único. Si no se especifica en la creación, el nombre del clúster será una cadena vacía. En el caso de los clústeres de trabajos, el nombre del clúster se establece automáticamente en función del trabajo y los identificadores de ejecución de trabajos.

Etiquetas adicionales para los recursos del clúster. Databricks etiquetará todos los recursos del clúster (por ejemplo, instancias de AWS y volúmenes EBS) con estas etiquetas además de default_tags. Notas: Actualmente, Databricks permite como máximo 45 etiquetas personalizadas: los clústeres solo pueden reutilizar los recursos en la nube si las etiquetas de los recursos son un subconjunto de las etiquetas de clúster.

Identificador opcional del grupo de instancias para el controlador al que pertenece el clúster. El clúster de grupo utiliza el grupo de instancias con el identificador (instance_pool_id) si el grupo de controladores no está asignado.

Tipo de nodo del controlador de Spark. Tenga en cuenta que este campo es opcional; si no se establece, el tipo de nodo de controlador se establecerá como el mismo valor que node_type_id definido anteriormente. Este campo, junto con node_type_id, no debe establecerse si se establece virtual_cluster_size. Si se especifican driver_node_type_id, node_type_id y virtual_cluster_size, driver_node_type_id y node_type_id tienen prioridad.

Escalado automático de almacenamiento local: cuando está habilitado, este clúster adquirirá dinámicamente espacio en disco adicional cuando sus trabajos de Spark se estén ejecutando con poco espacio en disco. Esta característica requiere permisos específicos de AWS para funcionar correctamente; consulte la Guía del usuario para obtener más detalles.

Si se habilita LUKS en los discos locales de las máquinas virtuales del clúster

Configuración para almacenar scripts de inicialización. Se puede especificar cualquier número de destinos. Los scripts se ejecutan de manera secuencial en el orden proporcionado. Si se especifica cluster_log_conf, los registros de script de inicialización se envían a <destination>/<cluster-ID>/init_scripts.

Identificador opcional del grupo de instancias al que pertenece el clúster.

Este campo solo se puede usar cuando el tipo = CLASSIC_PREVIEW. Cuando se establece en true, Databricks establecerá automáticamente custom_tags, spark_conf y num_workers relacionados con el nodo único.

Este campo codifica, mediante un solo valor, los recursos disponibles para cada uno de los nodos de Spark de este clúster. Por ejemplo, los nodos de Spark se pueden aprovisionar y optimizar para cargas de trabajo intensivas de memoria o proceso. Se puede recuperar una lista de los tipos de nodo disponibles mediante la llamada API :method:clusters/listNodeTypes.

Número de nodos de trabajo que debería tener este clúster. Un clúster tiene un controlador de Spark y num_workers Ejecutores para un total de num_workers + 1 nodos de Spark. Nota: Al leer las propiedades de un clúster, este campo refleja el número deseado de trabajos en lugar del número actual real de trabajos. Por ejemplo, si un clúster cambia de tamaño de 5 a 10 trabajos, este campo se actualizará inmediatamente para reflejar el tamaño de destino de 10 trabajos, mientras que los trabajos enumerados en spark_info aumentarán gradualmente de 5 a 10 a medida que se aprovisionan los nuevos nodos.

Identificador de la directiva de clúster que se usa para crear el clúster si es aplicable.

Nombre de usuario único si data_security_mode es SINGLE_USER

Objeto que contiene un conjunto de pares de clave-valor de configuración de Spark opcionales especificado por el usuario. Los usuarios también pueden pasar una cadena de opciones adicionales de JVM al controlador y a los ejecutores a través de spark.driver.extraJavaOptions y spark.executor.extraJavaOptions respectivamente.

Objeto que contiene un conjunto de pares de clave-valor de variables de entorno opcionales especificadas por el usuario. Tenga en cuenta que el par clave-valor del formulario (X,Y) se exportará tal como está (es decir, exportar X='Y') al iniciar el controlador y los trabajos. Para especificar un conjunto adicional de SPARK_DAEMON_JAVA_OPTS, se recomienda anexarlos a $SPARK_DAEMON_JAVA_OPTS, como se muestra en el ejemplo siguiente. Esto garantiza que también se incluyan también todas las variables de entorno administradas de Databricks predeterminadas. Variables de entorno de Spark de ejemplo: {"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} o {"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}

La versión de Spark del clúster, por ejemplo, 3.3.x-scala2.11. Se puede recuperar una lista de las versiones de Spark disponibles mediante la llamada a la API :method:clusters/sparkVersions.

Contenido de clave pública SSH que se agregará a cada nodo de Spark de este clúster. Las claves privadas correspondientes se pueden usar para iniciar sesión con el nombre de usuario ubuntu en el puerto 2200. Se pueden especificar hasta 10 claves.

Este campo solo se puede usar cuando el tipo = CLASSIC_PREVIEW. effective_spark_version viene determinado por spark_version (versión de DBR), este campo use_ml_runtime y si node_type_id es un nodo de gpu o no.

Número máximo de trabajos a los que el clúster se puede escalar verticalmente cuando se sobrecarga. Tenga en cuenta que max_workers deben ser estrictamente mayores que min_workers.

Número mínimo de trabajos a los que el clúster se puede reducir verticalmente cuando se infrautiliza. También es el número inicial de trabajos que tendrá el clúster después de la creación.

Los primeros nodos first_on_demand del clúster se colocarán en instancias a petición. Este valor debe ser mayor que 0 para asegurarse de que el nodo del controlador de clúster se coloca en una instancia a petición. Si este valor es mayor o igual que el tamaño del clúster actual, todos los nodos se colocarán en instancias a petición. Si este valor es menor que el tamaño del clúster actual, first_on_demand nodos se colocarán en instancias a petición y el resto se colocará en las instancias de disponibilidad. Tenga en cuenta que este valor no afecta al tamaño del clúster y actualmente no se puede mutar durante la vigencia de un clúster.

El precio máximo de puja que se usará para las instancias de acceso puntual de Azure. El precio máximo de la oferta no puede ser mayor que el precio a petición de la instancia. Si no se especifica, el valor predeterminado es -1, que especifica que la instancia no se puede expulsar basándose en el precio y solo en función de la disponibilidad. Además, el valor debe ser > 0 o -1.

destino de dbfs, por ejemplo, dbfs:/my/path

Destino de volúmenes uc, por ejemplo, /Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh o dbfs:/Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh

Dirección URL de la imagen de Docker.

Contraseña del usuario

Nombre del usuario

abfss destination, por ejemplo, abfss:// container-name<@>storage-account-name.dfs.core.windows.net/<> directory-name<>.

destino del archivo local, por ejemplo, file:/my/local/file.sh

Destino/URI de GCS, por ejemplo, gs://my-bucket/some-prefix

destino de wsfs, por ejemplo, workspace:/cluster-init-scripts/setup-datadog.sh

Con los trabajos establecidos, el clúster se puede usar para los trabajos.

Con los cuadernos establecidos, este clúster se puede usar para cuadernos.

Si es true, no envíe notificaciones a los destinatarios especificados en on_failure si se cancela la ejecución.

Si es true, no envíe notificaciones a los destinatarios especificados en on_failure si se omite la ejecución.

Valor predeterminado del parámetro.

Nombre del parámetro definido. Solo puede contener caracteres alfanuméricos, _, -, y .

Identificador de aplicación de una entidad de servicio activa. Establecer este campo requiere el rol servicePrincipal/user.

Correo electrónico de un usuario de área de trabajo activa. Los usuarios que no son administradores solo pueden establecer este campo en su propio correo electrónico.

Expresión Cron con sintaxis de Cuarzo que describe la programación de un trabajo. Consulte Desencadenador cron para obtener más información. Este campo es obligatorio.

Un identificador de zona horaria de Java. La programación de un trabajo se resuelve con respecto a esta zona horaria. Consulte Zona horaria de Java para obtener más información. Este campo es obligatorio.

Matriz opcional de objetos que especifican el gráfico de dependencias de la tarea. Todas las tareas especificadas en este campo deben completarse antes de ejecutar esta tarea. La tarea solo se ejecutará si la condición run_if es true. La clave es task_key y el valor es el nombre asignado a la tarea dependiente.

Descripción opcional de esta tarea.

Una opción para deshabilitar la optimización automática en sin servidor

Clave que hace referencia a una especificación de entorno en un trabajo. Este campo es necesario para las tareas de script de Python, rueda de Python y dbt al usar el proceso sin servidor.

Si existing_cluster_id, el identificador de un clúster existente que se usa para todas las ejecuciones. Al ejecutar trabajos o tareas en un clúster existente, es posible que tenga que reiniciar manualmente el clúster si deja de responder. Se recomienda ejecutar trabajos y tareas en clústeres nuevos para una mayor confiabilidad

Si job_cluster_key, esta tarea se ejecuta reutilizando el clúster especificado en job.settings.job_clusters.

Lista opcional de bibliotecas que se van a instalar en el clúster. El valor predeterminado es una lista vacía.

Número máximo opcional de veces para reintentar una ejecución incorrecta. Una ejecución se considera incorrecta si se completa con la result_state FAILED o INTERNAL_ERROR life_cycle_state. El valor -1 significa reintentar indefinidamente y el valor 0 significa que nunca se reintenta.

Intervalo mínimo opcional en milisegundos entre el inicio de la ejecución con errores y la posterior ejecución de reintento. El comportamiento predeterminado es que las ejecuciones incorrectas se reintentan inmediatamente.

Directiva opcional para especificar si se reintenta un trabajo cuando se agota el tiempo de espera. El comportamiento predeterminado es no volver a intentarlo en el tiempo de espera.

Un nombre único para la tarea. Este campo se usa para hacer referencia a esta tarea desde otras tareas. Este campo es obligatorio y debe ser único dentro de su trabajo primario. En Actualizar o restablecer, este campo se usa para hacer referencia a las tareas que se van a actualizar o restablecer.

Un tiempo de espera opcional aplicado a cada ejecución de esta tarea de trabajo. Un valor de 0 significa que no se ha agotado el tiempo de espera.

Operando izquierdo de la tarea de condición. Puede ser un valor de cadena o una referencia de estado de trabajo o parámetro.

Operando derecho de la tarea de condición. Puede ser un valor de cadena o una referencia de estado de trabajo o parámetro.

Identificador del panel que se va a actualizar.

Opcional: identificador de almacenamiento con el que ejecutar el panel para la programación. Si no se especifica, se usará el almacenamiento predeterminado del panel.

Opcional: permite a los usuarios especificar una línea de asunto personalizada en el correo electrónico enviado a los suscriptores.

Cuando es true, la suscripción no enviará correos electrónicos.

Lista de suscriptores a la que se va a enviar la instantánea del panel.

Se enviará una instantánea del panel al destino cuando el campo destination_id esté presente.

Se enviará una instantánea del panel al correo electrónico del usuario cuando el campo user_name esté presente.

Solo se puede especificar en las dependencias de tareas de condición. Resultado de la tarea dependiente que se debe cumplir para que se ejecute esta tarea.

El nombre de la tarea de la que depende esta tarea.

Lista de direcciones de correo electrónico que se notificarán cuando la duración de una ejecución supera el umbral especificado para la métrica de RUN_DURATION_SECONDS en el campo de mantenimiento. Si no se especifica ninguna regla para la métrica de RUN_DURATION_SECONDS en el campo de mantenimiento del trabajo, no se envían notificaciones.

Lista de direcciones de correo electrónico que se notificarán cuando se completa una ejecución sin éxito. Se considera que una ejecución se ha completado sin éxito si finaliza con un INTERNAL_ERROR life_cycle_state o un error o TIMED_OUT result_state. Si no se especifica en la creación, restablecimiento o actualización de trabajos, la lista está vacía y no se envían notificaciones.

Lista de direcciones de correo electrónico que se notificarán cuando comienza una ejecución. Si no se especifica en la creación, el restablecimiento o la actualización del trabajo, la lista está vacía y no se envían notificaciones.

Lista de direcciones de correo electrónico que se deben notificar cuando se superan los umbrales de trabajos pendientes de streaming para cualquier flujo. Los umbrales de trabajos pendientes de streaming se pueden establecer en el campo de mantenimiento mediante las siguientes métricas: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS o STREAMING_BACKLOG_FILES. La alerta se basa en el promedio de 10 minutos de estas métricas. Si el problema persiste, las notificaciones se vuelven a enviar cada 30 minutos.

Lista de direcciones de correo electrónico que se van a notificar cuando se completa correctamente una ejecución. Se considera que una ejecución se ha completado correctamente si finaliza con un life_cycle_state TERMINATED y un result_state SUCCESS. Si no se especifica en la creación, el restablecimiento o la actualización del trabajo, la lista está vacía y no se envían notificaciones.

URI de la biblioteca JAR que se va a instalar. Entre los URI admitidos se incluyen las rutas de acceso del área de trabajo, las rutas de acceso de volúmenes de Catálogo de Unity y los URI de ADLS. Por ejemplo: { "jar": "/Workspace/path/to/library.jar" }, { "jar" : "/Volumes/path/to/library.jar" } o { "jar": "abfss://my-bucket/library.jar" }. Si se usa ADLS, asegúrese de que el clúster tiene acceso de lectura en la biblioteca. Es posible que tenga que iniciar el clúster con una entidad de servicio de Id. de Microsoft Entra para acceder al URI de ADLS.

URI del archivo requirements.txt que se va a instalar. Solo se admiten las rutas de acceso del área de trabajo y las rutas de acceso de volúmenes del catálogo de Unity. Por ejemplo: { "requirements": "/Workspace/path/to/requirements.txt" } o { "requirements" : "/Volumes/path/to/requirements.txt" }

URI de la biblioteca de ruedas que se va a instalar. Entre los URI admitidos se incluyen las rutas de acceso del área de trabajo, las rutas de acceso de volúmenes de Catálogo de Unity y los URI de ADLS. Por ejemplo: { "whl": "/Workspace/path/to/library.whl" }, { "whl" : "/Volumes/path/to/library.whl" } o { "whl": "abfss://my-bucket/library.whl" }. Si se usa ADLS, asegúrese de que el clúster tiene acceso de lectura en la biblioteca. Es posible que tenga que iniciar el clúster con una entidad de servicio de Id. de Microsoft Entra para acceder al URI de ADLS.

Número máximo opcional permitido de ejecuciones simultáneas de la tarea. Establezca este valor si desea poder ejecutar varias ejecuciones de la tarea simultáneamente.

Matriz de la tarea en la que se va a iterar. Puede ser una cadena JSON o una referencia a un parámetro de matriz.

Nombre del paquete CRAN que se va a instalar.

Repositorio donde se puede encontrar el paquete. Si no se especifica, se usa el repositorio CRAN predeterminado.

Coordenadas maven de estilo Gradle. Por ejemplo: "org.jsoup:jsoup:1.7.2".

Lista de dependencias que se van a excluir. Por ejemplo: ["slf4j:slf4j", "*:hadoop-client"]. Exclusiones de dependencias de Maven: https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html.

Repositorio de Maven desde el que instalar el paquete de Maven. Si se omite, se busca tanto el repositorio central de Maven como los paquetes de Spark.

Nombre del paquete pypi que se va a instalar. También se admite una especificación de versión exacta opcional. Ejemplos: "simplejson" y "simplejson==3.8.0".

Repositorio donde se puede encontrar el paquete. Si no se especifica, se usa el índice pip predeterminado.

Parámetros base que se usarán para cada ejecución de este trabajo. Si la ejecución se inicia mediante una llamada a :method:jobs/run Now con parámetros especificados, se combinan los dos mapas de parámetros. Si se especifica la misma clave en base_parameters y en run-now, se usa el valor de run-now. Use variables de parámetros task para establecer parámetros que contengan información sobre las ejecuciones de trabajos. Si el cuaderno toma un parámetro que no se especifica en el base_parameters del trabajo o los parámetros de invalidación run-now, se usa el valor predeterminado del cuaderno. Recupere estos parámetros en un cuaderno mediante dbutils.widgets.get. La representación JSON de este campo no puede superar los 1 MB.

Ruta de acceso del cuaderno que se va a ejecutar en el área de trabajo de Databricks o en el repositorio remoto. En el caso de los cuadernos almacenados en el área de trabajo de Databricks, la ruta de acceso debe ser absoluta y comenzar con una barra diagonal. En el caso de los cuadernos almacenados en un repositorio remoto, la ruta de acceso debe ser relativa. Este campo es obligatorio.

Opcional warehouse_id para ejecutar el cuaderno en un almacén de SQL. No se admiten los almacenes de SQL clásicos, use almacenes SQL sin servidor o pro. Tenga en cuenta que los almacenes de SQL solo admiten celdas SQL; si el cuaderno contiene celdas que no son de SQL, se producirá un error en la ejecución.

Si es true, no envíe notificaciones a los destinatarios especificados en on_start para las ejecuciones de reintento y no envíe notificaciones a los destinatarios especificados en on_failure hasta el último reintento de la ejecución.

Si es true, no envíe notificaciones a los destinatarios especificados en on_failure si se cancela la ejecución.

Si es true, no envíe notificaciones a los destinatarios especificados en on_failure si se omite la ejecución.

Si es true, desencadena una actualización completa en la tabla dinámica delta.

Nombre completo de la tarea de canalización que se va a ejecutar.

Punto de entrada con nombre que se va a usar, si no existe en los metadatos del paquete, ejecuta la función directamente desde el paquete mediante $packageName.$entryPoint()

Parámetros de línea de comandos pasados a la tarea rueda de Python en forma de ["--name=task", "--data=dbfs:/path/to/data.json"]. Déjelo vacío si los parámetros no son NULL.

Nombre del paquete que se va a ejecutar

Parámetros de línea de comandos pasados a la tarea rueda de Python. Déjelo vacío si named_parameters no es null.

Identificador del trabajo que se va a desencadenar.

Parámetros de nivel de trabajo usados para desencadenar el trabajo.

Nombre completo de la clase que incluye el método principal que se va a ejecutar. Esta clase debe estar contenida en un archivo JAR que se proporciona como una biblioteca. El código debe usar SparkContext.getOrCreate para obtener un contexto de Spark; De lo contrario, se produce un error en las ejecuciones del trabajo.

Parámetros pasados al método principal. Use variables de parámetros de tarea para establecer parámetros que contengan información sobre las ejecuciones de trabajos.

Parámetros de línea de comandos pasados al archivo de Python. Use variables de parámetros task para establecer parámetros que contengan información sobre las ejecuciones de trabajos.

Archivo de Python que se va a ejecutar. Se admiten los URI de archivo en la nube (como dbfs:/, s3:/, adls:/, gcs:/) y las rutas de acceso del área de trabajo. Para los archivos de Python almacenados en el área de trabajo de Databricks, la ruta de acceso debe ser absoluta y comenzar con /. Para los archivos almacenados en un repositorio remoto, la ruta de acceso debe ser relativa. Este campo es obligatorio.

Parámetros de línea de comandos pasados al envío de Spark. Use variables de parámetros task para establecer parámetros que contengan información sobre las ejecuciones de trabajos.

Lista opcional de identificadores de notificación del sistema que se deben llamar cuando la duración de una ejecución supera el umbral especificado para la métrica de RUN_DURATION_SECONDS en el campo de mantenimiento. Se puede especificar un máximo de 3 destinos para la propiedad on_duration_warning_threshold_exceeded.

Lista opcional de identificadores de notificación del sistema que se deben llamar cuando se produce un error en la ejecución. Se puede especificar un máximo de 3 destinos para la propiedad on_failure.

Lista opcional de identificadores de notificación del sistema a los que llamar cuando se inicia la ejecución. Se puede especificar un máximo de 3 destinos para la propiedad on_start.

Una lista opcional de identificadores de notificación del sistema que se deben llamar cuando se superan los umbrales de trabajo pendiente de streaming para cualquier flujo. Los umbrales de trabajos pendientes de streaming se pueden establecer en el campo de mantenimiento mediante las siguientes métricas: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS o STREAMING_BACKLOG_FILES. La alerta se basa en el promedio de 10 minutos de estas métricas. Si el problema persiste, las notificaciones se vuelven a enviar cada 30 minutos. Se puede especificar un máximo de 3 destinos para la propiedad on_streaming_backlog_exceeded.

Lista opcional de identificadores de notificación del sistema a los que llamar cuando la ejecución se completa correctamente. Se puede especificar un máximo de 3 destinos para la propiedad on_success.

Si se establece, el desencadenador inicia una ejecución solo después de la cantidad de tiempo especificada pasada desde la última vez que se desencadenó el desencadenador. El valor mínimo permitido es de 60 segundos.

Dirección URL que se va a supervisar para las llegadas de archivos. La ruta de acceso debe apuntar a la raíz o a una subruta de la ubicación externa.

Si se establece, el desencadenador inicia una ejecución solo después de que no se haya producido ninguna actividad de archivo durante el período de tiempo especificado. Esto permite esperar a que llegue un lote de archivos entrantes antes de desencadenar una ejecución. El valor mínimo permitido es de 60 segundos.

Intervalo en el que se debe ejecutar el desencadenador.

Indica si el desencadenador aprovecha los eventos de archivo para detectar llegadas de archivos.

Número de secuencia de este intento de ejecución para una ejecución de trabajo desencadenada. El intento inicial de una ejecución tiene un attempt_number de 0. Si se produce un error en el intento de ejecución inicial y el trabajo tiene una directiva de reintento (max_retries > 0), las ejecuciones posteriores se crean con un original_attempt_run_id del identificador del intento original y un attempt_number de incremento. Las ejecuciones solo se reintentan hasta que se realizan correctamente y el attempt_number máximo es el mismo que el valor de max_retries para el trabajo.

Tiempo en milisegundos que tardó en finalizar el clúster y limpiar los artefactos asociados. La duración de una ejecución de tareas es la suma del setup_duration, execution_duration y el cleanup_duration. El campo cleanup_duration se establece en 0 para ejecuciones de trabajos de varias tareas. La duración total de una ejecución de trabajo de varias tareas es el valor del campo run_duration.

Nombre de usuario del creador. Este campo no se incluirá en la respuesta si el usuario ya se ha eliminado.

Descripción de la ejecución

Hora en la que esta ejecución finalizó en milisegundos de época (milisegundos desde las 1/1/1970 UTC). Este campo se establece en 0 si el trabajo todavía se está ejecutando.

El tiempo en milisegundos que tardó en ejecutar los comandos en el ARCHIVO JAR o cuaderno hasta que se completaron, se produjo un error, se agota el tiempo de espera, se canceló o se encontró un error inesperado. La duración de una ejecución de tareas es la suma del setup_duration, execution_duration y el cleanup_duration. El campo execution_duration se establece en 0 para ejecuciones de trabajos de varias tareas. La duración total de una ejecución de trabajo de varias tareas es el valor del campo run_duration.

Indica si la ejecución tiene más propiedades de matriz (tareas, job_clusters) que no se muestran. Se puede acceder a ellos a través de :method:jobs/getrun endpoint. Solo es relevante para las solicitudes api 2.2 :method:jobs/listruns con expand_tasks=true.

Lista de especificaciones de clúster de trabajos que las tareas de este trabajo pueden compartir y reutilizar. Las bibliotecas no se pueden declarar en un clúster de trabajos compartidos. Debe declarar bibliotecas dependientes en la configuración de tareas. Si hay más de 100 clústeres de trabajos disponibles, puede paginarlos mediante :method:jobs/getrun.

Identificador canónico del trabajo que contiene esta ejecución.

Parámetros de nivel de trabajo usados en la ejecución

Identificador de la ejecución del trabajo a la que pertenece esta ejecución. Para el trabajo heredado y de tarea única, el campo se rellena con el identificador de ejecución del trabajo. En el caso de las ejecuciones de tareas, el campo se rellena con el identificador de la ejecución del trabajo al que pertenece la ejecución de la tarea.

Token que se puede usar para enumerar la página siguiente de propiedades de matriz.

Si esta ejecución es un reintento de un intento de ejecución anterior, este campo contiene la run_id del intento original; de lo contrario, es igual que el run_id.

Tiempo en milisegundos que la ejecución ha invertido en la cola.

Historial de reparaciones de la ejecución.

El tiempo en milisegundos tomó la ejecución del trabajo y todas sus reparaciones para finalizar.

Identificador canónico de la ejecución. Este identificador es único en todas las ejecuciones de todos los trabajos.

Un nombre opcional para la ejecución. La longitud máxima es de 4096 bytes en codificación UTF-8.

Dirección URL de la página de detalles de la ejecución.

El tiempo en milisegundos que tardó en configurar el clúster. En el caso de las ejecuciones que se ejecutan en clústeres nuevos, este es el tiempo de creación del clúster, para las ejecuciones que se ejecutan en clústeres existentes, este tiempo debe ser muy corto. La duración de una ejecución de tareas es la suma del setup_duration, execution_duration y el cleanup_duration. El campo setup_duration se establece en 0 para ejecuciones de trabajos de varias tareas. La duración total de una ejecución de trabajo de varias tareas es el valor del campo run_duration.

Hora a la que se inició esta ejecución en milisegundos de época (milisegundos desde 1/1/1/1970 UTC). Puede que no sea la hora en que la tarea de trabajo empiece a ejecutarse, por ejemplo, si el trabajo está programado para ejecutarse en un nuevo clúster, es la hora en que se emite la llamada de creación del clúster.

Lista de tareas realizadas por la ejecución. Cada tarea tiene su propia run_id que puede usar para llamar a JobsGetOutput para recuperar las resutls de ejecución. Si hay más de 100 tareas disponibles, puede paginarlos mediante :method:jobs/getrun. Use el campo next_page_token en la raíz del objeto para determinar si hay más resultados disponibles.

Identificador canónico del clúster usado por una ejecución. Este campo siempre está disponible para las ejecuciones en clústeres existentes. En el caso de las ejecuciones en clústeres nuevos, estará disponible una vez creado el clúster. Este valor se puede usar para ver los registros; para ello, vaya a /#setting/sparkui/$cluster_id/driver-logs. Los registros siguen estando disponibles una vez completada la ejecución. La respuesta no incluirá este campo si el identificador aún no está disponible.

Identificador canónico del contexto de Spark usado por una ejecución. Este campo se rellena una vez que la ejecución comienza la ejecución. Este valor se puede usar para ver la interfaz de usuario de Spark; para ello, vaya a /#setting/sparkui/$cluster_id/$spark_context_id. La interfaz de usuario de Spark sigue estando disponible una vez completada la ejecución. La respuesta no incluirá este campo si el identificador aún no está disponible.

Si existing_cluster_id, el identificador de un clúster existente que se usa para todas las ejecuciones. Al ejecutar trabajos o tareas en un clúster existente, es posible que tenga que reiniciar manualmente el clúster si deja de responder. Se recomienda ejecutar trabajos y tareas en clústeres nuevos para una mayor confiabilidad

Si job_cluster_key, esta tarea se ejecuta reutilizando el clúster especificado en job.settings.job_clusters.

Lista opcional de bibliotecas que se van a instalar en el clúster. El valor predeterminado es una lista vacía.

Valor predeterminado opcional del parámetro

Nombre del parámetro

Valor usado en la ejecución

Hora de finalización de la ejecución (reparada).

Identificador de la reparación. Solo se devuelve para los elementos que representan una reparación en repair_history.

Hora de inicio de la ejecución (reparada).

Los identificadores de ejecución de la tarea se ejecutan como parte de este elemento del historial de reparaciones.

Mensaje descriptivo con los detalles de puesta en cola. Este campo no está estructurado y su formato exacto está sujeto a cambios.

Mensaje descriptivo con los detalles de finalización. Este campo no está estructurado y el formato puede cambiar.

Número de secuencia de este intento de ejecución para una ejecución de trabajo desencadenada. El intento inicial de una ejecución tiene un attempt_number de 0. Si se produce un error en el intento de ejecución inicial y el trabajo tiene una directiva de reintento (max_retries > 0), las ejecuciones posteriores se crean con un original_attempt_run_id del identificador del intento original y un attempt_number de incremento. Las ejecuciones solo se reintentan hasta que se realizan correctamente y el attempt_number máximo es el mismo que el valor de max_retries para el trabajo.

Tiempo en milisegundos que tardó en finalizar el clúster y limpiar los artefactos asociados. La duración de una ejecución de tareas es la suma del setup_duration, execution_duration y el cleanup_duration. El campo cleanup_duration se establece en 0 para ejecuciones de trabajos de varias tareas. La duración total de una ejecución de trabajo de varias tareas es el valor del campo run_duration.

Matriz opcional de objetos que especifican el gráfico de dependencias de la tarea. Todas las tareas especificadas en este campo deben completarse correctamente antes de ejecutar esta tarea. La clave es task_key y el valor es el nombre asignado a la tarea dependiente.

Descripción opcional de esta tarea.

Hora en la que esta ejecución finalizó en milisegundos de época (milisegundos desde las 1/1/1970 UTC). Este campo se establece en 0 si el trabajo todavía se está ejecutando.

Clave que hace referencia a una especificación de entorno en un trabajo. Este campo es necesario para las tareas de script de Python, rueda de Python y dbt al usar el proceso sin servidor.

El tiempo en milisegundos que tardó en ejecutar los comandos en el ARCHIVO JAR o cuaderno hasta que se completaron, se produjo un error, se agota el tiempo de espera, se canceló o se encontró un error inesperado. La duración de una ejecución de tareas es la suma del setup_duration, execution_duration y el cleanup_duration. El campo execution_duration se establece en 0 para ejecuciones de trabajos de varias tareas. La duración total de una ejecución de trabajo de varias tareas es el valor del campo run_duration.

Si existing_cluster_id, el identificador de un clúster existente que se usa para todas las ejecuciones. Al ejecutar trabajos o tareas en un clúster existente, es posible que tenga que reiniciar manualmente el clúster si deja de responder. Se recomienda ejecutar trabajos y tareas en clústeres nuevos para una mayor confiabilidad

Si job_cluster_key, esta tarea se ejecuta reutilizando el clúster especificado en job.settings.job_clusters.

Lista opcional de bibliotecas que se van a instalar en el clúster. El valor predeterminado es una lista vacía.

Tiempo en milisegundos que la ejecución ha invertido en la cola.

El tiempo en milisegundos tomó la ejecución del trabajo y todas sus reparaciones para finalizar.

Identificador de la ejecución de la tarea.

El tiempo en milisegundos que tardó en configurar el clúster. En el caso de las ejecuciones que se ejecutan en clústeres nuevos, este es el tiempo de creación del clúster, para las ejecuciones que se ejecutan en clústeres existentes, este tiempo debe ser muy corto. La duración de una ejecución de tareas es la suma del setup_duration, execution_duration y el cleanup_duration. El campo setup_duration se establece en 0 para ejecuciones de trabajos de varias tareas. La duración total de una ejecución de trabajo de varias tareas es el valor del campo run_duration.

Hora a la que se inició esta ejecución en milisegundos de época (milisegundos desde 1/1/1/1970 UTC). Puede que no sea la hora en que la tarea de trabajo empiece a ejecutarse, por ejemplo, si el trabajo está programado para ejecutarse en un nuevo clúster, es la hora en que se emite la llamada de creación del clúster.

Un nombre único para la tarea. Este campo se usa para hacer referencia a esta tarea desde otras tareas. Este campo es obligatorio y debe ser único dentro de su trabajo primario. En Actualizar o restablecer, este campo se usa para hacer referencia a las tareas que se van a actualizar o restablecer.

Un tiempo de espera opcional aplicado a cada ejecución de esta tarea de trabajo. Un valor de 0 significa que no se ha agotado el tiempo de espera.

Operando izquierdo de la tarea de condición. Puede ser un valor de cadena o una referencia de estado de trabajo o parámetro.

Resultado de evaluación de expresiones de condición. Rellenado si la tarea se completó correctamente. Puede ser "true" o "false"

Operando derecho de la tarea de condición. Puede ser un valor de cadena o una referencia de estado de trabajo o parámetro.

Identificador de ejecución de la tarea Ejecutar trabajo

Mensaje de error que indica por qué se produjo un error en una tarea o por qué la salida no está disponible. El mensaje no está estructurado y su formato exacto está sujeto a cambios.

Si se produjo un error al ejecutar la ejecución, este campo contiene los seguimientos de pila disponibles.

Salida de las tareas que escriben en secuencias estándar (stdout/stderr), como spark_jar_task, spark_python_task, python_wheel_task. No se admite para el notebook_task, pipeline_task ni spark_submit_task. Databricks restringe esta API para devolver los últimos 5 MB de estos registros.

Indica si los registros se truncan.

Valor pasado a dbutils.notebook.exit(). Databricks restringe esta API para devolver los primeros 5 MB del valor. Para obtener un resultado mayor, el trabajo puede almacenar los resultados en un servicio de almacenamiento en la nube. Este campo no se encuentra si nunca se llamó a dbutils.notebook.exit().

Indica si el resultado se ha truncado o no.

Identificador de ejecución de la ejecución del trabajo desencadenado