Nombre d’octets dans le segment de résultat

Position dans la séquence de blocs de jeu de résultats

Nombre de lignes dans le bloc de résultats

Début du décalage de ligne dans le jeu de résultats

Nom de colonne

Position de colonne (basée sur 0)

Format de type d’intervalle

Nom du type de données de base. Cela n’inclut pas de détails pour les types complexes tels que STRUCT, MAP ou ARRAY.

Nombre de chiffres pour le type DECIMAL

Nombre de décimales pour le type DECIMAL

Spécification complète du type SQL

Schéma et métadonnées du jeu de résultats

ID d’instruction

État de l’exécution des instructions

Métadonnées de bloc de résultats

Définitions de colonnes du jeu de résultats

Nombre total d’octets dans le jeu de résultats

Nombre total de blocs

Nombre total de lignes

État de troncation des résultats

État d’exécution de l’instruction

Message d'erreur

Octets dans le segment de résultat

Position du bloc

Tableau de tableaux avec des valeurs de chaîne

Index de bloc suivant

Lien de bloc suivant

Lignes en bloc

Décalage de ligne de départ

Octets en bloc

Position du bloc

Heure d’expiration du lien

En-têtes HTTP requis

Index de bloc suivant

Lien de bloc suivant

Lignes en bloc

Décalage de ligne de départ

ID global unique de l’exécution nouvellement déclenchée.

Si la valeur est true, déclenche une actualisation complète sur la table dynamique delta.

Si la valeur est true, activez la mise en file d’attente du travail. Ce champ est obligatoire.

Liste des travaux. Inclus uniquement dans la réponse s’il existe des travaux à répertorier.

Jeton qui peut être utilisé pour répertorier la page suivante des travaux (le cas échéant).

Jeton qui peut être utilisé pour répertorier la page précédente des travaux (le cas échéant).

Heure à laquelle ce travail a été créé en millisecondes d’époque (millisecondes depuis 1/1/1970 UTC).

Nom d’utilisateur du créateur. Ce champ ne sera pas inclus dans la réponse si l’utilisateur a déjà été supprimé.

ID de la stratégie budgétaire utilisée par ce travail à des fins d’attribution des coûts. Cela peut être défini (dans l’ordre de priorité) : 1. Administrateurs de budget via le compte ou la console d’espace de travail 2. Interface utilisateur des travaux dans la page détails du travail et API Travaux à l’aide de budget_policy_id 3. Valeur par défaut déduite en fonction des stratégies budgétaires accessibles de l’identité run_as lors de la création ou de la modification du travail.

Indique si le travail a plus de propriétés de tableau (tâches, job_clusters) qui ne sont pas affichées. Ils sont accessibles via :method :jobs/get endpoint. Il s’applique uniquement aux requêtes API 2.2 :method :jobs/list avec expand_tasks=true.

Identificateur canonique pour ce travail.

ID de la stratégie budgétaire spécifiée par l’utilisateur à utiliser pour ce travail. Si elle n’est pas spécifiée, une stratégie de budget par défaut peut être appliquée lors de la création ou de la modification du travail. Consultez effective_budget_policy_id pour connaître la stratégie budgétaire utilisée par cette charge de travail.

Description facultative du travail. La longueur maximale est de 27700 caractères dans l’encodage UTF-8.

Liste des spécifications de l’environnement d’exécution des tâches qui peuvent être référencées par les tâches serverless de ce travail. Un environnement doit être présent pour les tâches sans serveur. Pour les tâches de notebook sans serveur, l'environnement est accessible depuis le panneau d'environnement du notebook. Pour d’autres tâches serverless, l’environnement de tâche doit être spécifié à l’aide de environment_key dans les paramètres de tâche.

Liste des spécifications de cluster de travaux qui peuvent être partagées et réutilisées par les tâches de ce travail. Les bibliothèques ne peuvent pas être déclarées dans un cluster de travaux partagés. Vous devez déclarer des bibliothèques dépendantes dans les paramètres de tâche.

Nombre maximal autorisé facultatif d’exécutions simultanées du travail. Définissez cette valeur si vous souhaitez pouvoir exécuter plusieurs exécutions du même travail simultanément. Cela est utile par exemple si vous déclenchez votre travail selon une planification fréquente et que vous souhaitez autoriser les exécutions consécutives à se chevaucher, ou si vous souhaitez déclencher plusieurs exécutions qui diffèrent par leurs paramètres d’entrée. Ce paramètre affecte uniquement les nouvelles exécutions. Par exemple, supposons que la concurrence du travail soit 4 et qu’il existe 4 exécutions actives simultanées. Ensuite, la définition de la concurrence sur 3 ne tue pas les exécutions actives. Toutefois, à partir de là, les nouvelles exécutions sont ignorées, sauf s’il y a moins de 3 exécutions actives. Cette valeur ne peut pas dépasser 1 000. Si vous définissez cette valeur sur 0, toutes les nouvelles exécutions sont ignorées.

Nom facultatif pour le poste. La longueur maximale est de 4 096 octets dans l’encodage UTF-8.

Définitions de paramètres au niveau du travail

Carte des balises associées au travail. Ceux-ci sont transférés au cluster en tant que balises de cluster pour les clusters de travaux et sont soumis aux mêmes limitations que les balises de cluster. Un maximum de 25 balises peuvent être ajoutées au poste.

Liste des spécifications de tâche à exécuter par ce travail. Il prend en charge jusqu’à 1 000 éléments dans les points de terminaison d’écriture ( :method :jobs/create, :method :jobs/reset, :method :jobs/update, :method :jobs/submit). Les points de terminaison en lecture retournent uniquement 100 tâches. Si plus de 100 tâches sont disponibles, vous pouvez les paginer à l’aide de :method :jobs/get. Utilisez le champ next_page_token à la racine de l’objet pour déterminer si d’autres résultats sont disponibles.

Délai d’attente facultatif appliqué à chaque exécution de ce travail. La valeur 0 signifie qu’aucun délai d’expiration n’est nécessaire.

Chemin d’accès du fichier qui contient les métadonnées de déploiement.

Une liste d’adresses e-mail à notifier lorsque la durée d’une exécution dépasse le seuil spécifié pour la métrique de RUN_DURATION_SECONDS dans le champ d’intégrité. Si aucune règle pour la métrique RUN_DURATION_SECONDS n’est spécifiée dans le champ d’intégrité du travail, les notifications ne sont pas envoyées.

Liste des adresses e-mail à avertir lorsqu’une exécution échoue. Une exécution est considérée comme ayant échoué si elle se termine par un INTERNAL_ERROR life_cycle_state ou un échec, ou TIMED_OUT result_state. S’il n’est pas spécifié lors de la création, de la réinitialisation ou de la mise à jour de la liste est vide et que les notifications ne sont pas envoyées.

Liste des adresses e-mail à avertir lorsqu’une exécution commence. Si elle n’est pas spécifiée lors de la création, de la réinitialisation ou de la mise à jour du travail, la liste est vide et les notifications ne sont pas envoyées.

Liste des adresses e-mail à notifier quand des seuils de backlog de diffusion en continu sont dépassés pour n’importe quel flux. Les seuils de backlog de diffusion en continu peuvent être définis dans le champ d’intégrité à l’aide des métriques suivantes : STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS ou STREAMING_BACKLOG_FILES. Les alertes sont basées sur la moyenne de 10 minutes de ces métriques. Si le problème persiste, les notifications sont réententes toutes les 30 minutes.

Liste des adresses e-mail à avertir lorsqu’une exécution se termine correctement. Une exécution est considérée comme ayant réussi s’il se termine par un life_cycle_state TERMINATED et un result_state SUCCESS. Si elle n’est pas spécifiée lors de la création, de la réinitialisation ou de la mise à jour du travail, la liste est vide et les notifications ne sont pas envoyées.

Clé d’un environnement. Il doit être unique au sein d’un travail.

Liste des dépendances pip, comme pris en charge par la version de pip dans cet environnement. Chaque dépendance est une ligne de fichier de configuration requise pip valide par https://pip.pypa.io/en/stable/reference/requirements-file-format/. Les dépendances autorisées incluent un spécificateur de conditions requises, une URL d’archivage, un chemin d’accès de projet local (par exemple, WSFS ou UC Volumes dans Azure Databricks) ou une URL de projet VCS.

Obligatoire. Version de l’environnement utilisée par l’environnement. Chaque version est fournie avec une version de Python spécifique et un ensemble de packages Python. La version est une chaîne composée d’un entier. Voir https://learn.microsoft.com/azure/databricks/release-notes/serverless/#serverless-environment-versions.

Nom de la branche à extraire et utiliser par ce travail. Ce champ ne peut pas être spécifié conjointement avec git_tag ou git_commit.

Validez pour être extrait et utilisé par ce travail. Ce champ ne peut pas être spécifié conjointement avec git_branch ou git_tag.

Nom de la balise à extraire et utiliser par ce travail. Ce champ ne peut pas être spécifié conjointement avec git_branch ou git_commit.

URL du référentiel à cloner par ce travail.

Validation utilisée pour exécuter l’exécution. Si git_branch a été spécifié, cela pointe vers le HEAD de la branche au moment de l’exécution ; si git_tag a été spécifié, cela pointe vers la validation de la balise.

Spécifie la valeur de seuil que la métrique d’intégrité doit respecter pour satisfaire la règle d’intégrité.

Nom unique du cluster de travaux. Ce champ est obligatoire et doit être unique dans le travail. JobTaskSettings peut faire référence à ce champ pour déterminer le cluster à lancer pour l’exécution de la tâche.

Lorsque la valeur est true, les valeurs fixes et par défaut de la stratégie sont utilisées pour les champs omis. Lorsque la valeur est false, seules les valeurs fixes de la stratégie sont appliquées.

Met automatiquement fin au cluster une fois qu’il est inactif pendant cette période en minutes. S’il n’est pas défini, ce cluster ne sera pas automatiquement arrêté. S’il est spécifié, le seuil doit être compris entre 10 et 1 000 minutes. Les utilisateurs peuvent également définir cette valeur sur 0 pour désactiver explicitement l’arrêt automatique.

Nom du cluster demandé par l’utilisateur. Cela n’a pas besoin d’être unique. S’il n’est pas spécifié lors de la création, le nom du cluster est une chaîne vide. Pour les clusters de travaux, le nom du cluster est automatiquement défini en fonction du travail et des ID d’exécution du travail.

Étiquettes supplémentaires pour les ressources du cluster. Azure Databricks balise toutes les ressources de cluster (par exemple, les instances AWS et les volumes EBS) avec ces balises en plus de default_tags. Remarques : - Actuellement, Azure Databricks autorise au maximum 45 balises personnalisées : les clusters peuvent uniquement réutiliser les ressources cloud si les balises des ressources sont un sous-ensemble des balises de cluster

ID facultatif du pool d’instances pour le pilote auquel le cluster appartient. Le cluster de pool utilise le pool d’instances avec l’ID (instance_pool_id) si le pool de pilotes n’est pas affecté.

Type de nœud du pilote Spark. Notez que ce champ est facultatif ; si aucun paramètre n’est défini, le type de nœud du pilote est défini comme la même valeur que node_type_id définie ci-dessus. Ce champ, ainsi que node_type_id, ne doit pas être défini si virtual_cluster_size est défini. Si les deux driver_node_type_id, node_type_id et virtual_cluster_size sont spécifiés, driver_node_type_id et node_type_id sont prioritaires.

Mise à l’échelle automatique du stockage local : lorsqu’il est activé, ce cluster acquiert dynamiquement un espace disque supplémentaire lorsque ses processeurs Spark sont à court d'espace disque. Cette fonctionnalité nécessite des autorisations AWS spécifiques pour fonctionner correctement. Reportez-vous au Guide de l’utilisateur pour plus d’informations.

Indique s’il faut activer LUKS sur les disques locaux des machines virtuelles de cluster

Configuration pour le stockage de scripts init. Vous pouvez spécifier n’importe quel nombre de destinations. Les scripts sont exécutés séquentiellement dans l’ordre fourni. Si cluster_log_conf est spécifié, les journaux de script init sont envoyés à <destination>/<cluster-ID>/init_scripts.

ID facultatif du pool d’instances auquel appartient le cluster.

Ce champ ne peut être utilisé que lorsque le type = CLASSIC_PREVIEW. Quand la valeur est true, Azure Databricks définit automatiquement des custom_tags, des spark_conf et des num_workers liés à un nœud unique

Ce champ code, via une seule valeur, les ressources disponibles pour chacun des nœuds Spark de ce cluster. Par exemple, les nœuds Spark peuvent être configurés et optimisés pour des charges de travail gourmandes en mémoire ou en calcul. Une liste des types de nœuds disponibles peut être récupérée à l’aide de l’appel d’API :method :clusters/listNodeTypes.

Nombre de nœuds de travail que ce cluster doit avoir. Un cluster a un pilote Spark et num_workers Exécuteurs pour un total de num_workers + 1 nœuds Spark. Remarque : lors de la lecture des propriétés d’un cluster, ce champ reflète le nombre souhaité de workers plutôt que le nombre actuel réel de workers. Par exemple, si un cluster est redimensionné de 5 à 10 workers, ce champ sera immédiatement mis à jour pour refléter la taille cible de 10 workers, tandis que les workers répertoriés dans spark_info augmenteront progressivement de 5 à 10 à mesure que les nouveaux nœuds sont approvisionnés.

ID de la stratégie de cluster utilisée pour créer le cluster le cas échéant.

Nom d’utilisateur unique si data_security_mode est SINGLE_USER

Objet contenant un ensemble de paires de clé-valeur de configuration Spark facultatives spécifiées par l’utilisateur. Les utilisateurs peuvent également transmettre une chaîne d’options JVM supplémentaires au pilote et aux exécuteurs via spark.driver.extraJavaOptions et spark.executor.extraJavaOptions respectivement.

Objet contenant un ensemble de paires clé-valeur de variable d’environnement facultatives spécifiées par l’utilisateur. Notez que la paire clé-valeur du formulaire (X,Y) sera exportée telle quelle (c’est-à-dire exporter X='Y') lors du lancement du pilote et des workers. Pour spécifier un ensemble supplémentaire de SPARK_DAEMON_JAVA_OPTS, nous vous recommandons de les ajouter à $SPARK_DAEMON_JAVA_OPTS, comme illustré dans l’exemple ci-dessous. Cela garantit que toutes les variables environnementales gérées par databricks par défaut sont également incluses. Exemples de variables d’environnement Spark : {"SPARK_WORKER_MEMORY » : « 28000m », « SPARK_LOCAL_DIRS » : « /local_disk0"} ou {"SPARK_DAEMON_JAVA_OPTS » : « $SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}

Version Spark du cluster, par exemple 3.3.x-scala2.11. Une liste des versions spark disponibles peut être récupérée à l’aide de l’appel d’API :method :clusters/sparkVersions.

Contenu de clé publique SSH qui sera ajouté à chaque nœud Spark de ce cluster. Les clés privées correspondantes peuvent être utilisées pour se connecter avec le nom d’utilisateur ubuntu sur le port 2200. Jusqu’à 10 clés peuvent être spécifiées.

Ce champ ne peut être utilisé que lorsque le type = CLASSIC_PREVIEW. effective_spark_version est déterminée par spark_version (version DBR), ce champ use_ml_runtime et indique si node_type_id est un nœud gpu ou non.

Nombre maximal de workers auxquels le cluster peut effectuer un scale-up lorsqu’il est surchargé. Notez que max_workers doit être strictement supérieur à min_workers.

Nombre minimal de workers auxquels le cluster peut effectuer un scale-down lorsqu’il est sous-utilisé. Il s’agit également du nombre initial de workers que le cluster aura après la création.

Les premiers nœuds first_on_demand du cluster seront placés sur des instances à la demande. Cette valeur doit être supérieure à 0 pour vous assurer que le nœud du pilote de cluster est placé sur une instance à la demande. Si cette valeur est supérieure ou égale à la taille actuelle du cluster, tous les nœuds sont placés sur des instances à la demande. Si cette valeur est inférieure à la taille actuelle du cluster, first_on_demand nœuds seront placés sur des instances à la demande et le reste sera placé sur les instances de disponibilité. Notez que cette valeur n’affecte pas la taille du cluster et ne peut pas être mutée au cours de la durée de vie d’un cluster.

Prix maximal de l’offre à utiliser pour les instances Spot Azure. Le prix maximal de l’offre ne peut pas être supérieur au prix à la demande de l’instance. Si elle n’est pas spécifiée, la valeur par défaut est -1, qui spécifie que l’instance ne peut pas être supprimée en fonction du prix, et uniquement sur la base de la disponibilité. En outre, la valeur doit > être 0 ou -1.

destination dbfs, par exemple dbfs :/my/path

Destination des volumes UC, par exemple ,Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh ou dbfs :/Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh

URL de l’image Docker.

Mot de passe de l’utilisateur

Nom de l’utilisateur

destination abfss, par exemple abfss://< container-name>@<storage-account-name.dfs.core.windows.net/>< directory-name>.

destination de fichier local, par exemple file :/my/local/file.sh

Destination/URI GCS, par exemple gs://my-bucket/some-prefix

destination wsfs, par exemple workspace :/cluster-init-scripts/setup-datadog.sh

Avec les travaux définis, le cluster peut être utilisé pour les travaux

Avec les blocs-notes définis, ce cluster peut être utilisé pour les notebooks

Si la valeur est true, n’envoyez pas de notifications aux destinataires spécifiés dans on_failure si l’exécution est annulée.

Si la valeur est true, n’envoyez pas de notifications aux destinataires spécifiés dans on_failure si l’exécution est ignorée.

Valeur par défaut du paramètre.

Nom du paramètre défini. Peut contenir uniquement des caractères alphanumériques, _, -et .

ID d’application d’un principal de service actif. La définition de ce champ nécessite le rôle servicePrincipal/utilisateur.

E-mail d’un utilisateur d’espace de travail actif. Les utilisateurs non administrateurs ne peuvent définir ce champ que sur leur propre e-mail.

Expression Cron utilisant la syntaxe Quartz qui décrit la planification d’un travail. Pour plus d’informations, consultez le déclencheur Cron . Ce champ est obligatoire.

ID de fuseau horaire Java. La planification d’un travail est résolue par rapport à ce fuseau horaire. Pour plus d’informations, consultez Java TimeZone . Ce champ est obligatoire.

Tableau facultatif d’objets spécifiant le graphique de dépendance de la tâche. Toutes les tâches spécifiées dans ce champ doivent être effectuées avant d’exécuter cette tâche. La tâche s’exécute uniquement si la condition run_if a la valeur true. La clé est task_key, et la valeur est le nom attribué à la tâche dépendante.

Description facultative de cette tâche.

Option permettant de désactiver l’optimisation automatique dans serverless

Clé qui fait référence à une spécification d’environnement dans un travail. Ce champ est requis pour les tâches python, de roue Python et de dbt lors de l’utilisation du calcul serverless.

Si existing_cluster_id, ID d’un cluster existant utilisé pour toutes les exécutions. Lors de l’exécution de travaux ou de tâches sur un cluster existant, vous devrez peut-être redémarrer manuellement le cluster s’il cesse de répondre. Nous vous suggérons d’exécuter des tâches et des tâches sur de nouveaux clusters pour une plus grande fiabilité

Si job_cluster_key, cette tâche est exécutée en réutilisant le cluster spécifié dans job.settings.job_clusters.

Liste facultative des bibliothèques à installer sur le cluster. La valeur par défaut est une liste vide.

Nombre maximal facultatif de nouvelles tentatives d’exécution infructueuse. Une exécution est considérée comme ayant échoué si elle est terminée avec le result_state FAILED ou INTERNAL_ERROR life_cycle_state. La valeur -1 signifie réessayer indéfiniment et la valeur 0 signifie ne jamais réessayer.

Intervalle minimal facultatif en millisecondes entre le début de l’exécution ayant échoué et l’exécution de nouvelle tentative suivante. Le comportement par défaut est que les exécutions infructueuses sont immédiatement retentées.

Stratégie facultative pour spécifier s’il faut réessayer un travail lorsqu’il expire. Le comportement par défaut consiste à ne pas réessayer lors du délai d’expiration.

Nom unique de la tâche. Ce champ est utilisé pour faire référence à cette tâche à partir d’autres tâches. Ce champ est obligatoire et doit être unique dans son travail parent. Lors de la mise à jour ou de la réinitialisation, ce champ est utilisé pour référencer les tâches à mettre à jour ou à réinitialiser.

Délai d’expiration facultatif appliqué à chaque exécution de cette tâche de travail. La valeur 0 signifie qu’aucun délai d’expiration n’est nécessaire.

Opérande gauche de la tâche de condition. Il peut s’agir d’une valeur de chaîne, d’un état de travail ou d’une référence de paramètre.

Opérande droit de la tâche de condition. Il peut s’agir d’une valeur de chaîne, d’un état de travail ou d’une référence de paramètre.

Identificateur du tableau de bord à actualiser.

Facultatif : ID d’entrepôt à exécuter le tableau de bord avec pour la planification. S’il n’est pas spécifié, l’entrepôt par défaut du tableau de bord est utilisé.

Facultatif : permet aux utilisateurs de spécifier une ligne d’objet personnalisée sur l’e-mail envoyé aux abonnés.

Lorsque la valeur est true, l’abonnement n’envoie pas d’e-mails.

Liste des abonnés à laquelle envoyer l’instantané du tableau de bord.

Un instantané du tableau de bord est envoyé à la destination lorsque le champ destination_id est présent.

Un instantané du tableau de bord est envoyé à l’e-mail de l’utilisateur lorsque le champ user_name est présent.

Ne peut être spécifié que sur les dépendances de tâche de condition. Résultat de la tâche dépendante qui doit être remplie pour que cette tâche s’exécute.

Le nom de la tâche sur laquelle dépend cette tâche.

Une liste d’adresses e-mail à notifier lorsque la durée d’une exécution dépasse le seuil spécifié pour la métrique de RUN_DURATION_SECONDS dans le champ d’intégrité. Si aucune règle pour la métrique RUN_DURATION_SECONDS n’est spécifiée dans le champ d’intégrité du travail, les notifications ne sont pas envoyées.

Liste des adresses e-mail à avertir lorsqu’une exécution échoue. Une exécution est considérée comme ayant échoué si elle se termine par un INTERNAL_ERROR life_cycle_state ou un échec, ou TIMED_OUT result_state. S’il n’est pas spécifié lors de la création, de la réinitialisation ou de la mise à jour de la liste est vide et que les notifications ne sont pas envoyées.

Liste des adresses e-mail à avertir lorsqu’une exécution commence. Si elle n’est pas spécifiée lors de la création, de la réinitialisation ou de la mise à jour du travail, la liste est vide et les notifications ne sont pas envoyées.

Liste des adresses e-mail à notifier quand des seuils de backlog de diffusion en continu sont dépassés pour n’importe quel flux. Les seuils de backlog de diffusion en continu peuvent être définis dans le champ d’intégrité à l’aide des métriques suivantes : STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS ou STREAMING_BACKLOG_FILES. Les alertes sont basées sur la moyenne de 10 minutes de ces métriques. Si le problème persiste, les notifications sont réententes toutes les 30 minutes.

Liste des adresses e-mail à avertir lorsqu’une exécution se termine correctement. Une exécution est considérée comme ayant réussi s’il se termine par un life_cycle_state TERMINATED et un result_state SUCCESS. Si elle n’est pas spécifiée lors de la création, de la réinitialisation ou de la mise à jour du travail, la liste est vide et les notifications ne sont pas envoyées.

URI de la bibliothèque JAR à installer. Les URI pris en charge incluent les chemins d’espace de travail, les chemins des volumes catalogue Unity et les URI ADLS. Par exemple : { « jar » : « /Workspace/path/to/library.jar » }, { « jar » : « /Volumes/path/to/library.jar » } ou { « jar » : « abfss://my-bucket/library.jar » }. Si ADLS est utilisé, vérifiez que le cluster dispose d’un accès en lecture sur la bibliothèque. Vous devrez peut-être lancer le cluster avec un principal de service Microsoft Entra ID pour accéder à l’URI ADLS.

URI du fichier requirements.txt à installer. Seuls les chemins d’accès de l’espace de travail et les chemins des volumes catalogue Unity sont pris en charge. Par exemple : { « requirements » : « /Workspace/path/to/requirements.txt" } ou { « requirements » : « /Volumes/path/to/requirements.txt" }

URI de la bibliothèque de roues à installer. Les URI pris en charge incluent les chemins d’espace de travail, les chemins des volumes catalogue Unity et les URI ADLS. Par exemple : { « whl » : « /Workspace/path/to/library.whl » }, { « whl » : « /Volumes/path/to/library.whl » } ou { « whl » : « abfss://my-bucket/library.whl » }. Si ADLS est utilisé, vérifiez que le cluster dispose d’un accès en lecture sur la bibliothèque. Vous devrez peut-être lancer le cluster avec un principal de service Microsoft Entra ID pour accéder à l’URI ADLS.

Nombre maximal maximal facultatif d’exécutions simultanées de la tâche. Définissez cette valeur si vous souhaitez pouvoir exécuter plusieurs exécutions de la tâche simultanément.

Tableau sur lequel effectuer une itération de tâche. Il peut s’agir d’une chaîne JSON ou d’une référence à un paramètre de tableau.

Nom du package CRAN à installer.

Référentiel où se trouve le package. S’il n’est pas spécifié, le dépôt CRAN par défaut est utilisé.

Coordonnées maven de style Gradle. Par exemple : « org.jsoup :jsoup :1.7.2 ».

Liste des dépendances à exclure. Par exemple : ["slf4j :slf4j », « * :hadoop-client"]. Exclusions de dépendance Maven : https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html.

Référentiel Maven à partir duquel installer le package Maven. S’il est omis, le référentiel central Maven et les packages Spark sont recherchés.

Nom du package pypi à installer. Une spécification de version exacte facultative est également prise en charge. Exemples : « simplejson » et « simplejson==3.8.0 ».

Référentiel où se trouve le package. S’il n’est pas spécifié, l’index pip par défaut est utilisé.

Paramètres de base à utiliser pour chaque exécution de ce travail. Si l’exécution est lancée par un appel à :method :jobs/run Now avec les paramètres spécifiés, les deux mappages de paramètres sont fusionnés. Si la même clé est spécifiée dans base_parameters et dans l’exécution, la valeur de run-now est utilisée. Utilisez des variables de paramètre de tâche pour définir des paramètres contenant des informations sur les exécutions de travaux. Si le notebook accepte un paramètre qui n’est pas spécifié dans le base_parameters du travail ou les paramètres de remplacement d’exécution, la valeur par défaut du bloc-notes est utilisée. Récupérez ces paramètres dans un notebook à l’aide de dbutils.widgets.get. La représentation JSON de ce champ ne peut pas dépasser 1 Mo.

Chemin d’accès du notebook à exécuter dans l’espace de travail Azure Databricks ou le référentiel distant. Pour les notebooks stockés dans l’espace de travail Azure Databricks, le chemin d’accès doit être absolu et commencer par une barre oblique. Pour les notebooks stockés dans un référentiel distant, le chemin d’accès doit être relatif. Ce champ est obligatoire.

Warehouse_id facultatif pour exécuter le notebook sur un entrepôt SQL. Les entrepôts SQL classiques ne sont pas pris en charge. Utilisez des entrepôts SQL serverless ou pro. Notez que les entrepôts SQL prennent uniquement en charge les cellules SQL ; si le notebook contient des cellules non-SQL, l’exécution échoue.

Si la valeur est true, n’envoyez pas de notifications aux destinataires spécifiés dans on_start pour les exécutions retentées et n’envoyez pas de notifications aux destinataires spécifiés dans on_failure jusqu’à la dernière nouvelle tentative de l’exécution.

Si la valeur est true, n’envoyez pas de notifications aux destinataires spécifiés dans on_failure si l’exécution est annulée.

Si la valeur est true, n’envoyez pas de notifications aux destinataires spécifiés dans on_failure si l’exécution est ignorée.

Si la valeur est true, déclenche une actualisation complète sur la table dynamique delta.

Nom complet de la tâche de pipeline à exécuter.

Point d’entrée nommé à utiliser, s’il n’existe pas dans les métadonnées du package qu’il exécute directement à partir du package à l’aide de $packageName.$entryPoint()

Paramètres de ligne de commande passés à la tâche de roue Python sous la forme de [ »--name=task », « --data=dbfs :/path/to/data.json« ]. Laissez-le vide si les paramètres ne sont pas null.

Nom du package à exécuter

Paramètres de ligne de commande passés à la tâche de roue Python. Laissez-le vide si named_parameters n’est pas null.

ID du travail à déclencher.

Paramètres au niveau du travail utilisés pour déclencher le travail.

Nom complet de la classe contenant la méthode principale à exécuter. Cette classe doit être contenue dans un fichier JAR fourni en tant que bibliothèque. Le code doit utiliser SparkContext.getOrCreate pour obtenir un contexte Spark ; sinon, les exécutions du travail échouent.

Paramètres passés à la méthode principale. Utilisez des variables de paramètre de tâche pour définir des paramètres contenant des informations sur les exécutions de travaux.

Paramètres de ligne de commande passés au fichier Python. Utilisez des variables de paramètre de tâche pour définir des paramètres contenant des informations sur les exécutions de travaux.

Fichier Python à exécuter. Les URI de fichier cloud (tels que dbfs :/, s3 :/, adls :/, gcs :/) et les chemins d’accès de l’espace de travail sont pris en charge. Pour les fichiers Python stockés dans l’espace de travail Azure Databricks, le chemin d’accès doit être absolu et commencer par /. Pour les fichiers stockés dans un référentiel distant, le chemin d’accès doit être relatif. Ce champ est obligatoire.

Paramètres de ligne de commande passés à spark Submit. Utilisez des variables de paramètre de tâche pour définir des paramètres contenant des informations sur les exécutions de travaux.

Liste facultative des ID de notification système à appeler lorsque la durée d’une exécution dépasse le seuil spécifié pour la métrique de RUN_DURATION_SECONDS dans le champ d’intégrité. Un maximum de 3 destinations peut être spécifié pour la propriété on_duration_warning_threshold_exceeded.

Liste facultative des ID de notification système à appeler en cas d’échec de l’exécution. Un maximum de 3 destinations peut être spécifié pour la propriété on_failure.

Liste facultative des ID de notification système à appeler au démarrage de l’exécution. Un maximum de 3 destinations peut être spécifié pour la propriété on_start.

Liste facultative des ID de notification système à appeler quand des seuils de backlog de diffusion en continu sont dépassés pour n’importe quel flux. Les seuils de backlog de diffusion en continu peuvent être définis dans le champ d’intégrité à l’aide des métriques suivantes : STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS ou STREAMING_BACKLOG_FILES. Les alertes sont basées sur la moyenne de 10 minutes de ces métriques. Si le problème persiste, les notifications sont réententes toutes les 30 minutes. Un maximum de 3 destinations peut être spécifié pour la propriété on_streaming_backlog_exceeded.

Liste facultative des ID de notification système à appeler une fois l’exécution terminée. Un maximum de 3 destinations peut être spécifié pour la propriété on_success.

S’il est défini, le déclencheur démarre une exécution uniquement après la durée spécifiée passée depuis la dernière fois que le déclencheur a été déclenché. La valeur minimale autorisée est de 60 secondes

URL à surveiller pour les arrivées de fichiers. Le chemin d’accès doit pointer vers la racine ou un sous-chemin de l’emplacement externe.

S’il est défini, le déclencheur démarre une exécution uniquement après qu’aucune activité de fichier n’a eu lieu pendant la durée spécifiée. Cela permet d’attendre qu’un lot de fichiers entrants arrive avant de déclencher une exécution. La valeur minimale autorisée est de 60 secondes.

Intervalle auquel le déclencheur doit s’exécuter.

Indique si le déclencheur tire parti des événements de fichier pour détecter les arrivées de fichiers.

Numéro de séquence de cette tentative d’exécution pour une exécution de travail déclenchée. La tentative initiale d’une exécution comporte une attempt_number de 0. Si la tentative d’exécution initiale échoue et que le travail a une stratégie de nouvelle tentative (max_retries > 0), les exécutions suivantes sont créées avec un original_attempt_run_id de l’ID de la tentative d’origine et une attempt_number incrémentée. Les exécutions sont retentées uniquement jusqu’à ce qu’elles réussissent, et la attempt_number maximale est identique à la valeur max_retries pour le travail.

Temps en millisecondes nécessaire pour mettre fin au cluster et nettoyer tous les artefacts associés. La durée d’une exécution de tâche est la somme des setup_duration, des execution_duration et des cleanup_duration. Le champ cleanup_duration est défini sur 0 pour les exécutions de tâches multitasque. La durée totale d’une exécution de travail multitask est la valeur du champ run_duration.

Nom d’utilisateur du créateur. Ce champ ne sera pas inclus dans la réponse si l’utilisateur a déjà été supprimé.

Description de l’exécution

Heure à laquelle cette exécution s’est terminée en millisecondes d’époque (millisecondes depuis 1/1/1970 UTC). Ce champ est défini sur 0 si le travail est toujours en cours d’exécution.

La durée en millisecondes nécessaire pour exécuter les commandes dans le fichier JAR ou le notebook jusqu’à ce qu’elles aient terminé, échoué, expiré, été annulée ou rencontré une erreur inattendue. La durée d’une exécution de tâche est la somme des setup_duration, des execution_duration et des cleanup_duration. Le champ execution_duration est défini sur 0 pour les exécutions de tâches multitasque. La durée totale d’une exécution de travail multitask est la valeur du champ run_duration.

Indique si l’exécution a plus de propriétés de tableau (tâches, job_clusters) qui ne sont pas affichées. Ils sont accessibles via le point de terminaison :method :jobs/getrun. Il s’applique uniquement aux requêtes API 2.2 :method :jobs/listruns avec expand_tasks=true.

Liste des spécifications de cluster de travaux qui peuvent être partagées et réutilisées par les tâches de ce travail. Les bibliothèques ne peuvent pas être déclarées dans un cluster de travaux partagés. Vous devez déclarer des bibliothèques dépendantes dans les paramètres de tâche. Si plus de 100 clusters de travaux sont disponibles, vous pouvez les paginer à l’aide de :method :jobs/getrun.

Identificateur canonique du travail qui contient cette exécution.

Paramètres au niveau du travail utilisés dans l’exécution

ID de l’exécution du travail auquel appartient cette exécution. Pour les travaux hérités et à tâche unique, le champ est rempli avec l’ID d’exécution du travail. Pour les exécutions de tâches, le champ est rempli avec l’ID de l’exécution du travail auquel appartient l’exécution de la tâche.

Jeton qui peut être utilisé pour répertorier la page suivante des propriétés du tableau.

Si cette exécution est une nouvelle tentative d’exécution antérieure, ce champ contient la run_id de la tentative d’origine ; sinon, c’est le même que le run_id.

Temps en millisecondes pendant lequel l’exécution a passé dans la file d’attente.

Historique de réparation de l’exécution.

Temps en millisecondes nécessaire à l’exécution du travail et à toutes ses réparations.

Identificateur canonique de l’exécution. Cet ID est unique dans toutes les exécutions de tous les travaux.

Nom facultatif de l’exécution. La longueur maximale est de 4 096 octets dans l’encodage UTF-8.

URL de la page de détails de l’exécution.

Temps en millisecondes nécessaire pour configurer le cluster. Pour les exécutions qui s’exécutent sur de nouveaux clusters, il s’agit de l’heure de création du cluster, car les exécutions qui s’exécutent sur des clusters existants cette fois doivent être très courtes. La durée d’une exécution de tâche est la somme des setup_duration, des execution_duration et des cleanup_duration. Le champ setup_duration est défini sur 0 pour les exécutions de tâches multitasque. La durée totale d’une exécution de travail multitask est la valeur du champ run_duration.

Heure à laquelle cette exécution a commencé en millisecondes d’époque (millisecondes depuis 1/1/1970 UTC). Cela peut ne pas être le moment où la tâche de travail commence à s’exécuter, par exemple, si le travail est planifié pour s’exécuter sur un nouveau cluster, c’est l’heure à laquelle l’appel de création du cluster est émis.

Liste des tâches effectuées par l’exécution. Chaque tâche a sa propre run_id que vous pouvez utiliser pour appeler JobsGetOutput pour récupérer les résutls d’exécution. Si plus de 100 tâches sont disponibles, vous pouvez les paginer à l’aide de :method :jobs/getrun. Utilisez le champ next_page_token à la racine de l’objet pour déterminer si d’autres résultats sont disponibles.

Identificateur canonique du cluster utilisé par une exécution. Ce champ est toujours disponible pour les exécutions sur des clusters existants. Pour les exécutions sur de nouveaux clusters, elle devient disponible une fois le cluster créé. Cette valeur peut être utilisée pour afficher les journaux en accédant à /#setting/sparkui/$cluster_id/driver-logs. Les journaux continuent d’être disponibles une fois l’exécution terminée. La réponse n’inclut pas ce champ si l’identificateur n’est pas encore disponible.

Identificateur canonique pour le contexte Spark utilisé par une exécution. Ce champ est renseigné une fois que l’exécution commence l’exécution. Cette valeur peut être utilisée pour afficher l’interface utilisateur Spark en accédant à /#setting/sparkui/$cluster_id/$spark_context_id. L’interface utilisateur Spark continue d’être disponible une fois l’exécution terminée. La réponse n’inclut pas ce champ si l’identificateur n’est pas encore disponible.

Si existing_cluster_id, ID d’un cluster existant utilisé pour toutes les exécutions. Lors de l’exécution de travaux ou de tâches sur un cluster existant, vous devrez peut-être redémarrer manuellement le cluster s’il cesse de répondre. Nous vous suggérons d’exécuter des tâches et des tâches sur de nouveaux clusters pour une plus grande fiabilité

Si job_cluster_key, cette tâche est exécutée en réutilisant le cluster spécifié dans job.settings.job_clusters.

Liste facultative des bibliothèques à installer sur le cluster. La valeur par défaut est une liste vide.

Valeur par défaut facultative du paramètre

Nom du paramètre

Valeur utilisée dans l’exécution

Heure de fin de l’exécution (réparée).

ID de la réparation. Retourné uniquement pour les éléments qui représentent une réparation dans repair_history.

Heure de début de l’exécution (réparée).

ID d’exécution de la tâche exécutée dans le cadre de cet élément d’historique de réparation.

Message descriptif avec les détails de mise en file d’attente. Ce champ n’est pas structuré et son format exact est susceptible de changer.

Message descriptif avec les détails de l’arrêt. Ce champ n’est pas structuré et le format peut changer.

Numéro de séquence de cette tentative d’exécution pour une exécution de travail déclenchée. La tentative initiale d’une exécution comporte une attempt_number de 0. Si la tentative d’exécution initiale échoue et que le travail a une stratégie de nouvelle tentative (max_retries > 0), les exécutions suivantes sont créées avec un original_attempt_run_id de l’ID de la tentative d’origine et une attempt_number incrémentée. Les exécutions sont retentées uniquement jusqu’à ce qu’elles réussissent, et la attempt_number maximale est identique à la valeur max_retries pour le travail.

Temps en millisecondes nécessaire pour mettre fin au cluster et nettoyer tous les artefacts associés. La durée d’une exécution de tâche est la somme des setup_duration, des execution_duration et des cleanup_duration. Le champ cleanup_duration est défini sur 0 pour les exécutions de tâches multitasque. La durée totale d’une exécution de travail multitask est la valeur du champ run_duration.

Tableau facultatif d’objets spécifiant le graphique de dépendance de la tâche. Toutes les tâches spécifiées dans ce champ doivent se terminer correctement avant d’exécuter cette tâche. La clé est task_key, et la valeur est le nom attribué à la tâche dépendante.

Description facultative de cette tâche.

Heure à laquelle cette exécution s’est terminée en millisecondes d’époque (millisecondes depuis 1/1/1970 UTC). Ce champ est défini sur 0 si le travail est toujours en cours d’exécution.

Clé qui fait référence à une spécification d’environnement dans un travail. Ce champ est requis pour les tâches python, de roue Python et de dbt lors de l’utilisation du calcul serverless.

La durée en millisecondes nécessaire pour exécuter les commandes dans le fichier JAR ou le notebook jusqu’à ce qu’elles aient terminé, échoué, expiré, été annulée ou rencontré une erreur inattendue. La durée d’une exécution de tâche est la somme des setup_duration, des execution_duration et des cleanup_duration. Le champ execution_duration est défini sur 0 pour les exécutions de tâches multitasque. La durée totale d’une exécution de travail multitask est la valeur du champ run_duration.

Si existing_cluster_id, ID d’un cluster existant utilisé pour toutes les exécutions. Lors de l’exécution de travaux ou de tâches sur un cluster existant, vous devrez peut-être redémarrer manuellement le cluster s’il cesse de répondre. Nous vous suggérons d’exécuter des tâches et des tâches sur de nouveaux clusters pour une plus grande fiabilité

Si job_cluster_key, cette tâche est exécutée en réutilisant le cluster spécifié dans job.settings.job_clusters.

Liste facultative des bibliothèques à installer sur le cluster. La valeur par défaut est une liste vide.

Temps en millisecondes pendant lequel l’exécution a passé dans la file d’attente.

Temps en millisecondes nécessaire à l’exécution du travail et à toutes ses réparations.

ID de l’exécution de la tâche.

Temps en millisecondes nécessaire pour configurer le cluster. Pour les exécutions qui s’exécutent sur de nouveaux clusters, il s’agit de l’heure de création du cluster, car les exécutions qui s’exécutent sur des clusters existants cette fois doivent être très courtes. La durée d’une exécution de tâche est la somme des setup_duration, des execution_duration et des cleanup_duration. Le champ setup_duration est défini sur 0 pour les exécutions de tâches multitasque. La durée totale d’une exécution de travail multitask est la valeur du champ run_duration.

Heure à laquelle cette exécution a commencé en millisecondes d’époque (millisecondes depuis 1/1/1970 UTC). Cela peut ne pas être le moment où la tâche de travail commence à s’exécuter, par exemple, si le travail est planifié pour s’exécuter sur un nouveau cluster, c’est l’heure à laquelle l’appel de création du cluster est émis.

Nom unique de la tâche. Ce champ est utilisé pour faire référence à cette tâche à partir d’autres tâches. Ce champ est obligatoire et doit être unique dans son travail parent. Lors de la mise à jour ou de la réinitialisation, ce champ est utilisé pour référencer les tâches à mettre à jour ou à réinitialiser.

Délai d’expiration facultatif appliqué à chaque exécution de cette tâche de travail. La valeur 0 signifie qu’aucun délai d’expiration n’est nécessaire.

Opérande gauche de la tâche de condition. Il peut s’agir d’une valeur de chaîne, d’un état de travail ou d’une référence de paramètre.

Résultat de l’évaluation de l’expression de condition. Renseigné si la tâche a été terminée avec succès. Peut être « true » ou « false »

Opérande droit de la tâche de condition. Il peut s’agir d’une valeur de chaîne, d’un état de travail ou d’une référence de paramètre.

ID d’exécution de la tâche Exécuter le travail

Message d’erreur indiquant pourquoi une tâche a échoué ou pourquoi la sortie n’est pas disponible. Le message n’est pas structuré et son format exact est susceptible de changer.

S’il y a eu une erreur lors de l’exécution, ce champ contient des traces de pile disponibles.

Sortie des tâches qui écrivent dans des flux standard (stdout/stderr) tels que spark_jar_task, spark_python_task, python_wheel_task. Elle n’est pas prise en charge pour les notebook_task, les pipeline_task ou les spark_submit_task. Azure Databricks restreint cette API pour retourner les 5 derniers Mo de ces journaux.

Indique si les journaux sont tronqués.

Valeur transmise à dbutils.notebook.exit(). Azure Databricks restreint cette API pour retourner les 5 premiers Mo de la valeur. Pour obtenir un résultat plus important, votre travail peut stocker les résultats dans un service de stockage cloud. Ce champ est absent si dbutils.notebook.exit() n’a jamais été appelé.

Indique si le résultat a été tronqué ou non.

ID d’exécution de l’exécution du travail déclenché