az synapse spark pool
Gérer les pools Spark.
Commandes
| Nom | Description | Type | État |
|---|---|---|---|
| az synapse spark pool create |
Créez un pool Spark. |
Core | GA |
| az synapse spark pool delete |
Supprimez un pool Spark. |
Core | GA |
| az synapse spark pool list |
Répertoriez tous les pools Spark. |
Core | GA |
| az synapse spark pool show |
Obtenir un pool Spark. |
Core | GA |
| az synapse spark pool update |
Mettez à jour le pool Spark. |
Core | GA |
| az synapse spark pool wait |
Placez l’interface CLI dans un état d’attente jusqu’à ce qu’une condition d’un pool Spark soit remplie. |
Core | GA |
az synapse spark pool create
Créez un pool Spark.
az synapse spark pool create --name
--node-count
--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}
--resource-group
--spark-version
--workspace-name
[--delay]
[--enable-auto-pause {false, true}]
[--enable-auto-scale {false, true}]
[--enable-dynamic-exec {false, true}]
[--max-executors]
[--max-node-count]
[--min-executors]
[--min-node-count]
[--no-wait]
[--node-size-family {HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None}]
[--spark-config-file-path]
[--spark-events-folder]
[--spark-log-folder]
[--tags]
Exemples
Créez un pool Spark.
az synapse spark pool create --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-version 2.4 --node-count 3 --node-size Medium --spark-config-file-path 'path/configfile.txt'
Paramètres obligatoires
Nom du pool Spark.
Nombre de nœuds.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Node Arguments |
Niveau de puissance de calcul dont dispose chaque nœud du pool Big Data..
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Node Arguments |
| Valeurs acceptées: | Large, Medium, None, Small, XLarge, XXLarge, XXXLarge |
Nom du groupe de ressources. Vous pouvez configurer le groupe par défaut à l’aide de az configure --defaults group=<name>.
La version Spark prise en charge est désormais 2.4.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Component Version Arguments |
Nom de l’espace de travail.
Paramètres facultatifs
Les paramètres suivants sont facultatifs, mais en fonction du contexte, un ou plusieurs peuvent être nécessaires pour que la commande s’exécute correctement.
Délai dont l’unité est minute.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | AutoPause Arguments |
Indicateur d’activation de la pause automatique.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | AutoPause Arguments |
| Valeurs acceptées: | false, true |
Indicateur d’activation de la mise à l’échelle automatique.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | AutoScale Arguments |
| Valeurs acceptées: | false, true |
Indique si l’allocation d’exécuteur dynamique est activée ou non.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | DynamicExecutor Arguments |
| Valeurs acceptées: | false, true |
Nombre maximal d’exécuteurs allotés.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | DynamicExecutor Arguments |
Nombre maximal de nœuds.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | AutoScale Arguments |
Nombre minimal d’exécuteurs allotés.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | DynamicExecutor Arguments |
Nombre minimal de nœuds.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | AutoScale Arguments |
Ne pas attendre la fin de l’opération de longue durée.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Type de nœuds que le pool Big Data fournit.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Node Arguments |
| Valeur par défaut: | MemoryOptimized |
| Valeurs acceptées: | HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None |
Chemin absolu du fichier de configuration des propriétés du pool Spark.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Environment Configuration Arguments |
Dossier des événements Spark.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Default Folder Arguments |
| Valeur par défaut: | /events |
Dossier de journal Spark par défaut.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Default Folder Arguments |
| Valeur par défaut: | /logs |
Balises séparées par l’espace : key[=value] [key[=value] ...]. Utilisez « » pour effacer les balises existantes.
Paramètres globaux
Augmentez la verbosité de la journalisation pour afficher tous les logs de débogage.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Affichez ce message d’aide et quittez.
Afficher uniquement les erreurs, en supprimant les avertissements.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Format de sortie.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | json |
| Valeurs acceptées: | json, jsonc, none, table, tsv, yaml, yamlc |
Chaîne de requête JMESPath. Pour plus d’informations et d’exemples, consultez http://jmespath.org/.
Nom ou ID de l’abonnement. Vous pouvez configurer l’abonnement par défaut à l’aide de az account set -s NAME_OR_ID.
Augmentez le niveau de verbosité de la journalisation. Utilisez --debug pour les journaux de débogage complets.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
az synapse spark pool delete
Supprimez un pool Spark.
az synapse spark pool delete [--ids]
[--name]
[--no-wait]
[--resource-group]
[--subscription]
[--workspace-name]
[--yes]
Exemples
Supprimez un pool Spark.
az synapse spark pool delete --name testpool --workspace-name testsynapseworkspace --resource-group rg
Paramètres facultatifs
Les paramètres suivants sont facultatifs, mais en fonction du contexte, un ou plusieurs peuvent être nécessaires pour que la commande s’exécute correctement.
Un ou plusieurs ID de ressource (délimités par l’espace). Il doit s’agir d’un ID de ressource complet contenant toutes les informations des arguments « ID de ressource ». Vous devez fournir des arguments --id ou d’autres arguments « ID de ressource ».
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Nom du pool Spark.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Ne pas attendre la fin de l’opération de longue durée.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Nom du groupe de ressources. Vous pouvez configurer le groupe par défaut à l’aide de az configure --defaults group=<name>.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Nom ou ID de l’abonnement. Vous pouvez configurer l’abonnement par défaut à l’aide de az account set -s NAME_OR_ID.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Nom de l’espace de travail.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
N’invitez pas à confirmer.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Paramètres globaux
Augmentez la verbosité de la journalisation pour afficher tous les logs de débogage.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Affichez ce message d’aide et quittez.
Afficher uniquement les erreurs, en supprimant les avertissements.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Format de sortie.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | json |
| Valeurs acceptées: | json, jsonc, none, table, tsv, yaml, yamlc |
Chaîne de requête JMESPath. Pour plus d’informations et d’exemples, consultez http://jmespath.org/.
Augmentez le niveau de verbosité de la journalisation. Utilisez --debug pour les journaux de débogage complets.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
az synapse spark pool list
Répertoriez tous les pools Spark.
az synapse spark pool list --resource-group
--workspace-name
Exemples
Répertoriez tous les pools Spark.
az synapse spark pool list --workspace-name testsynapseworkspace --resource-group rg
Paramètres obligatoires
Nom du groupe de ressources. Vous pouvez configurer le groupe par défaut à l’aide de az configure --defaults group=<name>.
Nom de l’espace de travail.
Paramètres globaux
Augmentez la verbosité de la journalisation pour afficher tous les logs de débogage.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Affichez ce message d’aide et quittez.
Afficher uniquement les erreurs, en supprimant les avertissements.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Format de sortie.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | json |
| Valeurs acceptées: | json, jsonc, none, table, tsv, yaml, yamlc |
Chaîne de requête JMESPath. Pour plus d’informations et d’exemples, consultez http://jmespath.org/.
Nom ou ID de l’abonnement. Vous pouvez configurer l’abonnement par défaut à l’aide de az account set -s NAME_OR_ID.
Augmentez le niveau de verbosité de la journalisation. Utilisez --debug pour les journaux de débogage complets.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
az synapse spark pool show
Obtenir un pool Spark.
az synapse spark pool show [--ids]
[--name]
[--resource-group]
[--subscription]
[--workspace-name]
Exemples
Obtenir un pool Spark.
az synapse spark pool show --name testpool --workspace-name testsynapseworkspace --resource-group rg
Paramètres facultatifs
Les paramètres suivants sont facultatifs, mais en fonction du contexte, un ou plusieurs peuvent être nécessaires pour que la commande s’exécute correctement.
Un ou plusieurs ID de ressource (délimités par l’espace). Il doit s’agir d’un ID de ressource complet contenant toutes les informations des arguments « ID de ressource ». Vous devez fournir des arguments --id ou d’autres arguments « ID de ressource ».
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Nom du pool Spark.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Nom du groupe de ressources. Vous pouvez configurer le groupe par défaut à l’aide de az configure --defaults group=<name>.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Nom ou ID de l’abonnement. Vous pouvez configurer l’abonnement par défaut à l’aide de az account set -s NAME_OR_ID.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Nom de l’espace de travail.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Paramètres globaux
Augmentez la verbosité de la journalisation pour afficher tous les logs de débogage.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Affichez ce message d’aide et quittez.
Afficher uniquement les erreurs, en supprimant les avertissements.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Format de sortie.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | json |
| Valeurs acceptées: | json, jsonc, none, table, tsv, yaml, yamlc |
Chaîne de requête JMESPath. Pour plus d’informations et d’exemples, consultez http://jmespath.org/.
Augmentez le niveau de verbosité de la journalisation. Utilisez --debug pour les journaux de débogage complets.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
az synapse spark pool update
Mettez à jour le pool Spark.
az synapse spark pool update [--delay]
[--enable-auto-pause {false, true}]
[--enable-auto-scale {false, true}]
[--enable-dynamic-exec {false, true}]
[--force {false, true}]
[--ids]
[--library-requirements]
[--max-executors]
[--max-node-count]
[--min-executors]
[--min-node-count]
[--name]
[--no-wait]
[--node-count]
[--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}]
[--package]
[--package-action {Add, Remove}]
[--resource-group]
[--spark-config-file-path]
[--subscription]
[--tags]
[--workspace-name]
Exemples
Mettez à jour les balises du pool Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--tags key1=value1
Mettez à jour la configuration de mise à l’échelle automatique du pool Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-auto-scale --min-node-count 3 --max-node-count 100
Mettez à jour les bibliothèques personnalisées du pool Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--package-action Add --package package1.jar package2.jar
Mettez à jour le fichier de configuration du pool Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-config-file-path 'path/configfile.txt'
Mettez à jour la configuration d’allocation d’exécuteur dynamique du pool Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-dynamic-exec --min-executors 3 --max-executors 10
Paramètres facultatifs
Les paramètres suivants sont facultatifs, mais en fonction du contexte, un ou plusieurs peuvent être nécessaires pour que la commande s’exécute correctement.
Délai dont l’unité est minute.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | AutoPause Arguments |
Indicateur d’activation de la pause automatique.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | AutoPause Arguments |
| Valeurs acceptées: | false, true |
Indicateur d’activation de la mise à l’échelle automatique.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | AutoScale Arguments |
| Valeurs acceptées: | false, true |
Indique si l’allocation d’exécuteur dynamique est activée ou non.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | DynamicExecutor Arguments |
| Valeurs acceptées: | false, true |
Indicateur de l’opération de force.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
| Valeurs acceptées: | false, true |
Un ou plusieurs ID de ressource (délimités par l’espace). Il doit s’agir d’un ID de ressource complet contenant toutes les informations des arguments « ID de ressource ». Vous devez fournir des arguments --id ou d’autres arguments « ID de ressource ».
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Fichier de configuration requise pour la bibliothèque.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Environment Configuration Arguments |
Nombre maximal d’exécuteurs allotés.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | DynamicExecutor Arguments |
Nombre maximal de nœuds.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | AutoScale Arguments |
Nombre minimal d’exécuteurs allotés.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | DynamicExecutor Arguments |
Nombre minimal de nœuds.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | AutoScale Arguments |
Nom du pool Spark.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Ne pas attendre la fin de l’opération de longue durée.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Nombre de nœuds.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Node Arguments |
Niveau de puissance de calcul dont dispose chaque nœud du pool Big Data..
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Node Arguments |
| Valeurs acceptées: | Large, Medium, None, Small, XLarge, XXLarge, XXXLarge |
Liste des packages d’espace de travail nom.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Custom Libraries Arguments |
L’action de package doit être spécifiée lorsque vous ajoutez ou supprimez un package d’espace de travail d’un pool Apache Spark.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Custom Libraries Arguments |
| Valeurs acceptées: | Add, Remove |
Nom du groupe de ressources. Vous pouvez configurer le groupe par défaut à l’aide de az configure --defaults group=<name>.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Chemin absolu du fichier de configuration des propriétés du pool Spark.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Environment Configuration Arguments |
Nom ou ID de l’abonnement. Vous pouvez configurer l’abonnement par défaut à l’aide de az account set -s NAME_OR_ID.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Balises séparées par l’espace : key[=value] [key[=value] ...]. Utilisez « » pour effacer les balises existantes.
Nom de l’espace de travail.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Paramètres globaux
Augmentez la verbosité de la journalisation pour afficher tous les logs de débogage.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Affichez ce message d’aide et quittez.
Afficher uniquement les erreurs, en supprimant les avertissements.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Format de sortie.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | json |
| Valeurs acceptées: | json, jsonc, none, table, tsv, yaml, yamlc |
Chaîne de requête JMESPath. Pour plus d’informations et d’exemples, consultez http://jmespath.org/.
Augmentez le niveau de verbosité de la journalisation. Utilisez --debug pour les journaux de débogage complets.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
az synapse spark pool wait
Placez l’interface CLI dans un état d’attente jusqu’à ce qu’une condition d’un pool Spark soit remplie.
az synapse spark pool wait --big-data-pool-name
[--created]
[--custom]
[--deleted]
[--exists]
[--ids]
[--interval]
[--resource-group]
[--subscription]
[--timeout]
[--updated]
[--workspace-name]
Paramètres obligatoires
Nom du pool Big Data.
Paramètres facultatifs
Les paramètres suivants sont facultatifs, mais en fonction du contexte, un ou plusieurs peuvent être nécessaires pour que la commande s’exécute correctement.
Attendez la création avec « provisioningState » sur « Succeeded ».
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Wait Condition Arguments |
| Valeur par défaut: | False |
Attendez que la condition réponde à une requête JMESPath personnalisée. Par exemple, provisioningState !='InProgress', instanceView.statuses[ ?code=='PowerState/running'].
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Wait Condition Arguments |
Attendez la suppression.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Wait Condition Arguments |
| Valeur par défaut: | False |
Attendez que la ressource existe.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Wait Condition Arguments |
| Valeur par défaut: | False |
Un ou plusieurs ID de ressource (délimités par l’espace). Il doit s’agir d’un ID de ressource complet contenant toutes les informations des arguments « ID de ressource ». Vous devez fournir des arguments --id ou d’autres arguments « ID de ressource ».
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Intervalle d’interrogation en secondes.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Wait Condition Arguments |
| Valeur par défaut: | 30 |
Nom du groupe de ressources. Vous pouvez configurer le groupe par défaut à l’aide de az configure --defaults group=<name>.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Nom ou ID de l’abonnement. Vous pouvez configurer l’abonnement par défaut à l’aide de az account set -s NAME_OR_ID.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Délai maximal d’attente en secondes.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Wait Condition Arguments |
| Valeur par défaut: | 3600 |
Attendez la mise à jour avec provisioningState sur « Réussi ».
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Wait Condition Arguments |
| Valeur par défaut: | False |
Nom de l’espace de travail.
| Propriété | Valeur |
|---|---|
| Groupe de paramètres: | Resource Id Arguments |
Paramètres globaux
Augmentez la verbosité de la journalisation pour afficher tous les logs de débogage.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Affichez ce message d’aide et quittez.
Afficher uniquement les erreurs, en supprimant les avertissements.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |
Format de sortie.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | json |
| Valeurs acceptées: | json, jsonc, none, table, tsv, yaml, yamlc |
Chaîne de requête JMESPath. Pour plus d’informations et d’exemples, consultez http://jmespath.org/.
Augmentez le niveau de verbosité de la journalisation. Utilisez --debug pour les journaux de débogage complets.
| Propriété | Valeur |
|---|---|
| Valeur par défaut: | False |