az synapse spark pool
Administrar grupos de Spark.
Comandos
| Nombre | Description | Tipo | Estado |
|---|---|---|---|
| az synapse spark pool create |
Cree un grupo de Spark. |
Core | GA |
| az synapse spark pool delete |
Elimine un grupo de Spark. |
Core | GA |
| az synapse spark pool list |
Enumere todos los grupos de Spark. |
Core | GA |
| az synapse spark pool show |
Obtenga un grupo de Spark. |
Core | GA |
| az synapse spark pool update |
Actualice el grupo de Spark. |
Core | GA |
| az synapse spark pool wait |
Coloque la CLI en un estado de espera hasta que se cumpla una condición de un grupo de Spark. |
Core | GA |
az synapse spark pool create
Cree un grupo de Spark.
az synapse spark pool create --name
--node-count
--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}
--resource-group
--spark-version
--workspace-name
[--delay]
[--enable-auto-pause {false, true}]
[--enable-auto-scale {false, true}]
[--enable-dynamic-exec {false, true}]
[--max-executors]
[--max-node-count]
[--min-executors]
[--min-node-count]
[--no-wait]
[--node-size-family {HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None}]
[--spark-config-file-path]
[--spark-events-folder]
[--spark-log-folder]
[--tags]
Ejemplos
Cree un grupo de Spark.
az synapse spark pool create --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-version 2.4 --node-count 3 --node-size Medium --spark-config-file-path 'path/configfile.txt'
Parámetros requeridos
Nombre del grupo de Spark.
Número de nodo.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Node Arguments |
Nivel de potencia de proceso que tiene cada nodo del grupo de macrodatos.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Node Arguments |
| Valores aceptados: | Large, Medium, None, Small, XLarge, XXLarge, XXXLarge |
Nombre del grupo de recursos. Puede configurar el grupo predeterminado mediante az configure --defaults group=<name>.
La versión de Spark compatible ahora es la 2.4.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Component Version Arguments |
Nombre del área de trabajo.
Parámetros opcionales
Los parámetros siguientes son opcionales, pero dependiendo del contexto, es posible que se requiera uno o varios para que el comando se ejecute correctamente.
Tiempo de retraso cuya unidad es minuto.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | AutoPause Arguments |
Marca de habilitación de la pausa automática.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | AutoPause Arguments |
| Valores aceptados: | false, true |
Marca de habilitación del escalado automático.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | AutoScale Arguments |
| Valores aceptados: | false, true |
Indica si la asignación dinámica del ejecutor está habilitada o no.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | DynamicExecutor Arguments |
| Valores aceptados: | false, true |
Número máximo de ejecutores al que se ha unido.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | DynamicExecutor Arguments |
Número máximo de nodos.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | AutoScale Arguments |
Número mínimo de ejecutores al que se ha unido.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | DynamicExecutor Arguments |
Número mínimo de nodos.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | AutoScale Arguments |
No espere a que finalice la operación de ejecución prolongada.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Tipo de nodos que proporciona el grupo de macrodatos.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Node Arguments |
| Valor predeterminado: | MemoryOptimized |
| Valores aceptados: | HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None |
Ruta de acceso absoluta del archivo de configuración de propiedades del grupo de Spark.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Environment Configuration Arguments |
Carpeta de eventos de Spark.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Default Folder Arguments |
| Valor predeterminado: | /events |
Carpeta de registro de Spark predeterminada.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Default Folder Arguments |
| Valor predeterminado: | /logs |
Etiquetas separadas por espacios: key[=value] [key[=value] ...]. Use "" para borrar las etiquetas existentes.
Parámetros globales
Aumente el nivel de detalle del registro para mostrar todos los registros de depuración.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Mostrar este mensaje de ayuda y salir.
Solo se muestran errores, suprimiendo advertencias.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Formato de salida.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | json |
| Valores aceptados: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadena de consulta JMESPath. Consulte http://jmespath.org/ para obtener más información y ejemplos.
Nombre o identificador de la suscripción. Puede configurar la suscripción predeterminada mediante az account set -s NAME_OR_ID.
Aumente el nivel de detalle del registro. Usa --debug para ver registros de depuración completos.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
az synapse spark pool delete
Elimine un grupo de Spark.
az synapse spark pool delete [--ids]
[--name]
[--no-wait]
[--resource-group]
[--subscription]
[--workspace-name]
[--yes]
Ejemplos
Elimine un grupo de Spark.
az synapse spark pool delete --name testpool --workspace-name testsynapseworkspace --resource-group rg
Parámetros opcionales
Los parámetros siguientes son opcionales, pero dependiendo del contexto, es posible que se requiera uno o varios para que el comando se ejecute correctamente.
Uno o varios identificadores de recursos (delimitados por espacio). Debe ser un identificador de recurso completo que contenga toda la información de los argumentos "Resource Id". Debe proporcionar argumentos --ids u otros argumentos "Resource Id".
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Nombre del grupo de Spark.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
No espere a que finalice la operación de ejecución prolongada.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Nombre del grupo de recursos. Puede configurar el grupo predeterminado mediante az configure --defaults group=<name>.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Nombre o identificador de la suscripción. Puede configurar la suscripción predeterminada mediante az account set -s NAME_OR_ID.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Nombre del área de trabajo.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
No solicita confirmación.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Parámetros globales
Aumente el nivel de detalle del registro para mostrar todos los registros de depuración.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Mostrar este mensaje de ayuda y salir.
Solo se muestran errores, suprimiendo advertencias.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Formato de salida.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | json |
| Valores aceptados: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadena de consulta JMESPath. Consulte http://jmespath.org/ para obtener más información y ejemplos.
Aumente el nivel de detalle del registro. Usa --debug para ver registros de depuración completos.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
az synapse spark pool list
Enumere todos los grupos de Spark.
az synapse spark pool list --resource-group
--workspace-name
Ejemplos
Enumere todos los grupos de Spark.
az synapse spark pool list --workspace-name testsynapseworkspace --resource-group rg
Parámetros requeridos
Nombre del grupo de recursos. Puede configurar el grupo predeterminado mediante az configure --defaults group=<name>.
Nombre del área de trabajo.
Parámetros globales
Aumente el nivel de detalle del registro para mostrar todos los registros de depuración.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Mostrar este mensaje de ayuda y salir.
Solo se muestran errores, suprimiendo advertencias.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Formato de salida.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | json |
| Valores aceptados: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadena de consulta JMESPath. Consulte http://jmespath.org/ para obtener más información y ejemplos.
Nombre o identificador de la suscripción. Puede configurar la suscripción predeterminada mediante az account set -s NAME_OR_ID.
Aumente el nivel de detalle del registro. Usa --debug para ver registros de depuración completos.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
az synapse spark pool show
Obtenga un grupo de Spark.
az synapse spark pool show [--ids]
[--name]
[--resource-group]
[--subscription]
[--workspace-name]
Ejemplos
Obtenga un grupo de Spark.
az synapse spark pool show --name testpool --workspace-name testsynapseworkspace --resource-group rg
Parámetros opcionales
Los parámetros siguientes son opcionales, pero dependiendo del contexto, es posible que se requiera uno o varios para que el comando se ejecute correctamente.
Uno o varios identificadores de recursos (delimitados por espacio). Debe ser un identificador de recurso completo que contenga toda la información de los argumentos "Resource Id". Debe proporcionar argumentos --ids u otros argumentos "Resource Id".
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Nombre del grupo de Spark.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Nombre del grupo de recursos. Puede configurar el grupo predeterminado mediante az configure --defaults group=<name>.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Nombre o identificador de la suscripción. Puede configurar la suscripción predeterminada mediante az account set -s NAME_OR_ID.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Nombre del área de trabajo.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Parámetros globales
Aumente el nivel de detalle del registro para mostrar todos los registros de depuración.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Mostrar este mensaje de ayuda y salir.
Solo se muestran errores, suprimiendo advertencias.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Formato de salida.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | json |
| Valores aceptados: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadena de consulta JMESPath. Consulte http://jmespath.org/ para obtener más información y ejemplos.
Aumente el nivel de detalle del registro. Usa --debug para ver registros de depuración completos.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
az synapse spark pool update
Actualice el grupo de Spark.
az synapse spark pool update [--delay]
[--enable-auto-pause {false, true}]
[--enable-auto-scale {false, true}]
[--enable-dynamic-exec {false, true}]
[--force {false, true}]
[--ids]
[--library-requirements]
[--max-executors]
[--max-node-count]
[--min-executors]
[--min-node-count]
[--name]
[--no-wait]
[--node-count]
[--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}]
[--package]
[--package-action {Add, Remove}]
[--resource-group]
[--spark-config-file-path]
[--subscription]
[--tags]
[--workspace-name]
Ejemplos
Actualice las etiquetas del grupo de Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--tags key1=value1
Actualice la configuración de escalado automático del grupo de Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-auto-scale --min-node-count 3 --max-node-count 100
Actualice las bibliotecas personalizadas del grupo de Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--package-action Add --package package1.jar package2.jar
Actualice el archivo de configuración del grupo de Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-config-file-path 'path/configfile.txt'
Actualice la configuración de asignación dinámica del ejecutor del grupo de Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-dynamic-exec --min-executors 3 --max-executors 10
Parámetros opcionales
Los parámetros siguientes son opcionales, pero dependiendo del contexto, es posible que se requiera uno o varios para que el comando se ejecute correctamente.
Tiempo de retraso cuya unidad es minuto.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | AutoPause Arguments |
Marca de habilitación de la pausa automática.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | AutoPause Arguments |
| Valores aceptados: | false, true |
Marca de habilitación del escalado automático.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | AutoScale Arguments |
| Valores aceptados: | false, true |
Indica si la asignación dinámica del ejecutor está habilitada o no.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | DynamicExecutor Arguments |
| Valores aceptados: | false, true |
Marca de la operación de fuerza.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
| Valores aceptados: | false, true |
Uno o varios identificadores de recursos (delimitados por espacio). Debe ser un identificador de recurso completo que contenga toda la información de los argumentos "Resource Id". Debe proporcionar argumentos --ids u otros argumentos "Resource Id".
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Archivo de requisitos de biblioteca.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Environment Configuration Arguments |
Número máximo de ejecutores al que se ha unido.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | DynamicExecutor Arguments |
Número máximo de nodos.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | AutoScale Arguments |
Número mínimo de ejecutores al que se ha unido.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | DynamicExecutor Arguments |
Número mínimo de nodos.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | AutoScale Arguments |
Nombre del grupo de Spark.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
No espere a que finalice la operación de ejecución prolongada.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Número de nodo.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Node Arguments |
Nivel de potencia de proceso que tiene cada nodo del grupo de macrodatos.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Node Arguments |
| Valores aceptados: | Large, Medium, None, Small, XLarge, XXLarge, XXXLarge |
Lista de nombres de paquetes de área de trabajo.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Custom Libraries Arguments |
La acción del paquete debe especificarse al agregar o quitar un paquete de área de trabajo de un grupo de Apache Spark.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Custom Libraries Arguments |
| Valores aceptados: | Add, Remove |
Nombre del grupo de recursos. Puede configurar el grupo predeterminado mediante az configure --defaults group=<name>.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Ruta de acceso absoluta del archivo de configuración de propiedades del grupo de Spark.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Environment Configuration Arguments |
Nombre o identificador de la suscripción. Puede configurar la suscripción predeterminada mediante az account set -s NAME_OR_ID.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Etiquetas separadas por espacios: key[=value] [key[=value] ...]. Use "" para borrar las etiquetas existentes.
Nombre del área de trabajo.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Parámetros globales
Aumente el nivel de detalle del registro para mostrar todos los registros de depuración.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Mostrar este mensaje de ayuda y salir.
Solo se muestran errores, suprimiendo advertencias.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Formato de salida.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | json |
| Valores aceptados: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadena de consulta JMESPath. Consulte http://jmespath.org/ para obtener más información y ejemplos.
Aumente el nivel de detalle del registro. Usa --debug para ver registros de depuración completos.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
az synapse spark pool wait
Coloque la CLI en un estado de espera hasta que se cumpla una condición de un grupo de Spark.
az synapse spark pool wait --big-data-pool-name
[--created]
[--custom]
[--deleted]
[--exists]
[--ids]
[--interval]
[--resource-group]
[--subscription]
[--timeout]
[--updated]
[--workspace-name]
Parámetros requeridos
Nombre del grupo de macrodatos.
Parámetros opcionales
Los parámetros siguientes son opcionales, pero dependiendo del contexto, es posible que se requiera uno o varios para que el comando se ejecute correctamente.
Espere hasta que se cree con "provisioningState" en "Succeeded".
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Wait Condition Arguments |
| Valor predeterminado: | False |
Espere hasta que la condición cumpla una consulta JMESPath personalizada. Por ejemplo, provisioningState!='InProgress', instanceView.statuses[?code=='PowerState/running'].
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Wait Condition Arguments |
Espere hasta que se elimine.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Wait Condition Arguments |
| Valor predeterminado: | False |
Espere hasta que exista el recurso.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Wait Condition Arguments |
| Valor predeterminado: | False |
Uno o varios identificadores de recursos (delimitados por espacio). Debe ser un identificador de recurso completo que contenga toda la información de los argumentos "Resource Id". Debe proporcionar argumentos --ids u otros argumentos "Resource Id".
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Intervalo de sondeo en segundos.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Wait Condition Arguments |
| Valor predeterminado: | 30 |
Nombre del grupo de recursos. Puede configurar el grupo predeterminado mediante az configure --defaults group=<name>.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Nombre o identificador de la suscripción. Puede configurar la suscripción predeterminada mediante az account set -s NAME_OR_ID.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Espera máxima en segundos.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Wait Condition Arguments |
| Valor predeterminado: | 3600 |
Espere hasta que se actualice con provisioningState en "Succeeded".
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Wait Condition Arguments |
| Valor predeterminado: | False |
Nombre del área de trabajo.
| Propiedad | Valor |
|---|---|
| Grupo de parámetros: | Resource Id Arguments |
Parámetros globales
Aumente el nivel de detalle del registro para mostrar todos los registros de depuración.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Mostrar este mensaje de ayuda y salir.
Solo se muestran errores, suprimiendo advertencias.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |
Formato de salida.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | json |
| Valores aceptados: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadena de consulta JMESPath. Consulte http://jmespath.org/ para obtener más información y ejemplos.
Aumente el nivel de detalle del registro. Usa --debug para ver registros de depuración completos.
| Propiedad | Valor |
|---|---|
| Valor predeterminado: | False |