az synapse spark pool
Gerencie piscinas de faíscas.
Comandos
| Name | Description | Tipo | Status |
|---|---|---|---|
| az synapse spark pool create |
Crie um pool de faíscas. |
Core | disponibilidade geral |
| az synapse spark pool delete |
Exclua um pool do Spark. |
Core | disponibilidade geral |
| az synapse spark pool list |
Liste todas as piscinas Spark. |
Core | disponibilidade geral |
| az synapse spark pool show |
Obtenha uma piscina Spark. |
Core | disponibilidade geral |
| az synapse spark pool update |
Atualize o pool do Spark. |
Core | disponibilidade geral |
| az synapse spark pool wait |
Coloque a CLI em um estado de espera até que uma condição de um pool de faíscas seja atendida. |
Core | disponibilidade geral |
az synapse spark pool create
Crie um pool de faíscas.
az synapse spark pool create --name
--node-count
--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}
--resource-group
--spark-version
--workspace-name
[--delay]
[--enable-auto-pause {false, true}]
[--enable-auto-scale {false, true}]
[--enable-dynamic-exec {false, true}]
[--max-executors]
[--max-node-count]
[--min-executors]
[--min-node-count]
[--no-wait]
[--node-size-family {HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None}]
[--spark-config-file-path]
[--spark-events-folder]
[--spark-log-folder]
[--tags]
Exemplos
Crie um pool de faíscas.
az synapse spark pool create --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-version 2.4 --node-count 3 --node-size Medium --spark-config-file-path 'path/configfile.txt'
Parâmetros Obrigatórios
O nome da piscina Spark.
O número de nó.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Node Arguments |
O nível de poder de computação que cada nó no pool de Big Data tem.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Node Arguments |
| Valores aceites: | Large, Medium, None, Small, XLarge, XXLarge, XXXLarge |
Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.
A versão suportada do Spark é 2.4 agora.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Component Version Arguments |
O nome do espaço de trabalho.
Parâmetros Opcionais
Os seguintes parâmetros são opcionais, mas dependendo do contexto, um ou mais podem tornar-se necessários para que o comando seja executado com êxito.
O tempo de atraso cuja unidade é minuto.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoPause Arguments |
O sinalizador de ativação da pausa automática.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoPause Arguments |
| Valores aceites: | false, true |
O sinalizador de ativação da escala automática.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoScale Arguments |
| Valores aceites: | false, true |
Indica se a Alocação de Executor Dinâmico está habilitada ou não.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | DynamicExecutor Arguments |
| Valores aceites: | false, true |
O número máximo de executores atribuídos.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | DynamicExecutor Arguments |
A contagem máxima de nós.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoScale Arguments |
O número mínimo de executores atribuídos.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | DynamicExecutor Arguments |
A contagem de nós min.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoScale Arguments |
Não espere que a operação de longa duração termine.
| Propriedade | Valor |
|---|---|
| Default value: | False |
O tipo de nós que o pool de Big Data fornece.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Node Arguments |
| Default value: | MemoryOptimized |
| Valores aceites: | HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None |
Caminho absoluto do arquivo de configuração das propriedades do pool do Spark.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Environment Configuration Arguments |
A pasta de eventos do Spark.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Default Folder Arguments |
| Default value: | /events |
A pasta de log do Spark padrão.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Default Folder Arguments |
| Default value: | /logs |
Tags separadas por espaço: key[=value] [key[=value] ...]. Use "" para limpar tags existentes.
Parâmetros de Globais
Aumente a verbosidade do log para mostrar todos os logs de depuração.
| Propriedade | Valor |
|---|---|
| Default value: | False |
Mostrar esta mensagem de ajuda e sair.
Mostrar apenas erros, suprimindo avisos.
| Propriedade | Valor |
|---|---|
| Default value: | False |
Formato de saída.
| Propriedade | Valor |
|---|---|
| Default value: | json |
| Valores aceites: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.
Nome ou ID da subscrição. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.
Aumente a verbosidade do registro. Use --debug para logs de depuração completos.
| Propriedade | Valor |
|---|---|
| Default value: | False |
az synapse spark pool delete
Exclua um pool do Spark.
az synapse spark pool delete [--ids]
[--name]
[--no-wait]
[--resource-group]
[--subscription]
[--workspace-name]
[--yes]
Exemplos
Exclua um pool do Spark.
az synapse spark pool delete --name testpool --workspace-name testsynapseworkspace --resource-group rg
Parâmetros Opcionais
Os seguintes parâmetros são opcionais, mas dependendo do contexto, um ou mais podem tornar-se necessários para que o comando seja executado com êxito.
Um ou mais IDs de recurso (delimitados por espaço). Deve ser um ID de recurso completo que contenha todas as informações dos argumentos do 'ID de recurso'. Você deve fornecer --ids ou outros argumentos 'Resource Id'.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
O nome da piscina Spark.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Não espere que a operação de longa duração termine.
| Propriedade | Valor |
|---|---|
| Default value: | False |
Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Nome ou ID da subscrição. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
O nome do espaço de trabalho.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Não solicite confirmação.
| Propriedade | Valor |
|---|---|
| Default value: | False |
Parâmetros de Globais
Aumente a verbosidade do log para mostrar todos os logs de depuração.
| Propriedade | Valor |
|---|---|
| Default value: | False |
Mostrar esta mensagem de ajuda e sair.
Mostrar apenas erros, suprimindo avisos.
| Propriedade | Valor |
|---|---|
| Default value: | False |
Formato de saída.
| Propriedade | Valor |
|---|---|
| Default value: | json |
| Valores aceites: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.
Aumente a verbosidade do registro. Use --debug para logs de depuração completos.
| Propriedade | Valor |
|---|---|
| Default value: | False |
az synapse spark pool list
Liste todas as piscinas Spark.
az synapse spark pool list --resource-group
--workspace-name
Exemplos
Liste todas as piscinas Spark.
az synapse spark pool list --workspace-name testsynapseworkspace --resource-group rg
Parâmetros Obrigatórios
Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.
O nome do espaço de trabalho.
Parâmetros de Globais
Aumente a verbosidade do log para mostrar todos os logs de depuração.
| Propriedade | Valor |
|---|---|
| Default value: | False |
Mostrar esta mensagem de ajuda e sair.
Mostrar apenas erros, suprimindo avisos.
| Propriedade | Valor |
|---|---|
| Default value: | False |
Formato de saída.
| Propriedade | Valor |
|---|---|
| Default value: | json |
| Valores aceites: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.
Nome ou ID da subscrição. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.
Aumente a verbosidade do registro. Use --debug para logs de depuração completos.
| Propriedade | Valor |
|---|---|
| Default value: | False |
az synapse spark pool show
Obtenha uma piscina Spark.
az synapse spark pool show [--ids]
[--name]
[--resource-group]
[--subscription]
[--workspace-name]
Exemplos
Obtenha uma piscina Spark.
az synapse spark pool show --name testpool --workspace-name testsynapseworkspace --resource-group rg
Parâmetros Opcionais
Os seguintes parâmetros são opcionais, mas dependendo do contexto, um ou mais podem tornar-se necessários para que o comando seja executado com êxito.
Um ou mais IDs de recurso (delimitados por espaço). Deve ser um ID de recurso completo que contenha todas as informações dos argumentos do 'ID de recurso'. Você deve fornecer --ids ou outros argumentos 'Resource Id'.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
O nome da piscina Spark.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Nome ou ID da subscrição. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
O nome do espaço de trabalho.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Parâmetros de Globais
Aumente a verbosidade do log para mostrar todos os logs de depuração.
| Propriedade | Valor |
|---|---|
| Default value: | False |
Mostrar esta mensagem de ajuda e sair.
Mostrar apenas erros, suprimindo avisos.
| Propriedade | Valor |
|---|---|
| Default value: | False |
Formato de saída.
| Propriedade | Valor |
|---|---|
| Default value: | json |
| Valores aceites: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.
Aumente a verbosidade do registro. Use --debug para logs de depuração completos.
| Propriedade | Valor |
|---|---|
| Default value: | False |
az synapse spark pool update
Atualize o pool do Spark.
az synapse spark pool update [--delay]
[--enable-auto-pause {false, true}]
[--enable-auto-scale {false, true}]
[--enable-dynamic-exec {false, true}]
[--force {false, true}]
[--ids]
[--library-requirements]
[--max-executors]
[--max-node-count]
[--min-executors]
[--min-node-count]
[--name]
[--no-wait]
[--node-count]
[--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}]
[--package]
[--package-action {Add, Remove}]
[--resource-group]
[--spark-config-file-path]
[--subscription]
[--tags]
[--workspace-name]
Exemplos
Atualize as tags do pool do Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--tags key1=value1
Atualize a configuração de dimensionamento automático do pool do Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-auto-scale --min-node-count 3 --max-node-count 100
Atualize as bibliotecas personalizadas do pool do Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--package-action Add --package package1.jar package2.jar
Atualize o arquivo de configuração do pool do Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-config-file-path 'path/configfile.txt'
Atualize a configuração de alocação do executor dinâmico do pool do Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-dynamic-exec --min-executors 3 --max-executors 10
Parâmetros Opcionais
Os seguintes parâmetros são opcionais, mas dependendo do contexto, um ou mais podem tornar-se necessários para que o comando seja executado com êxito.
O tempo de atraso cuja unidade é minuto.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoPause Arguments |
O sinalizador de ativação da pausa automática.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoPause Arguments |
| Valores aceites: | false, true |
O sinalizador de ativação da escala automática.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoScale Arguments |
| Valores aceites: | false, true |
Indica se a Alocação de Executor Dinâmico está habilitada ou não.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | DynamicExecutor Arguments |
| Valores aceites: | false, true |
A bandeira da operação de força.
| Propriedade | Valor |
|---|---|
| Default value: | False |
| Valores aceites: | false, true |
Um ou mais IDs de recurso (delimitados por espaço). Deve ser um ID de recurso completo que contenha todas as informações dos argumentos do 'ID de recurso'. Você deve fornecer --ids ou outros argumentos 'Resource Id'.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
O arquivo de requisitos da biblioteca.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Environment Configuration Arguments |
O número máximo de executores atribuídos.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | DynamicExecutor Arguments |
A contagem máxima de nós.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoScale Arguments |
O número mínimo de executores atribuídos.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | DynamicExecutor Arguments |
A contagem de nós min.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoScale Arguments |
O nome da piscina Spark.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Não espere que a operação de longa duração termine.
| Propriedade | Valor |
|---|---|
| Default value: | False |
O número de nó.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Node Arguments |
O nível de poder de computação que cada nó no pool de Big Data tem.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Node Arguments |
| Valores aceites: | Large, Medium, None, Small, XLarge, XXLarge, XXXLarge |
Nome da lista de pacotes de espaço de trabalho.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Custom Libraries Arguments |
A ação do pacote deve ser especificada quando você adiciona ou remove um pacote de espaço de trabalho de um pool do Apache Spark.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Custom Libraries Arguments |
| Valores aceites: | Add, Remove |
Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Caminho absoluto do arquivo de configuração das propriedades do pool do Spark.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Environment Configuration Arguments |
Nome ou ID da subscrição. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Tags separadas por espaço: key[=value] [key[=value] ...]. Use "" para limpar tags existentes.
O nome do espaço de trabalho.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Parâmetros de Globais
Aumente a verbosidade do log para mostrar todos os logs de depuração.
| Propriedade | Valor |
|---|---|
| Default value: | False |
Mostrar esta mensagem de ajuda e sair.
Mostrar apenas erros, suprimindo avisos.
| Propriedade | Valor |
|---|---|
| Default value: | False |
Formato de saída.
| Propriedade | Valor |
|---|---|
| Default value: | json |
| Valores aceites: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.
Aumente a verbosidade do registro. Use --debug para logs de depuração completos.
| Propriedade | Valor |
|---|---|
| Default value: | False |
az synapse spark pool wait
Coloque a CLI em um estado de espera até que uma condição de um pool de faíscas seja atendida.
az synapse spark pool wait --big-data-pool-name
[--created]
[--custom]
[--deleted]
[--exists]
[--ids]
[--interval]
[--resource-group]
[--subscription]
[--timeout]
[--updated]
[--workspace-name]
Parâmetros Obrigatórios
Nome do pool de Big Data.
Parâmetros Opcionais
Os seguintes parâmetros são opcionais, mas dependendo do contexto, um ou mais podem tornar-se necessários para que o comando seja executado com êxito.
Aguarde até ser criado com 'provisioningState' em 'Succeeded'.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Wait Condition Arguments |
| Default value: | False |
Aguarde até que a condição satisfaça uma consulta JMESPath personalizada. Por exemplo, provisioningState!='InProgress', instanceView.statuses[?code=='PowerState/running'].
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Wait Condition Arguments |
Aguarde até ser excluído.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Wait Condition Arguments |
| Default value: | False |
Aguarde até que o recurso exista.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Wait Condition Arguments |
| Default value: | False |
Um ou mais IDs de recurso (delimitados por espaço). Deve ser um ID de recurso completo que contenha todas as informações dos argumentos do 'ID de recurso'. Você deve fornecer --ids ou outros argumentos 'Resource Id'.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Intervalo de sondagem em segundos.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Wait Condition Arguments |
| Default value: | 30 |
Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Nome ou ID da subscrição. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Espera máxima em segundos.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Wait Condition Arguments |
| Default value: | 3600 |
Aguarde até ser atualizado com provisioningState em 'Succeeded'.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Wait Condition Arguments |
| Default value: | False |
O nome do espaço de trabalho.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Parâmetros de Globais
Aumente a verbosidade do log para mostrar todos os logs de depuração.
| Propriedade | Valor |
|---|---|
| Default value: | False |
Mostrar esta mensagem de ajuda e sair.
Mostrar apenas erros, suprimindo avisos.
| Propriedade | Valor |
|---|---|
| Default value: | False |
Formato de saída.
| Propriedade | Valor |
|---|---|
| Default value: | json |
| Valores aceites: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.
Aumente a verbosidade do registro. Use --debug para logs de depuração completos.
| Propriedade | Valor |
|---|---|
| Default value: | False |