az synapse spark pool
Gerenciar pools do Spark.
Comandos
| Nome | Description | Tipo | Status |
|---|---|---|---|
| az synapse spark pool create |
Crie um pool do Spark. |
Core | GA |
| az synapse spark pool delete |
Excluir um pool do Spark. |
Core | GA |
| az synapse spark pool list |
Listar todos os pools do Spark. |
Core | GA |
| az synapse spark pool show |
Obtenha um pool do Spark. |
Core | GA |
| az synapse spark pool update |
Atualize o pool do Spark. |
Core | GA |
| az synapse spark pool wait |
Coloque a CLI em um estado de espera até que uma condição de um pool do Spark seja atendida. |
Core | GA |
az synapse spark pool create
Crie um pool do Spark.
az synapse spark pool create --name
--node-count
--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}
--resource-group
--spark-version
--workspace-name
[--delay]
[--enable-auto-pause {false, true}]
[--enable-auto-scale {false, true}]
[--enable-dynamic-exec {false, true}]
[--max-executors]
[--max-node-count]
[--min-executors]
[--min-node-count]
[--no-wait]
[--node-size-family {HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None}]
[--spark-config-file-path]
[--spark-events-folder]
[--spark-log-folder]
[--tags]
Exemplos
Crie um pool do Spark.
az synapse spark pool create --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-version 2.4 --node-count 3 --node-size Medium --spark-config-file-path 'path/configfile.txt'
Parâmetros Exigidos
O nome do pool do Spark.
O número de nós.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Node Arguments |
O nível de poder de computação que cada nó no pool de Big Data tem..
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Node Arguments |
| Valores aceitos: | Large, Medium, None, Small, XLarge, XXLarge, XXXLarge |
Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.
A versão do Spark com suporte agora é 2.4.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Component Version Arguments |
O nome do workspace.
Parâmetros Opcionais
Os seguintes parâmetros são opcionais, mas dependendo do contexto, um ou mais podem se tornar obrigatórios para que o comando seja executado com sucesso.
O tempo de atraso cuja unidade é minuto.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoPause Arguments |
O sinalizador de habilitação da pausa automática.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoPause Arguments |
| Valores aceitos: | false, true |
O sinalizador de habilitação da escala automática.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoScale Arguments |
| Valores aceitos: | false, true |
Indica se a Alocação do Executor Dinâmico está habilitada ou não.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | DynamicExecutor Arguments |
| Valores aceitos: | false, true |
O número máximo de executores alocados.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | DynamicExecutor Arguments |
A contagem máxima de nós.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoScale Arguments |
O número mínimo de executores alocados.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | DynamicExecutor Arguments |
A contagem mínima de nós.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoScale Arguments |
Não aguarde a conclusão da operação de execução prolongada.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
O tipo de nós que o pool de Big Data fornece.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Node Arguments |
| Valor padrão: | MemoryOptimized |
| Valores aceitos: | HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None |
Caminho absoluto do arquivo de configuração de propriedades do pool do Spark.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Environment Configuration Arguments |
A pasta de eventos do Spark.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Default Folder Arguments |
| Valor padrão: | /events |
A pasta de log padrão do Spark.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Default Folder Arguments |
| Valor padrão: | /logs |
Marcas separadas por espaço: key[=value] [key[=value] ...]. Use "" para limpar marcas existentes.
Parâmetros Globais
Aumente a verbosidade de log para mostrar todos os logs de depuração.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
Mostre esta mensagem de ajuda e saia.
Mostrar apenas erros, suprimindo avisos.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
Formato de saída.
| Propriedade | Valor |
|---|---|
| Valor padrão: | json |
| Valores aceitos: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.
Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.
Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
az synapse spark pool delete
Excluir um pool do Spark.
az synapse spark pool delete [--ids]
[--name]
[--no-wait]
[--resource-group]
[--subscription]
[--workspace-name]
[--yes]
Exemplos
Excluir um pool do Spark.
az synapse spark pool delete --name testpool --workspace-name testsynapseworkspace --resource-group rg
Parâmetros Opcionais
Os seguintes parâmetros são opcionais, mas dependendo do contexto, um ou mais podem se tornar obrigatórios para que o comando seja executado com sucesso.
Uma ou mais IDs de recurso (delimitadas por espaço). Deve ser uma ID de recurso completa que contém todas as informações de argumentos de 'ID do recurso'. Você deve fornecer --ids ou outros argumentos de 'ID de recurso'.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
O nome do pool do Spark.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Não aguarde a conclusão da operação de execução prolongada.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
O nome do workspace.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Não solicite confirmação.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
Parâmetros Globais
Aumente a verbosidade de log para mostrar todos os logs de depuração.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
Mostre esta mensagem de ajuda e saia.
Mostrar apenas erros, suprimindo avisos.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
Formato de saída.
| Propriedade | Valor |
|---|---|
| Valor padrão: | json |
| Valores aceitos: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.
Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
az synapse spark pool list
Listar todos os pools do Spark.
az synapse spark pool list --resource-group
--workspace-name
Exemplos
Listar todos os pools do Spark.
az synapse spark pool list --workspace-name testsynapseworkspace --resource-group rg
Parâmetros Exigidos
Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.
O nome do workspace.
Parâmetros Globais
Aumente a verbosidade de log para mostrar todos os logs de depuração.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
Mostre esta mensagem de ajuda e saia.
Mostrar apenas erros, suprimindo avisos.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
Formato de saída.
| Propriedade | Valor |
|---|---|
| Valor padrão: | json |
| Valores aceitos: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.
Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.
Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
az synapse spark pool show
Obtenha um pool do Spark.
az synapse spark pool show [--ids]
[--name]
[--resource-group]
[--subscription]
[--workspace-name]
Exemplos
Obtenha um pool do Spark.
az synapse spark pool show --name testpool --workspace-name testsynapseworkspace --resource-group rg
Parâmetros Opcionais
Os seguintes parâmetros são opcionais, mas dependendo do contexto, um ou mais podem se tornar obrigatórios para que o comando seja executado com sucesso.
Uma ou mais IDs de recurso (delimitadas por espaço). Deve ser uma ID de recurso completa que contém todas as informações de argumentos de 'ID do recurso'. Você deve fornecer --ids ou outros argumentos de 'ID de recurso'.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
O nome do pool do Spark.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
O nome do workspace.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Parâmetros Globais
Aumente a verbosidade de log para mostrar todos os logs de depuração.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
Mostre esta mensagem de ajuda e saia.
Mostrar apenas erros, suprimindo avisos.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
Formato de saída.
| Propriedade | Valor |
|---|---|
| Valor padrão: | json |
| Valores aceitos: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.
Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
az synapse spark pool update
Atualize o pool do Spark.
az synapse spark pool update [--delay]
[--enable-auto-pause {false, true}]
[--enable-auto-scale {false, true}]
[--enable-dynamic-exec {false, true}]
[--force {false, true}]
[--ids]
[--library-requirements]
[--max-executors]
[--max-node-count]
[--min-executors]
[--min-node-count]
[--name]
[--no-wait]
[--node-count]
[--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}]
[--package]
[--package-action {Add, Remove}]
[--resource-group]
[--spark-config-file-path]
[--subscription]
[--tags]
[--workspace-name]
Exemplos
Atualize as marcas do pool do Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--tags key1=value1
Atualize a configuração de dimensionamento automático do pool do Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-auto-scale --min-node-count 3 --max-node-count 100
Atualize as bibliotecas personalizadas do pool do Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--package-action Add --package package1.jar package2.jar
Atualize o arquivo de configuração do pool do Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-config-file-path 'path/configfile.txt'
Atualize a configuração de alocação do executor dinâmico do pool do Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-dynamic-exec --min-executors 3 --max-executors 10
Parâmetros Opcionais
Os seguintes parâmetros são opcionais, mas dependendo do contexto, um ou mais podem se tornar obrigatórios para que o comando seja executado com sucesso.
O tempo de atraso cuja unidade é minuto.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoPause Arguments |
O sinalizador de habilitação da pausa automática.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoPause Arguments |
| Valores aceitos: | false, true |
O sinalizador de habilitação da escala automática.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoScale Arguments |
| Valores aceitos: | false, true |
Indica se a Alocação do Executor Dinâmico está habilitada ou não.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | DynamicExecutor Arguments |
| Valores aceitos: | false, true |
O sinalizador da operação de força.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
| Valores aceitos: | false, true |
Uma ou mais IDs de recurso (delimitadas por espaço). Deve ser uma ID de recurso completa que contém todas as informações de argumentos de 'ID do recurso'. Você deve fornecer --ids ou outros argumentos de 'ID de recurso'.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
O arquivo de requisitos da biblioteca.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Environment Configuration Arguments |
O número máximo de executores alocados.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | DynamicExecutor Arguments |
A contagem máxima de nós.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoScale Arguments |
O número mínimo de executores alocados.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | DynamicExecutor Arguments |
A contagem mínima de nós.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | AutoScale Arguments |
O nome do pool do Spark.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Não aguarde a conclusão da operação de execução prolongada.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
O número de nós.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Node Arguments |
O nível de poder de computação que cada nó no pool de Big Data tem..
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Node Arguments |
| Valores aceitos: | Large, Medium, None, Small, XLarge, XXLarge, XXXLarge |
Lista do nome dos pacotes do workspace.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Custom Libraries Arguments |
A ação do pacote deve ser especificada quando você adiciona ou remove um pacote de workspace de um pool do Apache Spark.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Custom Libraries Arguments |
| Valores aceitos: | Add, Remove |
Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Caminho absoluto do arquivo de configuração de propriedades do pool do Spark.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Environment Configuration Arguments |
Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Marcas separadas por espaço: key[=value] [key[=value] ...]. Use "" para limpar marcas existentes.
O nome do workspace.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Parâmetros Globais
Aumente a verbosidade de log para mostrar todos os logs de depuração.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
Mostre esta mensagem de ajuda e saia.
Mostrar apenas erros, suprimindo avisos.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
Formato de saída.
| Propriedade | Valor |
|---|---|
| Valor padrão: | json |
| Valores aceitos: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.
Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
az synapse spark pool wait
Coloque a CLI em um estado de espera até que uma condição de um pool do Spark seja atendida.
az synapse spark pool wait --big-data-pool-name
[--created]
[--custom]
[--deleted]
[--exists]
[--ids]
[--interval]
[--resource-group]
[--subscription]
[--timeout]
[--updated]
[--workspace-name]
Parâmetros Exigidos
Nome do pool de Big Data.
Parâmetros Opcionais
Os seguintes parâmetros são opcionais, mas dependendo do contexto, um ou mais podem se tornar obrigatórios para que o comando seja executado com sucesso.
Aguarde até ser criado com 'provisioningState' em 'Succeeded'.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Wait Condition Arguments |
| Valor padrão: | False |
Aguarde até que a condição atenda a uma consulta JMESPath personalizada. Por exemplo, provisioningState!='InProgress', instanceView.statuses[?code=='PowerState/running'].
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Wait Condition Arguments |
Aguarde até ser excluído.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Wait Condition Arguments |
| Valor padrão: | False |
Aguarde até que o recurso exista.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Wait Condition Arguments |
| Valor padrão: | False |
Uma ou mais IDs de recurso (delimitadas por espaço). Deve ser uma ID de recurso completa que contém todas as informações de argumentos de 'ID do recurso'. Você deve fornecer --ids ou outros argumentos de 'ID de recurso'.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Intervalo de sondagem em segundos.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Wait Condition Arguments |
| Valor padrão: | 30 |
Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Espera máxima em segundos.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Wait Condition Arguments |
| Valor padrão: | 3600 |
Aguarde até que seja atualizado com provisioningState em 'Succeeded'.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Wait Condition Arguments |
| Valor padrão: | False |
O nome do workspace.
| Propriedade | Valor |
|---|---|
| Grupo de parâmetros: | Resource Id Arguments |
Parâmetros Globais
Aumente a verbosidade de log para mostrar todos os logs de depuração.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
Mostre esta mensagem de ajuda e saia.
Mostrar apenas erros, suprimindo avisos.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |
Formato de saída.
| Propriedade | Valor |
|---|---|
| Valor padrão: | json |
| Valores aceitos: | json, jsonc, none, table, tsv, yaml, yamlc |
Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.
Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.
| Propriedade | Valor |
|---|---|
| Valor padrão: | False |