Compartilhar via


az synapse spark pool

Gerenciar pools do Spark.

Comandos

Nome Description Tipo Status
az synapse spark pool create

Crie um pool do Spark.

Core GA
az synapse spark pool delete

Excluir um pool do Spark.

Core GA
az synapse spark pool list

Listar todos os pools do Spark.

Core GA
az synapse spark pool show

Obtenha um pool do Spark.

Core GA
az synapse spark pool update

Atualize o pool do Spark.

Core GA
az synapse spark pool wait

Coloque a CLI em um estado de espera até que uma condição de um pool do Spark seja atendida.

Core GA

az synapse spark pool create

Crie um pool do Spark.

az synapse spark pool create --name
                             --node-count
                             --node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}
                             --resource-group
                             --spark-version
                             --workspace-name
                             [--delay]
                             [--enable-auto-pause {false, true}]
                             [--enable-auto-scale {false, true}]
                             [--enable-dynamic-exec {false, true}]
                             [--max-executors]
                             [--max-node-count]
                             [--min-executors]
                             [--min-node-count]
                             [--no-wait]
                             [--node-size-family {HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None}]
                             [--spark-config-file-path]
                             [--spark-events-folder]
                             [--spark-log-folder]
                             [--tags]

Exemplos

Crie um pool do Spark.

az synapse spark pool create --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-version 2.4 --node-count 3 --node-size Medium --spark-config-file-path 'path/configfile.txt'

Parâmetros Exigidos

--name -n

O nome do pool do Spark.

--node-count

O número de nós.

Propriedade Valor
Grupo de parâmetros: Node Arguments
--node-size

O nível de poder de computação que cada nó no pool de Big Data tem..

Propriedade Valor
Grupo de parâmetros: Node Arguments
Valores aceitos: Large, Medium, None, Small, XLarge, XXLarge, XXXLarge
--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--spark-version

A versão do Spark com suporte agora é 2.4.

Propriedade Valor
Grupo de parâmetros: Component Version Arguments
--workspace-name

O nome do workspace.

Parâmetros Opcionais

Os seguintes parâmetros são opcionais, mas dependendo do contexto, um ou mais podem se tornar obrigatórios para que o comando seja executado com sucesso.

--delay

O tempo de atraso cuja unidade é minuto.

Propriedade Valor
Grupo de parâmetros: AutoPause Arguments
--enable-auto-pause

O sinalizador de habilitação da pausa automática.

Propriedade Valor
Grupo de parâmetros: AutoPause Arguments
Valores aceitos: false, true
--enable-auto-scale

O sinalizador de habilitação da escala automática.

Propriedade Valor
Grupo de parâmetros: AutoScale Arguments
Valores aceitos: false, true
--enable-dynamic-exec

Indica se a Alocação do Executor Dinâmico está habilitada ou não.

Propriedade Valor
Grupo de parâmetros: DynamicExecutor Arguments
Valores aceitos: false, true
--max-executors

O número máximo de executores alocados.

Propriedade Valor
Grupo de parâmetros: DynamicExecutor Arguments
--max-node-count

A contagem máxima de nós.

Propriedade Valor
Grupo de parâmetros: AutoScale Arguments
--min-executors

O número mínimo de executores alocados.

Propriedade Valor
Grupo de parâmetros: DynamicExecutor Arguments
--min-node-count

A contagem mínima de nós.

Propriedade Valor
Grupo de parâmetros: AutoScale Arguments
--no-wait

Não aguarde a conclusão da operação de execução prolongada.

Propriedade Valor
Valor padrão: False
--node-size-family

O tipo de nós que o pool de Big Data fornece.

Propriedade Valor
Grupo de parâmetros: Node Arguments
Valor padrão: MemoryOptimized
Valores aceitos: HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None
--spark-config-file-path

Caminho absoluto do arquivo de configuração de propriedades do pool do Spark.

Propriedade Valor
Grupo de parâmetros: Environment Configuration Arguments
--spark-events-folder

A pasta de eventos do Spark.

Propriedade Valor
Grupo de parâmetros: Default Folder Arguments
Valor padrão: /events
--spark-log-folder

A pasta de log padrão do Spark.

Propriedade Valor
Grupo de parâmetros: Default Folder Arguments
Valor padrão: /logs
--tags

Marcas separadas por espaço: key[=value] [key[=value] ...]. Use "" para limpar marcas existentes.

Parâmetros Globais
--debug

Aumente a verbosidade de log para mostrar todos os logs de depuração.

Propriedade Valor
Valor padrão: False
--help -h

Mostre esta mensagem de ajuda e saia.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

Propriedade Valor
Valor padrão: False
--output -o

Formato de saída.

Propriedade Valor
Valor padrão: json
Valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.

Propriedade Valor
Valor padrão: False

az synapse spark pool delete

Excluir um pool do Spark.

az synapse spark pool delete [--ids]
                             [--name]
                             [--no-wait]
                             [--resource-group]
                             [--subscription]
                             [--workspace-name]
                             [--yes]

Exemplos

Excluir um pool do Spark.

az synapse spark pool delete --name testpool --workspace-name testsynapseworkspace --resource-group rg

Parâmetros Opcionais

Os seguintes parâmetros são opcionais, mas dependendo do contexto, um ou mais podem se tornar obrigatórios para que o comando seja executado com sucesso.

--ids

Uma ou mais IDs de recurso (delimitadas por espaço). Deve ser uma ID de recurso completa que contém todas as informações de argumentos de 'ID do recurso'. Você deve fornecer --ids ou outros argumentos de 'ID de recurso'.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--name -n

O nome do pool do Spark.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--no-wait

Não aguarde a conclusão da operação de execução prolongada.

Propriedade Valor
Valor padrão: False
--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--workspace-name

O nome do workspace.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--yes -y

Não solicite confirmação.

Propriedade Valor
Valor padrão: False
Parâmetros Globais
--debug

Aumente a verbosidade de log para mostrar todos os logs de depuração.

Propriedade Valor
Valor padrão: False
--help -h

Mostre esta mensagem de ajuda e saia.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

Propriedade Valor
Valor padrão: False
--output -o

Formato de saída.

Propriedade Valor
Valor padrão: json
Valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--verbose

Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.

Propriedade Valor
Valor padrão: False

az synapse spark pool list

Listar todos os pools do Spark.

az synapse spark pool list --resource-group
                           --workspace-name

Exemplos

Listar todos os pools do Spark.

az synapse spark pool list --workspace-name testsynapseworkspace --resource-group rg

Parâmetros Exigidos

--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--workspace-name

O nome do workspace.

Parâmetros Globais
--debug

Aumente a verbosidade de log para mostrar todos os logs de depuração.

Propriedade Valor
Valor padrão: False
--help -h

Mostre esta mensagem de ajuda e saia.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

Propriedade Valor
Valor padrão: False
--output -o

Formato de saída.

Propriedade Valor
Valor padrão: json
Valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.

Propriedade Valor
Valor padrão: False

az synapse spark pool show

Obtenha um pool do Spark.

az synapse spark pool show [--ids]
                           [--name]
                           [--resource-group]
                           [--subscription]
                           [--workspace-name]

Exemplos

Obtenha um pool do Spark.

az synapse spark pool show --name testpool --workspace-name testsynapseworkspace --resource-group rg

Parâmetros Opcionais

Os seguintes parâmetros são opcionais, mas dependendo do contexto, um ou mais podem se tornar obrigatórios para que o comando seja executado com sucesso.

--ids

Uma ou mais IDs de recurso (delimitadas por espaço). Deve ser uma ID de recurso completa que contém todas as informações de argumentos de 'ID do recurso'. Você deve fornecer --ids ou outros argumentos de 'ID de recurso'.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--name -n

O nome do pool do Spark.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--workspace-name

O nome do workspace.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
Parâmetros Globais
--debug

Aumente a verbosidade de log para mostrar todos os logs de depuração.

Propriedade Valor
Valor padrão: False
--help -h

Mostre esta mensagem de ajuda e saia.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

Propriedade Valor
Valor padrão: False
--output -o

Formato de saída.

Propriedade Valor
Valor padrão: json
Valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--verbose

Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.

Propriedade Valor
Valor padrão: False

az synapse spark pool update

Atualize o pool do Spark.

az synapse spark pool update [--delay]
                             [--enable-auto-pause {false, true}]
                             [--enable-auto-scale {false, true}]
                             [--enable-dynamic-exec {false, true}]
                             [--force {false, true}]
                             [--ids]
                             [--library-requirements]
                             [--max-executors]
                             [--max-node-count]
                             [--min-executors]
                             [--min-node-count]
                             [--name]
                             [--no-wait]
                             [--node-count]
                             [--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}]
                             [--package]
                             [--package-action {Add, Remove}]
                             [--resource-group]
                             [--spark-config-file-path]
                             [--subscription]
                             [--tags]
                             [--workspace-name]

Exemplos

Atualize as marcas do pool do Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--tags key1=value1

Atualize a configuração de dimensionamento automático do pool do Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-auto-scale --min-node-count 3 --max-node-count 100

Atualize as bibliotecas personalizadas do pool do Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--package-action Add --package package1.jar package2.jar

Atualize o arquivo de configuração do pool do Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-config-file-path 'path/configfile.txt'

Atualize a configuração de alocação do executor dinâmico do pool do Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-dynamic-exec --min-executors 3 --max-executors 10

Parâmetros Opcionais

Os seguintes parâmetros são opcionais, mas dependendo do contexto, um ou mais podem se tornar obrigatórios para que o comando seja executado com sucesso.

--delay

O tempo de atraso cuja unidade é minuto.

Propriedade Valor
Grupo de parâmetros: AutoPause Arguments
--enable-auto-pause

O sinalizador de habilitação da pausa automática.

Propriedade Valor
Grupo de parâmetros: AutoPause Arguments
Valores aceitos: false, true
--enable-auto-scale

O sinalizador de habilitação da escala automática.

Propriedade Valor
Grupo de parâmetros: AutoScale Arguments
Valores aceitos: false, true
--enable-dynamic-exec

Indica se a Alocação do Executor Dinâmico está habilitada ou não.

Propriedade Valor
Grupo de parâmetros: DynamicExecutor Arguments
Valores aceitos: false, true
--force

O sinalizador da operação de força.

Propriedade Valor
Valor padrão: False
Valores aceitos: false, true
--ids

Uma ou mais IDs de recurso (delimitadas por espaço). Deve ser uma ID de recurso completa que contém todas as informações de argumentos de 'ID do recurso'. Você deve fornecer --ids ou outros argumentos de 'ID de recurso'.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--library-requirements

O arquivo de requisitos da biblioteca.

Propriedade Valor
Grupo de parâmetros: Environment Configuration Arguments
--max-executors

O número máximo de executores alocados.

Propriedade Valor
Grupo de parâmetros: DynamicExecutor Arguments
--max-node-count

A contagem máxima de nós.

Propriedade Valor
Grupo de parâmetros: AutoScale Arguments
--min-executors

O número mínimo de executores alocados.

Propriedade Valor
Grupo de parâmetros: DynamicExecutor Arguments
--min-node-count

A contagem mínima de nós.

Propriedade Valor
Grupo de parâmetros: AutoScale Arguments
--name -n

O nome do pool do Spark.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--no-wait

Não aguarde a conclusão da operação de execução prolongada.

Propriedade Valor
Valor padrão: False
--node-count

O número de nós.

Propriedade Valor
Grupo de parâmetros: Node Arguments
--node-size

O nível de poder de computação que cada nó no pool de Big Data tem..

Propriedade Valor
Grupo de parâmetros: Node Arguments
Valores aceitos: Large, Medium, None, Small, XLarge, XXLarge, XXXLarge
--package

Lista do nome dos pacotes do workspace.

Propriedade Valor
Grupo de parâmetros: Custom Libraries Arguments
--package-action

A ação do pacote deve ser especificada quando você adiciona ou remove um pacote de workspace de um pool do Apache Spark.

Propriedade Valor
Grupo de parâmetros: Custom Libraries Arguments
Valores aceitos: Add, Remove
--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--spark-config-file-path

Caminho absoluto do arquivo de configuração de propriedades do pool do Spark.

Propriedade Valor
Grupo de parâmetros: Environment Configuration Arguments
--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--tags

Marcas separadas por espaço: key[=value] [key[=value] ...]. Use "" para limpar marcas existentes.

--workspace-name

O nome do workspace.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
Parâmetros Globais
--debug

Aumente a verbosidade de log para mostrar todos os logs de depuração.

Propriedade Valor
Valor padrão: False
--help -h

Mostre esta mensagem de ajuda e saia.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

Propriedade Valor
Valor padrão: False
--output -o

Formato de saída.

Propriedade Valor
Valor padrão: json
Valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--verbose

Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.

Propriedade Valor
Valor padrão: False

az synapse spark pool wait

Coloque a CLI em um estado de espera até que uma condição de um pool do Spark seja atendida.

az synapse spark pool wait --big-data-pool-name
                           [--created]
                           [--custom]
                           [--deleted]
                           [--exists]
                           [--ids]
                           [--interval]
                           [--resource-group]
                           [--subscription]
                           [--timeout]
                           [--updated]
                           [--workspace-name]

Parâmetros Exigidos

--big-data-pool-name

Nome do pool de Big Data.

Parâmetros Opcionais

Os seguintes parâmetros são opcionais, mas dependendo do contexto, um ou mais podem se tornar obrigatórios para que o comando seja executado com sucesso.

--created

Aguarde até ser criado com 'provisioningState' em 'Succeeded'.

Propriedade Valor
Grupo de parâmetros: Wait Condition Arguments
Valor padrão: False
--custom

Aguarde até que a condição atenda a uma consulta JMESPath personalizada. Por exemplo, provisioningState!='InProgress', instanceView.statuses[?code=='PowerState/running'].

Propriedade Valor
Grupo de parâmetros: Wait Condition Arguments
--deleted

Aguarde até ser excluído.

Propriedade Valor
Grupo de parâmetros: Wait Condition Arguments
Valor padrão: False
--exists

Aguarde até que o recurso exista.

Propriedade Valor
Grupo de parâmetros: Wait Condition Arguments
Valor padrão: False
--ids

Uma ou mais IDs de recurso (delimitadas por espaço). Deve ser uma ID de recurso completa que contém todas as informações de argumentos de 'ID do recurso'. Você deve fornecer --ids ou outros argumentos de 'ID de recurso'.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--interval

Intervalo de sondagem em segundos.

Propriedade Valor
Grupo de parâmetros: Wait Condition Arguments
Valor padrão: 30
--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
--timeout

Espera máxima em segundos.

Propriedade Valor
Grupo de parâmetros: Wait Condition Arguments
Valor padrão: 3600
--updated

Aguarde até que seja atualizado com provisioningState em 'Succeeded'.

Propriedade Valor
Grupo de parâmetros: Wait Condition Arguments
Valor padrão: False
--workspace-name

O nome do workspace.

Propriedade Valor
Grupo de parâmetros: Resource Id Arguments
Parâmetros Globais
--debug

Aumente a verbosidade de log para mostrar todos os logs de depuração.

Propriedade Valor
Valor padrão: False
--help -h

Mostre esta mensagem de ajuda e saia.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

Propriedade Valor
Valor padrão: False
--output -o

Formato de saída.

Propriedade Valor
Valor padrão: json
Valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--verbose

Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.

Propriedade Valor
Valor padrão: False