Partilhar via

Submit-AzSynapseSparkJob

Módulo:
Az.Synapse Module

Envia um trabalho do Synapse Analytics Spark.

Sintaxe

RunSparkJobParameterSetName (Padrão) 

Submit-AzSynapseSparkJob
    -WorkspaceName <String>
    -SparkPoolName <String>
    -Language <String>
    -Name <String>
    -MainDefinitionFile <String>
    -ExecutorCount <Int32>
    -ExecutorSize <String>
    [-MainClassName <String>]
    [-CommandLineArgument <String[]>]
    [-ReferenceFile <String[]>]
    [-Configuration <Hashtable>]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

RunSparkJobByParentObjectParameterSet 

Submit-AzSynapseSparkJob
    -SparkPoolObject <PSSynapseSparkPool>
    -Language <String>
    -Name <String>
    -MainDefinitionFile <String>
    -ExecutorCount <Int32>
    -ExecutorSize <String>
    [-MainClassName <String>]
    [-CommandLineArgument <String[]>]
    [-ReferenceFile <String[]>]
    [-Configuration <Hashtable>]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

Descrição

O cmdlet Submit-AzSynapseSparkJob envia um trabalho do Synapse Analytics Spark.

Exemplos

Exemplo 1

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language Spark -Name WordCount_Java -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/wordcount.jar -MainClassName WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small

Este comando envia um trabalho do Synapse Analytics Spark.

Exemplo 2

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language SparkDotNet -Name WordCount_Dotnet -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/wordcount.zip -MainExecutableFile WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/result -ExecutorCount 2 -ExecutorSize Small

Este comando envia um trabalho do Synapse Analytics Spark .NET.

Exemplo 3

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language PySpark -Name WordCount_Python -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/wordcount.py -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small

Este comando envia um trabalho do Synapse Analytics PySpark.

Parâmetros

-CommandLineArgument

Argumentos opcionais para o trabalho. por exemplo, "--iteration 10000 --timeout 20s"

Propriedades dos parâmetros

Tipo:

String[]

Valor padrão:None
Suporta curingas:False
DontShow:False

Conjuntos de parâmetros

(All)
Posição:Named
Obrigatório:False
Valor do pipeline:False
Valor do pipeline por nome da propriedade:False
Valor dos argumentos restantes:False

-Configuration

Propriedades de configuração do Spark.

Propriedades dos parâmetros

Tipo:Hashtable
Valor padrão:None
Suporta curingas:False
DontShow:False

Conjuntos de parâmetros

(All)
Posição:Named
Obrigatório:False
Valor do pipeline:False
Valor do pipeline por nome da propriedade:False
Valor dos argumentos restantes:False

-Confirm

Solicita confirmação antes de executar o cmdlet.

Propriedades dos parâmetros

Tipo:SwitchParameter
Valor padrão:None
Suporta curingas:False
DontShow:False
Pseudónimos:Cf.

Conjuntos de parâmetros

(All)
Posição:Named
Obrigatório:False
Valor do pipeline:False
Valor do pipeline por nome da propriedade:False
Valor dos argumentos restantes:False

-DefaultProfile

As credenciais, a conta, o locatário e a assinatura usados para comunicação com o Azure.

Propriedades dos parâmetros

Tipo:IAzureContextContainer
Valor padrão:None
Suporta curingas:False
DontShow:False
Pseudónimos:AzContext, AzureRmContext, AzureCredential

Conjuntos de parâmetros

(All)
Posição:Named
Obrigatório:False
Valor do pipeline:False
Valor do pipeline por nome da propriedade:False
Valor dos argumentos restantes:False

-ExecutorCount

Número de executores a serem alocados no pool de faíscas especificado para o trabalho.

Propriedades dos parâmetros

Tipo:Int32
Valor padrão:None
Suporta curingas:False
DontShow:False

Conjuntos de parâmetros

(All)
Posição:Named
Obrigatório:True
Valor do pipeline:False
Valor do pipeline por nome da propriedade:False
Valor dos argumentos restantes:False

-ExecutorSize

Número de núcleo e memória a serem usados para executores alocados no pool Spark especificado para o trabalho.

Propriedades dos parâmetros

Tipo:String
Valor padrão:None
Valores aceites:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Suporta curingas:False
DontShow:False

Conjuntos de parâmetros

(All)
Posição:Named
Obrigatório:True
Valor do pipeline:False
Valor do pipeline por nome da propriedade:False
Valor dos argumentos restantes:False

-Language

Língua do trabalho a apresentar.

Propriedades dos parâmetros

Tipo:String
Valor padrão:None
Valores aceites:Spark, Scala, PySpark, Python, SparkDotNet, CSharp
Suporta curingas:False
DontShow:False

Conjuntos de parâmetros

(All)
Posição:Named
Obrigatório:True
Valor do pipeline:False
Valor do pipeline por nome da propriedade:False
Valor dos argumentos restantes:False

-MainClassName

O identificador totalmente qualificado ou a classe principal que está no arquivo de definição principal. Necessário para o trabalho do Spark e do .NET Spark. por exemplo, "org.apache.spark.examples.SparkPi"

Propriedades dos parâmetros

Tipo:String
Valor padrão:None
Suporta curingas:False
DontShow:False
Pseudónimos:MainExecutableFile

Conjuntos de parâmetros

(All)
Posição:Named
Obrigatório:False
Valor do pipeline:False
Valor do pipeline por nome da propriedade:False
Valor dos argumentos restantes:False

-MainDefinitionFile

O arquivo principal usado para o trabalho. por exemplo, "abfss://filesystem@account.dfs.core.windows.net/mySpark.jar"

Propriedades dos parâmetros

Tipo:String
Valor padrão:None
Suporta curingas:False
DontShow:False

Conjuntos de parâmetros

(All)
Posição:Named
Obrigatório:True
Valor do pipeline:False
Valor do pipeline por nome da propriedade:False
Valor dos argumentos restantes:False

-Name

Nome do trabalho do Spark.

Propriedades dos parâmetros

Tipo:String
Valor padrão:None
Suporta curingas:False
DontShow:False

Conjuntos de parâmetros

(All)
Posição:Named
Obrigatório:True
Valor do pipeline:False
Valor do pipeline por nome da propriedade:False
Valor dos argumentos restantes:False

-ReferenceFile

Arquivos adicionais usados para referência no arquivo de definição principal. Lista de URI de armazenamento separada por vírgula. por exemplo, "abfss://filesystem@account.dfs.core.windows.net/file1.txt,abfss://filesystem@account.dfs.core.windows.net/result/"

Propriedades dos parâmetros

Tipo:

String[]

Valor padrão:None
Suporta curingas:False
DontShow:False

Conjuntos de parâmetros

(All)
Posição:Named
Obrigatório:False
Valor do pipeline:False
Valor do pipeline por nome da propriedade:False
Valor dos argumentos restantes:False

-SparkPoolName

Nome da piscina Synapse Spark.

Propriedades dos parâmetros

Tipo:String
Valor padrão:None
Suporta curingas:False
DontShow:False

Conjuntos de parâmetros

RunSparkJobParameterSetName
Posição:Named
Obrigatório:True
Valor do pipeline:False
Valor do pipeline por nome da propriedade:False
Valor dos argumentos restantes:False

-SparkPoolObject

Objeto de entrada do pool de faíscas, geralmente passado pelo pipeline.

Propriedades dos parâmetros

Tipo:PSSynapseSparkPool
Valor padrão:None
Suporta curingas:False
DontShow:False

Conjuntos de parâmetros

RunSparkJobByParentObjectParameterSet
Posição:Named
Obrigatório:True
Valor do pipeline:True
Valor do pipeline por nome da propriedade:False
Valor dos argumentos restantes:False

-WhatIf

Mostra o que aconteceria se o cmdlet fosse executado. O cmdlet não é executado.

Propriedades dos parâmetros

Tipo:SwitchParameter
Valor padrão:None
Suporta curingas:False
DontShow:False
Pseudónimos:Wi

Conjuntos de parâmetros

(All)
Posição:Named
Obrigatório:False
Valor do pipeline:False
Valor do pipeline por nome da propriedade:False
Valor dos argumentos restantes:False

-WorkspaceName

Nome do espaço de trabalho Sinapse.

Propriedades dos parâmetros

Tipo:String
Valor padrão:None
Suporta curingas:False
DontShow:False

Conjuntos de parâmetros

RunSparkJobParameterSetName
Posição:Named
Obrigatório:True
Valor do pipeline:False
Valor do pipeline por nome da propriedade:False
Valor dos argumentos restantes:False

CommonParameters

Este cmdlet suporta os parâmetros comuns: -Debug, -ErrorAction, -ErrorVariable, -InformationAction, -InformationVariable, -OutBuffer, -OutVariable, -PipelineVariable, -ProgressAction, -Verbose, -WarningAction e -WarningVariable. Para obter mais informações, consulte about_CommonParameters.

Entradas

PSSynapseSparkPool

Saídas

PSSynapseSparkJob