Udostępnij przez

Submit-AzSynapseSparkJob

Moduł:
Az.Synapse Module

Przesyła zadanie platformy Spark usługi Synapse Analytics.

Składnia

RunSparkJobParameterSetName (Domyślne) 

Submit-AzSynapseSparkJob
    -WorkspaceName <String>
    -SparkPoolName <String>
    -Language <String>
    -Name <String>
    -MainDefinitionFile <String>
    -ExecutorCount <Int32>
    -ExecutorSize <String>
    [-MainClassName <String>]
    [-CommandLineArgument <String[]>]
    [-ReferenceFile <String[]>]
    [-Configuration <Hashtable>]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

RunSparkJobByParentObjectParameterSet 

Submit-AzSynapseSparkJob
    -SparkPoolObject <PSSynapseSparkPool>
    -Language <String>
    -Name <String>
    -MainDefinitionFile <String>
    -ExecutorCount <Int32>
    -ExecutorSize <String>
    [-MainClassName <String>]
    [-CommandLineArgument <String[]>]
    [-ReferenceFile <String[]>]
    [-Configuration <Hashtable>]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

Opis

Polecenie cmdlet Submit-AzSynapseSparkJob przesyła zadanie platformy Spark usługi Synapse Analytics.

Przykłady

Przykład 1

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language Spark -Name WordCount_Java -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/wordcount.jar -MainClassName WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small

To polecenie przesyła zadanie platformy Spark usługi Synapse Analytics.

Przykład 2

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language SparkDotNet -Name WordCount_Dotnet -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/wordcount.zip -MainExecutableFile WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/result -ExecutorCount 2 -ExecutorSize Small

To polecenie przesyła zadanie platformy .NET platformy Spark usługi Synapse Analytics.

Przykład 3

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language PySpark -Name WordCount_Python -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/wordcount.py -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small

To polecenie przesyła zadanie PySpark usługi Synapse Analytics.

Parametry

-CommandLineArgument

Opcjonalne argumenty zadania. np. "--iteracja 10000 --timeout 20s"

Właściwości parametrów

Typ:

String[]

Wartość domyślna:None
Wspiera dzikie karty:False
DontShow:False

Zbiory parametrów

(All)
Pozycja:Named
Obowiązkowy:False
Wartość z pipeline:False
Wartość z pipeline według nazwy właściwości:False
Wartość pozostałych argumentów:False

-Configuration

Właściwości konfiguracji platformy Spark.

Właściwości parametrów

Typ:Hashtable
Wartość domyślna:None
Wspiera dzikie karty:False
DontShow:False

Zbiory parametrów

(All)
Pozycja:Named
Obowiązkowy:False
Wartość z pipeline:False
Wartość z pipeline według nazwy właściwości:False
Wartość pozostałych argumentów:False

-Confirm

Prosi o potwierdzenie przed uruchomieniem cmdletu.

Właściwości parametrów

Typ:SwitchParameter
Wartość domyślna:None
Wspiera dzikie karty:False
DontShow:False
Aliasy:por

Zbiory parametrów

(All)
Pozycja:Named
Obowiązkowy:False
Wartość z pipeline:False
Wartość z pipeline według nazwy właściwości:False
Wartość pozostałych argumentów:False

-DefaultProfile

Poświadczenia, konto, dzierżawa i subskrypcja używane do komunikacji z platformą Azure.

Właściwości parametrów

Typ:IAzureContextContainer
Wartość domyślna:None
Wspiera dzikie karty:False
DontShow:False
Aliasy:AzContext, AzureRmContext, AzureCredential

Zbiory parametrów

(All)
Pozycja:Named
Obowiązkowy:False
Wartość z pipeline:False
Wartość z pipeline według nazwy właściwości:False
Wartość pozostałych argumentów:False

-ExecutorCount

Liczba funkcji wykonawczych do przydzielenia w określonej puli Spark dla zadania.

Właściwości parametrów

Typ:Int32
Wartość domyślna:None
Wspiera dzikie karty:False
DontShow:False

Zbiory parametrów

(All)
Pozycja:Named
Obowiązkowy:True
Wartość z pipeline:False
Wartość z pipeline według nazwy właściwości:False
Wartość pozostałych argumentów:False

-ExecutorSize

Liczba rdzeni i pamięci, które mają być używane dla funkcji wykonawczych przydzielonych w określonej puli Spark dla zadania.

Właściwości parametrów

Typ:String
Wartość domyślna:None
Akceptowane wartości:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Wspiera dzikie karty:False
DontShow:False

Zbiory parametrów

(All)
Pozycja:Named
Obowiązkowy:True
Wartość z pipeline:False
Wartość z pipeline według nazwy właściwości:False
Wartość pozostałych argumentów:False

-Language

Język zadania do przesłania.

Właściwości parametrów

Typ:String
Wartość domyślna:None
Akceptowane wartości:Spark, Scala, PySpark, Python, SparkDotNet, CSharp
Wspiera dzikie karty:False
DontShow:False

Zbiory parametrów

(All)
Pozycja:Named
Obowiązkowy:True
Wartość z pipeline:False
Wartość z pipeline według nazwy właściwości:False
Wartość pozostałych argumentów:False

-MainClassName

W pełni kwalifikowany identyfikator lub klasa główna, która znajduje się w głównym pliku definicji. Wymagane dla zadań spark i .NET Spark. np. "org.apache.spark.examples.SparkPi"

Właściwości parametrów

Typ:String
Wartość domyślna:None
Wspiera dzikie karty:False
DontShow:False
Aliasy:MainExecutableFile

Zbiory parametrów

(All)
Pozycja:Named
Obowiązkowy:False
Wartość z pipeline:False
Wartość z pipeline według nazwy właściwości:False
Wartość pozostałych argumentów:False

-MainDefinitionFile

Główny plik używany do zadania. np. "abfss://filesystem@account.dfs.core.windows.net/mySpark.jar"

Właściwości parametrów

Typ:String
Wartość domyślna:None
Wspiera dzikie karty:False
DontShow:False

Zbiory parametrów

(All)
Pozycja:Named
Obowiązkowy:True
Wartość z pipeline:False
Wartość z pipeline według nazwy właściwości:False
Wartość pozostałych argumentów:False

-Name

Nazwa zadania platformy Spark.

Właściwości parametrów

Typ:String
Wartość domyślna:None
Wspiera dzikie karty:False
DontShow:False

Zbiory parametrów

(All)
Pozycja:Named
Obowiązkowy:True
Wartość z pipeline:False
Wartość z pipeline według nazwy właściwości:False
Wartość pozostałych argumentów:False

-ReferenceFile

Dodatkowe pliki używane do odwołania w głównym pliku definicji. Lista identyfikatorów URI magazynu rozdzielanych przecinkami. np. "abfss://filesystem@account.dfs.core.windows.net/file1.txt,abfss://filesystem@account.dfs.core.windows.net/result/"

Właściwości parametrów

Typ:

String[]

Wartość domyślna:None
Wspiera dzikie karty:False
DontShow:False

Zbiory parametrów

(All)
Pozycja:Named
Obowiązkowy:False
Wartość z pipeline:False
Wartość z pipeline według nazwy właściwości:False
Wartość pozostałych argumentów:False

-SparkPoolName

Nazwa puli platformy Spark usługi Synapse.

Właściwości parametrów

Typ:String
Wartość domyślna:None
Wspiera dzikie karty:False
DontShow:False

Zbiory parametrów

RunSparkJobParameterSetName
Pozycja:Named
Obowiązkowy:True
Wartość z pipeline:False
Wartość z pipeline według nazwy właściwości:False
Wartość pozostałych argumentów:False

-SparkPoolObject

Obiekt wejściowy puli platformy Spark, zwykle przekazywany przez potok.

Właściwości parametrów

Typ:PSSynapseSparkPool
Wartość domyślna:None
Wspiera dzikie karty:False
DontShow:False

Zbiory parametrów

RunSparkJobByParentObjectParameterSet
Pozycja:Named
Obowiązkowy:True
Wartość z pipeline:True
Wartość z pipeline według nazwy właściwości:False
Wartość pozostałych argumentów:False

-WhatIf

Pokazuje, co się stanie, jeśli polecenie cmdlet zostanie uruchomione. Cmdlet nie jest uruchomiony.

Właściwości parametrów

Typ:SwitchParameter
Wartość domyślna:None
Wspiera dzikie karty:False
DontShow:False
Aliasy:Wi

Zbiory parametrów

(All)
Pozycja:Named
Obowiązkowy:False
Wartość z pipeline:False
Wartość z pipeline według nazwy właściwości:False
Wartość pozostałych argumentów:False

-WorkspaceName

Nazwa obszaru roboczego usługi Synapse.

Właściwości parametrów

Typ:String
Wartość domyślna:None
Wspiera dzikie karty:False
DontShow:False

Zbiory parametrów

RunSparkJobParameterSetName
Pozycja:Named
Obowiązkowy:True
Wartość z pipeline:False
Wartość z pipeline według nazwy właściwości:False
Wartość pozostałych argumentów:False

CommonParameters

To polecenie cmdlet obsługuje typowe parametry: -Debug, -ErrorAction, -ErrorVariable, -InformationAction, -InformationVariable, -OutBuffer, -OutVariable, -PipelineVariable, -ProgressAction, -Verbose, -WarningAction i -WarningVariable. Aby uzyskać więcej informacji, zobacz about_CommonParameters.

Wejścia

PSSynapseSparkPool

Wyjść

PSSynapseSparkJob