Submit-AzSynapseSparkJob
Sendet einen Synapse Analytics Spark-Auftrag.
Syntax
RunSparkJobParameterSetName (Standard)
Submit-AzSynapseSparkJob
-WorkspaceName <String>
-SparkPoolName <String>
-Language <String>
-Name <String>
-MainDefinitionFile <String>
-ExecutorCount <Int32>
-ExecutorSize <String>
[-MainClassName <String>]
[-CommandLineArgument <String[]>]
[-ReferenceFile <String[]>]
[-Configuration <Hashtable>]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
RunSparkJobByParentObjectParameterSet
Submit-AzSynapseSparkJob
-SparkPoolObject <PSSynapseSparkPool>
-Language <String>
-Name <String>
-MainDefinitionFile <String>
-ExecutorCount <Int32>
-ExecutorSize <String>
[-MainClassName <String>]
[-CommandLineArgument <String[]>]
[-ReferenceFile <String[]>]
[-Configuration <Hashtable>]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
Beschreibung
Das Cmdlet Submit-AzSynapseSparkJob sendet einen Synapse Analytics Spark-Auftrag.
Beispiele
Beispiel 1
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language Spark -Name WordCount_Java -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/wordcount.jar -MainClassName WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small
Dieser Befehl sendet einen Synapse Analytics Spark-Auftrag.
Beispiel 2
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language SparkDotNet -Name WordCount_Dotnet -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/wordcount.zip -MainExecutableFile WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/result -ExecutorCount 2 -ExecutorSize Small
Dieser Befehl sendet einen Synapse Analytics Spark .NET-Auftrag.
Beispiel 3
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language PySpark -Name WordCount_Python -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/wordcount.py -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small
Dieser Befehl sendet einen Synapse Analytics PySpark-Auftrag.
Parameter
-CommandLineArgument
Optionale Argumente für den Auftrag. z. B. "--iteration 10000 --timeout 20s"
Parametereigenschaften
Typ: String [ ]
Standardwert: None Unterstützt Platzhalter: False Nicht anzeigen: False
Parametersätze
(All)
Position: Named Obligatorisch: False Wert aus Pipeline: False Wert aus Pipeline nach dem Eigenschaftsnamen: False Wert aus verbleibenden Argumenten: False
-Configuration
Spark-Konfigurationseigenschaften.
Parametereigenschaften
Typ: Hashtable
Standardwert: None Unterstützt Platzhalter: False Nicht anzeigen: False
Parametersätze
(All)
Position: Named Obligatorisch: False Wert aus Pipeline: False Wert aus Pipeline nach dem Eigenschaftsnamen: False Wert aus verbleibenden Argumenten: False
-Confirm
Fordert Sie zur Bestätigung auf, bevor Sie das Cmdlet ausführen.
Parametereigenschaften
Typ: SwitchParameter
Standardwert: None Unterstützt Platzhalter: False Nicht anzeigen: False Aliase: vgl
Parametersätze
(All)
Position: Named Obligatorisch: False Wert aus Pipeline: False Wert aus Pipeline nach dem Eigenschaftsnamen: False Wert aus verbleibenden Argumenten: False
-DefaultProfile
Anmeldeinformationen, Konto, Mandant und Abonnement für die Kommunikation mit Azure
Parametereigenschaften
Typ: IAzureContextContainer
Standardwert: None Unterstützt Platzhalter: False Nicht anzeigen: False Aliase: AzContext, AzureRmContext, AzureCredential
Parametersätze
(All)
Position: Named Obligatorisch: False Wert aus Pipeline: False Wert aus Pipeline nach dem Eigenschaftsnamen: False Wert aus verbleibenden Argumenten: False
-ExecutorCount
Anzahl der Ausführenden, die im angegebenen Spark-Pool für den Auftrag zugewiesen werden sollen.
Parametereigenschaften
Typ: Int32
Standardwert: None Unterstützt Platzhalter: False Nicht anzeigen: False
Parametersätze
(All)
Position: Named Obligatorisch: True Wert aus Pipeline: False Wert aus Pipeline nach dem Eigenschaftsnamen: False Wert aus verbleibenden Argumenten: False
-ExecutorSize
Die Anzahl der Kerne und des Arbeitsspeichers, die für Executoren verwendet werden sollen, die im angegebenen Spark-Pool für den Auftrag zugewiesen wurden.
Parametereigenschaften
Typ: String
Standardwert: None Zulässige Werte: Small, Medium, Large, XLarge, XXLarge, XXXLarge Unterstützt Platzhalter: False Nicht anzeigen: False
Parametersätze
(All)
Position: Named Obligatorisch: True Wert aus Pipeline: False Wert aus Pipeline nach dem Eigenschaftsnamen: False Wert aus verbleibenden Argumenten: False
-Language
Sprache des auftrags, der übermittelt werden soll.
Parametereigenschaften
Typ: String
Standardwert: None Zulässige Werte: Spark, Scala, PySpark, Python, SparkDotNet, CSharp Unterstützt Platzhalter: False Nicht anzeigen: False
Parametersätze
(All)
Position: Named Obligatorisch: True Wert aus Pipeline: False Wert aus Pipeline nach dem Eigenschaftsnamen: False Wert aus verbleibenden Argumenten: False
-MainClassName
Der vollqualifizierte Bezeichner oder die Hauptklasse, die sich in der Hauptdefinitionsdatei befindet.
Erforderlich für Spark- und .NET Spark-Auftrag.
z. B. "org.apache.spark.examples.SparkPi"
Parametereigenschaften
Typ: String
Standardwert: None Unterstützt Platzhalter: False Nicht anzeigen: False Aliase: MainExecutableFile
Parametersätze
(All)
Position: Named Obligatorisch: False Wert aus Pipeline: False Wert aus Pipeline nach dem Eigenschaftsnamen: False Wert aus verbleibenden Argumenten: False
-MainDefinitionFile
Die für den Auftrag verwendete Hauptdatei.
z. B. "abfss://filesystem@account.dfs.core.windows.net/mySpark.jar"
Parametereigenschaften
Typ: String
Standardwert: None Unterstützt Platzhalter: False Nicht anzeigen: False
Parametersätze
(All)
Position: Named Obligatorisch: True Wert aus Pipeline: False Wert aus Pipeline nach dem Eigenschaftsnamen: False Wert aus verbleibenden Argumenten: False
-Name
Name des Spark-Auftrags.
Parametereigenschaften
Typ: String
Standardwert: None Unterstützt Platzhalter: False Nicht anzeigen: False
Parametersätze
(All)
Position: Named Obligatorisch: True Wert aus Pipeline: False Wert aus Pipeline nach dem Eigenschaftsnamen: False Wert aus verbleibenden Argumenten: False
-ReferenceFile
Zusätzliche Dateien, die für den Verweis in der Hauptdefinitionsdatei verwendet werden. Durch Trennzeichen getrennte Speicher-URI-Liste. z. B. "abfss://filesystem@account.dfs.core.windows.net/file1.txt,abfss://filesystem@account.dfs.core.windows.net/result/"
Parametereigenschaften
Typ: String [ ]
Standardwert: None Unterstützt Platzhalter: False Nicht anzeigen: False
Parametersätze
(All)
Position: Named Obligatorisch: False Wert aus Pipeline: False Wert aus Pipeline nach dem Eigenschaftsnamen: False Wert aus verbleibenden Argumenten: False
-SparkPoolName
Name des Synapse Spark-Pools.
Parametereigenschaften
Typ: String
Standardwert: None Unterstützt Platzhalter: False Nicht anzeigen: False
Parametersätze
RunSparkJobParameterSetName
Position: Named Obligatorisch: True Wert aus Pipeline: False Wert aus Pipeline nach dem Eigenschaftsnamen: False Wert aus verbleibenden Argumenten: False
-SparkPoolObject
Spark pool input object, usually passed through the pipeline.
Parametereigenschaften
Typ: PSSynapseSparkPool
Standardwert: None Unterstützt Platzhalter: False Nicht anzeigen: False
Parametersätze
RunSparkJobByParentObjectParameterSet
Position: Named Obligatorisch: True Wert aus Pipeline: True Wert aus Pipeline nach dem Eigenschaftsnamen: False Wert aus verbleibenden Argumenten: False
-WhatIf
Zeigt, was passiert, wenn das Cmdlet ausgeführt wird. Das Cmdlet wird nicht ausgeführt.
Parametereigenschaften
Typ: SwitchParameter
Standardwert: None Unterstützt Platzhalter: False Nicht anzeigen: False Aliase: Wi
Parametersätze
(All)
Position: Named Obligatorisch: False Wert aus Pipeline: False Wert aus Pipeline nach dem Eigenschaftsnamen: False Wert aus verbleibenden Argumenten: False
-WorkspaceName
Name des Synapse-Arbeitsbereichs.
Parametereigenschaften
Typ: String
Standardwert: None Unterstützt Platzhalter: False Nicht anzeigen: False
Parametersätze
RunSparkJobParameterSetName
Position: Named Obligatorisch: True Wert aus Pipeline: False Wert aus Pipeline nach dem Eigenschaftsnamen: False Wert aus verbleibenden Argumenten: False
CommonParameters
Dieses Cmdlet unterstützt die allgemeinen Parameter -Debug, -ErrorAction, -ErrorVariable, -InformationAction, -InformationVariable, -OutBuffer, -OutVariable, -PipelineVariable, -ProgressAction, -Verbose, -WarningAction und -WarningVariable. Weitere Informationen findest du unter about_CommonParameters .
Ausgaben
