Udostępnij przez

az synapse spark job

Zarządzanie zadaniami wsadowymi usługi Synapse Spark.

Polecenia

Nazwa Opis Typ Stan
az synapse spark job cancel

Anulowanie zadania platformy Spark.

 Core ogólna dostępność
az synapse spark job list

Wyświetl listę wszystkich zadań platformy Spark.

 Core ogólna dostępność
az synapse spark job show

Pobieranie zadania platformy Spark.

 Core ogólna dostępność
az synapse spark job submit

Prześlij zadanie platformy Spark.

 Core ogólna dostępność

az synapse spark job cancel

Edytuj

Anulowanie zadania platformy Spark.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

Przykłady

Anulowanie zadania platformy Spark.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Parametry wymagane

--livy-id

Identyfikator zadania platformy Spark.

Właściwość Wartość
Grupa parametrów: Spark job Arguments
--spark-pool-name

Nazwa puli Spark.

--workspace-name

Nazwa obszaru roboczego.

Parametry opcjonalne

Poniższe parametry są opcjonalne, ale w zależności od kontekstu co najmniej jeden może być wymagany do pomyślnego wykonania polecenia.

--yes -y

Nie monituj o potwierdzenie.

Właściwość Wartość
Domyślna wartość: False
Parametry globalne
--debug

Zwiększ szczegółowość rejestrowania, aby wyświetlić wszystkie dzienniki debugowania.

Właściwość Wartość
Domyślna wartość: False
--help -h

Pokaż ten komunikat pomocy i zakończ pracę.

--only-show-errors

Pokaż tylko błędy, pomijając ostrzeżenia.

Właściwość Wartość
Domyślna wartość: False
--output -o

Format danych wyjściowych.

Właściwość Wartość
Domyślna wartość: json
Dopuszczalne wartości: json, jsonc, none, table, tsv, yaml, yamlc
--query

Ciąg zapytania JMESPath. Zobacz http://jmespath.org/ , aby uzyskać więcej informacji i przykładów.

--subscription

Nazwa lub identyfikator subskrypcji. Subskrypcję domyślną można skonfigurować przy użyciu az account set -s NAME_OR_ID.

--verbose

Zwiększ szczegółowość rejestrowania. Użyj --debuguj, aby uzyskać pełne dzienniki debugowania.

Właściwość Wartość
Domyślna wartość: False

az synapse spark job list

Edytuj

Wyświetl listę wszystkich zadań platformy Spark.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

Przykłady

Wyświetl listę wszystkich zadań platformy Spark.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Parametry wymagane

--spark-pool-name

Nazwa puli Spark.

--workspace-name

Nazwa obszaru roboczego.

Parametry opcjonalne

Poniższe parametry są opcjonalne, ale w zależności od kontekstu co najmniej jeden może być wymagany do pomyślnego wykonania polecenia.

--from-index

Opcjonalny parametr określający indeks, od którego powinna zaczynać się lista.

--size

Rozmiar zwróconej listy. Domyślnie jest to 20 i jest to wartość maksymalna.

Parametry globalne
--debug

Zwiększ szczegółowość rejestrowania, aby wyświetlić wszystkie dzienniki debugowania.

Właściwość Wartość
Domyślna wartość: False
--help -h

Pokaż ten komunikat pomocy i zakończ pracę.

--only-show-errors

Pokaż tylko błędy, pomijając ostrzeżenia.

Właściwość Wartość
Domyślna wartość: False
--output -o

Format danych wyjściowych.

Właściwość Wartość
Domyślna wartość: json
Dopuszczalne wartości: json, jsonc, none, table, tsv, yaml, yamlc
--query

Ciąg zapytania JMESPath. Zobacz http://jmespath.org/ , aby uzyskać więcej informacji i przykładów.

--subscription

Nazwa lub identyfikator subskrypcji. Subskrypcję domyślną można skonfigurować przy użyciu az account set -s NAME_OR_ID.

--verbose

Zwiększ szczegółowość rejestrowania. Użyj --debuguj, aby uzyskać pełne dzienniki debugowania.

Właściwość Wartość
Domyślna wartość: False

az synapse spark job show

Edytuj

Pobieranie zadania platformy Spark.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

Przykłady

Pobieranie zadania platformy Spark.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Parametry wymagane

--livy-id

Identyfikator zadania platformy Spark.

Właściwość Wartość
Grupa parametrów: Spark job Arguments
--spark-pool-name

Nazwa puli Spark.

--workspace-name

Nazwa obszaru roboczego.

Parametry globalne
--debug

Zwiększ szczegółowość rejestrowania, aby wyświetlić wszystkie dzienniki debugowania.

Właściwość Wartość
Domyślna wartość: False
--help -h

Pokaż ten komunikat pomocy i zakończ pracę.

--only-show-errors

Pokaż tylko błędy, pomijając ostrzeżenia.

Właściwość Wartość
Domyślna wartość: False
--output -o

Format danych wyjściowych.

Właściwość Wartość
Domyślna wartość: json
Dopuszczalne wartości: json, jsonc, none, table, tsv, yaml, yamlc
--query

Ciąg zapytania JMESPath. Zobacz http://jmespath.org/ , aby uzyskać więcej informacji i przykładów.

--subscription

Nazwa lub identyfikator subskrypcji. Subskrypcję domyślną można skonfigurować przy użyciu az account set -s NAME_OR_ID.

--verbose

Zwiększ szczegółowość rejestrowania. Użyj --debuguj, aby uzyskać pełne dzienniki debugowania.

Właściwość Wartość
Domyślna wartość: False

az synapse spark job submit

Edytuj

Prześlij zadanie platformy Spark.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

Przykłady

Prześlij zadanie Platformy Spark w języku Java.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

Parametry wymagane

--executor-size

Rozmiar funkcji wykonawczej.

Właściwość Wartość
Dopuszczalne wartości: Large, Medium, Small
--executors

Liczba funkcji wykonawczych.

--main-definition-file

Główny plik używany do zadania.

--name -n

Nazwa zadania platformy Spark.

--spark-pool-name

Nazwa puli Spark.

--workspace-name

Nazwa obszaru roboczego.

Parametry opcjonalne

Poniższe parametry są opcjonalne, ale w zależności od kontekstu co najmniej jeden może być wymagany do pomyślnego wykonania polecenia.

--archives

Tablica archiwów.

--arguments

Opcjonalne argumenty zadania (Uwaga: użyj identyfikatorów URI magazynu dla argumentów plików).

--configuration

Konfiguracja zadania platformy Spark.

--language

Język zadań platformy Spark.

Właściwość Wartość
Domyślna wartość: Scala
Dopuszczalne wartości: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
--main-class-name

W pełni kwalifikowany identyfikator lub klasa główna, która znajduje się w głównym pliku definicji.

--python-files

Tablica plików używanych do ponownego stosowania w głównym pliku definicji języka Python. Przykłady obejmują niestandardowe pliki whl i niestandardowe pliki python. Może przekazać wiele plików, takich jak az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2.

--reference-files

Dodatkowe pliki używane do odwołania w głównym pliku definicji.

--tags

Tagi rozdzielone spacjami: klucz[=wartość] [key[=value] ...]. Użyj ciągu "", aby wyczyścić istniejące tagi.

Parametry globalne
--debug

Zwiększ szczegółowość rejestrowania, aby wyświetlić wszystkie dzienniki debugowania.

Właściwość Wartość
Domyślna wartość: False
--help -h

Pokaż ten komunikat pomocy i zakończ pracę.

--only-show-errors

Pokaż tylko błędy, pomijając ostrzeżenia.

Właściwość Wartość
Domyślna wartość: False
--output -o

Format danych wyjściowych.

Właściwość Wartość
Domyślna wartość: json
Dopuszczalne wartości: json, jsonc, none, table, tsv, yaml, yamlc
--query

Ciąg zapytania JMESPath. Zobacz http://jmespath.org/ , aby uzyskać więcej informacji i przykładów.

--subscription

Nazwa lub identyfikator subskrypcji. Subskrypcję domyślną można skonfigurować przy użyciu az account set -s NAME_OR_ID.

--verbose

Zwiększ szczegółowość rejestrowania. Użyj --debuguj, aby uzyskać pełne dzienniki debugowania.

Właściwość Wartość
Domyślna wartość: False