az synapse spark pool
Zarządzanie pulami platformy Spark.
Polecenia
| Nazwa | Opis | Typ | Stan |
|---|---|---|---|
| az synapse spark pool create |
Utwórz pulę platformy Spark. |
Core | ogólna dostępność |
| az synapse spark pool delete |
Usuń pulę platformy Spark. |
Core | ogólna dostępność |
| az synapse spark pool list |
Wyświetl listę wszystkich pul platformy Spark. |
Core | ogólna dostępność |
| az synapse spark pool show |
Pobierz pulę platformy Spark. |
Core | ogólna dostępność |
| az synapse spark pool update |
Zaktualizuj pulę platformy Spark. |
Core | ogólna dostępność |
| az synapse spark pool wait |
Umieść interfejs wiersza polecenia w stanie oczekiwania do momentu spełnienia warunku puli platformy Spark. |
Core | ogólna dostępność |
az synapse spark pool create
Utwórz pulę platformy Spark.
az synapse spark pool create --name
--node-count
--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}
--resource-group
--spark-version
--workspace-name
[--delay]
[--enable-auto-pause {false, true}]
[--enable-auto-scale {false, true}]
[--enable-dynamic-exec {false, true}]
[--max-executors]
[--max-node-count]
[--min-executors]
[--min-node-count]
[--no-wait]
[--node-size-family {HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None}]
[--spark-config-file-path]
[--spark-events-folder]
[--spark-log-folder]
[--tags]
Przykłady
Utwórz pulę platformy Spark.
az synapse spark pool create --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-version 2.4 --node-count 3 --node-size Medium --spark-config-file-path 'path/configfile.txt'
Parametry wymagane
Nazwa puli Spark.
Liczba węzłów.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Node Arguments |
Poziom mocy obliczeniowej, którą ma każdy węzeł w puli danych big data.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Node Arguments |
| Dopuszczalne wartości: | Large, Medium, None, Small, XLarge, XXLarge, XXXLarge |
Nazwa grupy zasobów. Grupę domyślną można skonfigurować przy użyciu az configure --defaults group=<name>.
Obsługiwana wersja platformy Spark to teraz 2.4.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Component Version Arguments |
Nazwa obszaru roboczego.
Parametry opcjonalne
Poniższe parametry są opcjonalne, ale w zależności od kontekstu co najmniej jeden może być wymagany do pomyślnego wykonania polecenia.
Czas opóźnienia, którego jednostka to minuta.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | AutoPause Arguments |
Flaga włączania automatycznego wstrzymywania.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | AutoPause Arguments |
| Dopuszczalne wartości: | false, true |
Flaga włączania automatycznego skalowania.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | AutoScale Arguments |
| Dopuszczalne wartości: | false, true |
Wskazuje, czy dynamiczna alokacja funkcji wykonawczej jest włączona, czy nie.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | DynamicExecutor Arguments |
| Dopuszczalne wartości: | false, true |
Maksymalna liczba przyłożonej liczby funkcji wykonawczych.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | DynamicExecutor Arguments |
Maksymalna liczba węzłów.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | AutoScale Arguments |
Minimalna liczba alokowanych funkcji wykonawczych.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | DynamicExecutor Arguments |
Minimalna liczba węzłów.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | AutoScale Arguments |
Nie czekaj na zakończenie długotrwałej operacji.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Rodzaj węzłów zapewnianych przez pulę danych big data.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Node Arguments |
| Domyślna wartość: | MemoryOptimized |
| Dopuszczalne wartości: | HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None |
Ścieżka bezwzględna pliku konfiguracji właściwości puli platformy Spark.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Environment Configuration Arguments |
Folder zdarzeń platformy Spark.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Default Folder Arguments |
| Domyślna wartość: | /events |
Domyślny folder dziennika platformy Spark.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Default Folder Arguments |
| Domyślna wartość: | /logs |
Tagi rozdzielone spacjami: klucz[=wartość] [key[=value] ...]. Użyj ciągu "", aby wyczyścić istniejące tagi.
Parametry globalne
Zwiększ szczegółowość rejestrowania, aby wyświetlić wszystkie dzienniki debugowania.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Pokaż ten komunikat pomocy i zakończ pracę.
Pokaż tylko błędy, pomijając ostrzeżenia.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Format danych wyjściowych.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | json |
| Dopuszczalne wartości: | json, jsonc, none, table, tsv, yaml, yamlc |
Ciąg zapytania JMESPath. Zobacz http://jmespath.org/ , aby uzyskać więcej informacji i przykładów.
Nazwa lub identyfikator subskrypcji. Subskrypcję domyślną można skonfigurować przy użyciu az account set -s NAME_OR_ID.
Zwiększ szczegółowość rejestrowania. Użyj --debuguj, aby uzyskać pełne dzienniki debugowania.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
az synapse spark pool delete
Usuń pulę platformy Spark.
az synapse spark pool delete [--ids]
[--name]
[--no-wait]
[--resource-group]
[--subscription]
[--workspace-name]
[--yes]
Przykłady
Usuń pulę platformy Spark.
az synapse spark pool delete --name testpool --workspace-name testsynapseworkspace --resource-group rg
Parametry opcjonalne
Poniższe parametry są opcjonalne, ale w zależności od kontekstu co najmniej jeden może być wymagany do pomyślnego wykonania polecenia.
Co najmniej jeden identyfikator zasobu (rozdzielany spacjami). Powinien to być kompletny identyfikator zasobu, zawierający wszystkie informacje dotyczące argumentów „Identyfikator zasobu”. Należy podać argumenty --ids lub inne argumenty "Identyfikator zasobu".
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Nazwa puli Spark.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Nie czekaj na zakończenie długotrwałej operacji.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Nazwa grupy zasobów. Grupę domyślną można skonfigurować przy użyciu az configure --defaults group=<name>.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Nazwa lub identyfikator subskrypcji. Subskrypcję domyślną można skonfigurować przy użyciu az account set -s NAME_OR_ID.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Nazwa obszaru roboczego.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Nie monituj o potwierdzenie.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Parametry globalne
Zwiększ szczegółowość rejestrowania, aby wyświetlić wszystkie dzienniki debugowania.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Pokaż ten komunikat pomocy i zakończ pracę.
Pokaż tylko błędy, pomijając ostrzeżenia.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Format danych wyjściowych.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | json |
| Dopuszczalne wartości: | json, jsonc, none, table, tsv, yaml, yamlc |
Ciąg zapytania JMESPath. Zobacz http://jmespath.org/ , aby uzyskać więcej informacji i przykładów.
Zwiększ szczegółowość rejestrowania. Użyj --debuguj, aby uzyskać pełne dzienniki debugowania.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
az synapse spark pool list
Wyświetl listę wszystkich pul platformy Spark.
az synapse spark pool list --resource-group
--workspace-name
Przykłady
Wyświetl listę wszystkich pul platformy Spark.
az synapse spark pool list --workspace-name testsynapseworkspace --resource-group rg
Parametry wymagane
Nazwa grupy zasobów. Grupę domyślną można skonfigurować przy użyciu az configure --defaults group=<name>.
Nazwa obszaru roboczego.
Parametry globalne
Zwiększ szczegółowość rejestrowania, aby wyświetlić wszystkie dzienniki debugowania.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Pokaż ten komunikat pomocy i zakończ pracę.
Pokaż tylko błędy, pomijając ostrzeżenia.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Format danych wyjściowych.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | json |
| Dopuszczalne wartości: | json, jsonc, none, table, tsv, yaml, yamlc |
Ciąg zapytania JMESPath. Zobacz http://jmespath.org/ , aby uzyskać więcej informacji i przykładów.
Nazwa lub identyfikator subskrypcji. Subskrypcję domyślną można skonfigurować przy użyciu az account set -s NAME_OR_ID.
Zwiększ szczegółowość rejestrowania. Użyj --debuguj, aby uzyskać pełne dzienniki debugowania.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
az synapse spark pool show
Pobierz pulę platformy Spark.
az synapse spark pool show [--ids]
[--name]
[--resource-group]
[--subscription]
[--workspace-name]
Przykłady
Pobierz pulę platformy Spark.
az synapse spark pool show --name testpool --workspace-name testsynapseworkspace --resource-group rg
Parametry opcjonalne
Poniższe parametry są opcjonalne, ale w zależności od kontekstu co najmniej jeden może być wymagany do pomyślnego wykonania polecenia.
Co najmniej jeden identyfikator zasobu (rozdzielany spacjami). Powinien to być kompletny identyfikator zasobu, zawierający wszystkie informacje dotyczące argumentów „Identyfikator zasobu”. Należy podać argumenty --ids lub inne argumenty "Identyfikator zasobu".
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Nazwa puli Spark.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Nazwa grupy zasobów. Grupę domyślną można skonfigurować przy użyciu az configure --defaults group=<name>.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Nazwa lub identyfikator subskrypcji. Subskrypcję domyślną można skonfigurować przy użyciu az account set -s NAME_OR_ID.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Nazwa obszaru roboczego.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Parametry globalne
Zwiększ szczegółowość rejestrowania, aby wyświetlić wszystkie dzienniki debugowania.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Pokaż ten komunikat pomocy i zakończ pracę.
Pokaż tylko błędy, pomijając ostrzeżenia.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Format danych wyjściowych.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | json |
| Dopuszczalne wartości: | json, jsonc, none, table, tsv, yaml, yamlc |
Ciąg zapytania JMESPath. Zobacz http://jmespath.org/ , aby uzyskać więcej informacji i przykładów.
Zwiększ szczegółowość rejestrowania. Użyj --debuguj, aby uzyskać pełne dzienniki debugowania.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
az synapse spark pool update
Zaktualizuj pulę platformy Spark.
az synapse spark pool update [--delay]
[--enable-auto-pause {false, true}]
[--enable-auto-scale {false, true}]
[--enable-dynamic-exec {false, true}]
[--force {false, true}]
[--ids]
[--library-requirements]
[--max-executors]
[--max-node-count]
[--min-executors]
[--min-node-count]
[--name]
[--no-wait]
[--node-count]
[--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}]
[--package]
[--package-action {Add, Remove}]
[--resource-group]
[--spark-config-file-path]
[--subscription]
[--tags]
[--workspace-name]
Przykłady
Zaktualizuj tagi puli Platformy Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--tags key1=value1
Zaktualizuj konfigurację automatycznego skalowania puli Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-auto-scale --min-node-count 3 --max-node-count 100
Zaktualizuj biblioteki niestandardowe puli Platformy Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--package-action Add --package package1.jar package2.jar
Zaktualizuj plik konfiguracji puli Platformy Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-config-file-path 'path/configfile.txt'
Zaktualizuj dynamiczną konfigurację alokacji funkcji wykonawczej puli Spark.
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-dynamic-exec --min-executors 3 --max-executors 10
Parametry opcjonalne
Poniższe parametry są opcjonalne, ale w zależności od kontekstu co najmniej jeden może być wymagany do pomyślnego wykonania polecenia.
Czas opóźnienia, którego jednostka to minuta.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | AutoPause Arguments |
Flaga włączania automatycznego wstrzymywania.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | AutoPause Arguments |
| Dopuszczalne wartości: | false, true |
Flaga włączania automatycznego skalowania.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | AutoScale Arguments |
| Dopuszczalne wartości: | false, true |
Wskazuje, czy dynamiczna alokacja funkcji wykonawczej jest włączona, czy nie.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | DynamicExecutor Arguments |
| Dopuszczalne wartości: | false, true |
Flaga operacji wymuszania.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
| Dopuszczalne wartości: | false, true |
Co najmniej jeden identyfikator zasobu (rozdzielany spacjami). Powinien to być kompletny identyfikator zasobu, zawierający wszystkie informacje dotyczące argumentów „Identyfikator zasobu”. Należy podać argumenty --ids lub inne argumenty "Identyfikator zasobu".
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Plik wymagań biblioteki.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Environment Configuration Arguments |
Maksymalna liczba przyłożonej liczby funkcji wykonawczych.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | DynamicExecutor Arguments |
Maksymalna liczba węzłów.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | AutoScale Arguments |
Minimalna liczba alokowanych funkcji wykonawczych.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | DynamicExecutor Arguments |
Minimalna liczba węzłów.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | AutoScale Arguments |
Nazwa puli Spark.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Nie czekaj na zakończenie długotrwałej operacji.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Liczba węzłów.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Node Arguments |
Poziom mocy obliczeniowej, którą ma każdy węzeł w puli danych big data.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Node Arguments |
| Dopuszczalne wartości: | Large, Medium, None, Small, XLarge, XXLarge, XXXLarge |
Lista nazw pakietów obszarów roboczych.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Custom Libraries Arguments |
Akcja pakietu musi być określona podczas dodawania lub usuwania pakietu obszaru roboczego z puli platformy Apache Spark.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Custom Libraries Arguments |
| Dopuszczalne wartości: | Add, Remove |
Nazwa grupy zasobów. Grupę domyślną można skonfigurować przy użyciu az configure --defaults group=<name>.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Ścieżka bezwzględna pliku konfiguracji właściwości puli platformy Spark.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Environment Configuration Arguments |
Nazwa lub identyfikator subskrypcji. Subskrypcję domyślną można skonfigurować przy użyciu az account set -s NAME_OR_ID.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Tagi rozdzielone spacjami: klucz[=wartość] [key[=value] ...]. Użyj ciągu "", aby wyczyścić istniejące tagi.
Nazwa obszaru roboczego.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Parametry globalne
Zwiększ szczegółowość rejestrowania, aby wyświetlić wszystkie dzienniki debugowania.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Pokaż ten komunikat pomocy i zakończ pracę.
Pokaż tylko błędy, pomijając ostrzeżenia.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Format danych wyjściowych.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | json |
| Dopuszczalne wartości: | json, jsonc, none, table, tsv, yaml, yamlc |
Ciąg zapytania JMESPath. Zobacz http://jmespath.org/ , aby uzyskać więcej informacji i przykładów.
Zwiększ szczegółowość rejestrowania. Użyj --debuguj, aby uzyskać pełne dzienniki debugowania.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
az synapse spark pool wait
Umieść interfejs wiersza polecenia w stanie oczekiwania do momentu spełnienia warunku puli platformy Spark.
az synapse spark pool wait --big-data-pool-name
[--created]
[--custom]
[--deleted]
[--exists]
[--ids]
[--interval]
[--resource-group]
[--subscription]
[--timeout]
[--updated]
[--workspace-name]
Parametry wymagane
Nazwa puli danych big data.
Parametry opcjonalne
Poniższe parametry są opcjonalne, ale w zależności od kontekstu co najmniej jeden może być wymagany do pomyślnego wykonania polecenia.
Zaczekaj na utworzenie polecenia "provisioningState" o godzinie "Succeeded".
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Wait Condition Arguments |
| Domyślna wartość: | False |
Poczekaj, aż warunek spełnia niestandardowe zapytanie JMESPath. Np. provisioningState!='InProgress', instanceView.statuses[?code=='PowerState/running'].
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Wait Condition Arguments |
Poczekaj na usunięcie.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Wait Condition Arguments |
| Domyślna wartość: | False |
Zaczekaj, aż zasób istnieje.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Wait Condition Arguments |
| Domyślna wartość: | False |
Co najmniej jeden identyfikator zasobu (rozdzielany spacjami). Powinien to być kompletny identyfikator zasobu, zawierający wszystkie informacje dotyczące argumentów „Identyfikator zasobu”. Należy podać argumenty --ids lub inne argumenty "Identyfikator zasobu".
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Interwał sondowania w sekundach.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Wait Condition Arguments |
| Domyślna wartość: | 30 |
Nazwa grupy zasobów. Grupę domyślną można skonfigurować przy użyciu az configure --defaults group=<name>.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Nazwa lub identyfikator subskrypcji. Subskrypcję domyślną można skonfigurować przy użyciu az account set -s NAME_OR_ID.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Maksymalny czas oczekiwania w sekundach.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Wait Condition Arguments |
| Domyślna wartość: | 3600 |
Zaczekaj na zaktualizowanie stanu provisioningState o 'Powodzenie'.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Wait Condition Arguments |
| Domyślna wartość: | False |
Nazwa obszaru roboczego.
| Właściwość | Wartość |
|---|---|
| Grupa parametrów: | Resource Id Arguments |
Parametry globalne
Zwiększ szczegółowość rejestrowania, aby wyświetlić wszystkie dzienniki debugowania.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Pokaż ten komunikat pomocy i zakończ pracę.
Pokaż tylko błędy, pomijając ostrzeżenia.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |
Format danych wyjściowych.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | json |
| Dopuszczalne wartości: | json, jsonc, none, table, tsv, yaml, yamlc |
Ciąg zapytania JMESPath. Zobacz http://jmespath.org/ , aby uzyskać więcej informacji i przykładów.
Zwiększ szczegółowość rejestrowania. Użyj --debuguj, aby uzyskać pełne dzienniki debugowania.
| Właściwość | Wartość |
|---|---|
| Domyślna wartość: | False |