Definicja środowiska

Ten artykuł zawiera podział struktury definicji elementów środowiska.

Części definicji

Ścieżka części definicji	typ	Wymagane	Opis
`Libraries/CustomLibraries/<libraryname>.jar`	CustomLibraries (JAR)	fałszywy	Niestandardowa biblioteka jar w formacie zakodowanym w formacie Base64
`Libraries/CustomLibraries/<libraryname>.py`	CustomLibraries (PY)	fałszywy	Niestandardowy plik skryptu języka Python w formacie zakodowanym w formacie Base64
`Libraries/CustomLibraries/<libraryname>.whl`	CustomLibraries (WHL)	fałszywy	Niestandardowy plik koła w formacie zakodowanym w formacie Base64
`Libraries/CustomLibraries/<libraryname>.tar.gz`	CustomLibraries (TAR. GZ)	fałszywy	Niestandardowy plik archiwum języka R w formacie zakodowanym w formacie Base64
`Libraries/PublicLibraries/environment.yml`	ExternalLibraries (YAML)	fałszywy	Plik YAML środowiska z bibliotekami zewnętrznymi w formacie zakodowanym w formacie Base64
`Setting/Sparkcompute.yml`	SparkComputeSettings (YAML)	fałszywy	Ustawienia obliczeń platformy Spark YAML w formacie zakodowanym w formacie base64
`.platform`	PlatformDetails (JSON)	fałszywy	Opisuje metadane elementu

Każda część definicji elementu środowiska jest konstruowana w następujący sposób:

ścieżka — nazwa pliku, na przykład Setting/Sparkcompute.yml.
typ ładunku — wbudowanybase64
Payload Zobacz: Przykład dekodowania zawartości ładunku zBase64.

Opis zawartości bibliotek zewnętrznych platformy Spark

Opisuje pola używane do konstruowania environment.yml.

Nazwa	Typ	Wymagane	Opis
Zależności	Słownik	prawda	Lista pakietów conda, które zostaną zainstalowane w środowisku. Format to jest `<package_name>==<version_number>`.
pip	Słownik	fałszywy	Określa dodatkowe pakiety języka Python do zainstalowania przy użyciu narzędzia. Może to być lista ciągów, w których każdy ciąg jest pakietem do zainstalowania w formacie `<package_name>==<version_number>`.

Opis zawartości ustawień platformy Spark

Opisuje pola używane do konstruowania SparkCompute.yml.

Nazwa	Typ	Wymagane	Opis
enable_native_execution_engine	Boolean	prawda	Włącz aparat wykonywania natywnego. True — włączone, Fałsz — wyłączone.
instance_pool_id	Sznurek	prawda	Pula środowisk. Musi być prawidłową pulą niestandardową określoną przez identyfikator puli wystąpień. Jeśli pula początkowa nie zostanie określona (null), zostanie utworzona pula początkowa.
driver_cores	Integer	prawda	Rdzenie sterowników platformy Spark. Dozwolone wartości to 4, 8, 16, 32 i 64.
driver_memory	Sznurek	prawda	Pamięć sterownika platformy Spark. Dozwolone wartości to 28g, 56g, 112g, 224g, 400g.
executor_cores	Integer	prawda	Rdzenie funkcji wykonawczej platformy Spark. Dozwolone wartości to 4, 8, 16, 32, 64.
executor_memory	Sznurek	prawda	Pamięć funkcji wykonawczej platformy Spark. Dozwolone wartości to 28g, 56g, 112g, 224g, 400g.
dynamic_executor_allocation	Przedmiot	prawda	Alokacja funkcji wykonawczej dynamicznej. Zobacz opis , aby uzyskać dynamic_executor_allocation zawartość.
spark_conf	Słownik	fałszywy	Konfiguracje platformy Spark.
runtime_version	Sznurek	prawda	Wersja środowiska uruchomieniowego — znajdź obsługiwane środowiska uruchomieniowe sieci szkieletowej .

Opis zawartości dynamic_executor_allocation

Opisuje pola używane do konstruowania dynamic_executor_allocation.

Nazwa	Typ	Wymagane	Opis
Włączone	Boolean	prawda	Stan alokacji funkcji wykonawczej dynamicznej. True — włączone, Fałsz — wyłączone.
min_executors	Integer	prawda	Minimalna liczba funkcji wykonawczej dla alokacji dynamicznej. Wartość minimalna to 1. Wartość maksymalna musi być niższa niż `maxExecutors`.
max_executors	Integer	prawda	Maksymalna liczba funkcji wykonawczej dla alokacji dynamicznej. Wartość minimalna to 1. Maksymalna wartość musi być niższa niż pula wystąpień `maxNodeCount`.

Część platformy

Część platformy to plik zawierający informacje o metadanych środowiska.

Utwórz element z definicją uwzględnia plik platformy, jeśli zostanie podany
pobierz element definicji zawsze zwraca plik platformy.
definicja aktualizacji elementu akceptuje plik platformy, jeśli został podany, ale tylko w przypadku ustawienia nowego parametru adresu URL updateMetadata=true.

Przykład bibliotek publicznych platformy Spark `environment.yml` zdekodowany z usługi Base64

dependencies:
  - matplotlib==0.10.1
  - scipy==0.0.1
  - pip:
      - fuzzywuzzy==0.18.0
      - numpy==0.1.28

Przykład ustawień platformy Spark `Sparkcompute.yml` zdekodowany z poziomu base64

enable_native_execution_engine: false
instance_pool_id: 655fc33c-2712-45a3-864a-b2a00429a8aa
driver_cores: 4
driver_memory: 28g
executor_cores: 4
executor_memory: 28g
dynamic_executor_allocation:
  enabled: true
  min_executors: 1
  max_executors: 2
spark_conf:
  spark.acls.enable: true
runtime_version: 1.3

Przykład definicji

{
    "format": "null",
    "parts": [
        {
            "path": "Libraries/CustomLibraries/samplelibrary.jar",
            "payload": "eyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/samplepython.py",
            "payload": "FyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/samplewheel-0.18.0-py2.py3-none-any.whl",
            "payload": "LyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/sampleR.tar.gz",
            "payload": "ZyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/PublicLibraries/environment.yml",
            "payload": "IyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Setting/Sparkcompute.yml",
            "payload": "GyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": ".platform",
            "payload": "ZG90UGxhdGZvcm1CYXNlNjRTdHJpbmc",
            "payloadType": "InlineBase64"
        }
    ]
}

Last updated on 2025-03-22

Udostępnij przez