Freigeben über

Umgebungsdefinition

Dieser Artikel enthält eine Aufschlüsselung der Definitionsstruktur für Umgebungselemente.

Definitionsteile

Definitionsteilpfad type Erforderlich BESCHREIBUNG
Libraries/CustomLibraries/<libraryname>.jar CustomLibraries (JAR) FALSCH Eine benutzerdefinierte Jar-Bibliothek im Base64-codierten Format
Libraries/CustomLibraries/<libraryname>.py CustomLibraries (PY) FALSCH Eine benutzerdefinierte Python-Skriptdatei im Base64-codierten Format
Libraries/CustomLibraries/<libraryname>.whl CustomLibraries (WHL) FALSCH Eine benutzerdefinierte Raddatei im Base64-codierten Format
Libraries/CustomLibraries/<libraryname>.tar.gz CustomLibraries (TAR. GZ) FALSCH Eine benutzerdefinierte R-Archivdatei im Base64-codierten Format
Libraries/PublicLibraries/environment.yml ExternalLibraries (YAML) FALSCH Eine YAML-Umgebungsdatei mit externen Bibliotheken im Base64-codierten Format
Setting/Sparkcompute.yml SparkComputeSettings (YAML) FALSCH Spark compute settings YAML im Base64-codierten Format
.platform PlatformDetails (JSON) FALSCH Beschreibt die Metadaten des Elements.

Jeder Definitionsteil eines Umgebungselements wird wie folgt erstellt:

Beschreibung für Inhalte externer Spark-Bibliotheken

Beschreibt die Felder zum Erstellen der environment.yml.

Name Typ Erforderlich BESCHREIBUNG
abhängigkeiten Wörterbuch Wahr Eine Liste der Conda-Pakete, die in der Umgebung installiert werden. Das Format ist <package_name>==<version_number>.
pip Wörterbuch FALSCH Gibt zusätzliche Python-Pakete an, die mithilfe von Pip installiert werden sollen. Dies kann eine Liste von Zeichenfolgen sein, bei denen jede Zeichenfolge ein Pip-Paket ist, das im Format <package_name>==<version_number>installiert werden soll.

Beschreibung für Spark Settings Contents

Beschreibt die Felder, die zum Erstellen der SparkCompute.ymlverwendet werden.

Name Typ Erforderlich BESCHREIBUNG
enable_native_execution_engine Boolean Wahr Aktivieren Sie das systemeigene Ausführungsmodul. True – Aktiviert, False – Deaktiviert.
instance_pool_id Schnur Wahr Umgebungspool. Muss ein gültiger benutzerdefinierter Pool sein, der durch die Instanzpool-ID angegeben wird. Wenn kein Startpool (NULL) angegeben wird, wird ein Startpool erstellt.
driver_cores Ganze Zahl Wahr Spark-Treiberkerne. Die zulässigen Werte sind 4, 8, 16, 32 und 64.
driver_memory Schnur Wahr Spark-Treiberspeicher. Die zulässigen Werte sind 28g, 56g, 112g, 224g, 400g.
executor_cores Ganze Zahl Wahr Spark executor cores. Die zulässigen Werte sind 4, 8, 16, 32, 64.
executor_memory Schnur Wahr Spark executor memory. Die zulässigen Werte sind 28g, 56g, 112g, 224g, 400g.
dynamic_executor_allocation Objekt Wahr Dynamische Ausführungszuweisung. Siehe Beschreibung für dynamic_executor_allocation Inhalt.
spark_conf Wörterbuch FALSCH Spark-Konfigurationen.
runtime_version Schnur Wahr Die Laufzeitversion finden Sie die unterstützten Fabric-Laufzeiten.

Beschreibung für dynamic_executor_allocation Inhalte

Beschreibt die Felder, die zum Erstellen der dynamic_executor_allocationverwendet werden.

Name Typ Erforderlich BESCHREIBUNG
aktiviert Boolean Wahr Der Status der dynamischen Executorzuordnung. True – Aktiviert, False – Deaktiviert.
min_executors Ganze Zahl Wahr Die minimale Ausführungsnummer für die dynamische Zuordnung. Der Mindestwert ist 1. Der Maximalwert muss unter dem maxExecutorsliegen.
max_executors Ganze Zahl Wahr Die maximale Ausführungsnummer für die dynamische Zuordnung. Der Mindestwert ist 1. Der Maximalwert muss unter dem maxNodeCount Instanzpool liegen.

Plattformpart

Der Plattformteil ist eine Datei, die die Metadateninformationen der Umgebung enthält.

  • Element erstellen unter Berücksichtigung der Plattformdatei, sofern angegeben
  • Definition Element abrufen gibt immer die Plattformdatei zurück.
  • Element aktualisieren Definition akzeptiert die Plattformdatei, sofern angegeben, jedoch nur, wenn Sie einen neuen URL-Parameter updateMetadata=truefestlegen.

Beispiel für öffentliche Bibliotheken environment.yml von Base64 decodierten Inhalt

dependencies:
  - matplotlib==0.10.1
  - scipy==0.0.1
  - pip:
      - fuzzywuzzy==0.18.0
      - numpy==0.1.28

Beispiel für Spark-Einstellungen Sparkcompute.yml von Base64 decodierten Inhalt

enable_native_execution_engine: false
instance_pool_id: 655fc33c-2712-45a3-864a-b2a00429a8aa
driver_cores: 4
driver_memory: 28g
executor_cores: 4
executor_memory: 28g
dynamic_executor_allocation:
  enabled: true
  min_executors: 1
  max_executors: 2
spark_conf:
  spark.acls.enable: true
runtime_version: 1.3

Definitionsbeispiel

{
    "format": "null",
    "parts": [
        {
            "path": "Libraries/CustomLibraries/samplelibrary.jar",
            "payload": "eyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/samplepython.py",
            "payload": "FyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/samplewheel-0.18.0-py2.py3-none-any.whl",
            "payload": "LyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/sampleR.tar.gz",
            "payload": "ZyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/PublicLibraries/environment.yml",
            "payload": "IyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Setting/Sparkcompute.yml",
            "payload": "GyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": ".platform",
            "payload": "ZG90UGxhdGZvcm1CYXNlNjRTdHJpbmc",
            "payloadType": "InlineBase64"
        }
    ]
}
  • Last updated on