Partager via

Définition de l’environnement

Cet article fournit une répartition de la structure de définition pour les éléments d’environnement.

Parties de définition

Chemin d’accès du composant Définition type Obligatoire Description
Libraries/CustomLibraries/<libraryname>.jar CustomLibraries (JAR) faux Bibliothèque jar personnalisée au format codé En Base64
Libraries/CustomLibraries/<libraryname>.py CustomLibraries (PY) faux Fichier de script Python personnalisé au format codé En Base64
Libraries/CustomLibraries/<libraryname>.whl CustomLibraries (WHL) faux Fichier de roue personnalisée au format codé En Base64
Libraries/CustomLibraries/<libraryname>.tar.gz CustomLibraries (TAR. GZ) faux Un fichier d’archive R personnalisé au format codé En Base64
Libraries/PublicLibraries/environment.yml ExternalLibraries (YAML) faux Fichier YAML d’environnement avec des bibliothèques externes au format codé En Base64
Setting/Sparkcompute.yml SparkComputeSettings (YAML) faux Paramètres de calcul Spark YAML au format codé en Base64
.platform PlatformDetails (JSON) faux Décrit les métadonnées de l’élément

Chaque partie de définition d’un élément d’environnement est construite comme suit :

Description du contenu des bibliothèques externes Spark

Décrit les champs utilisés pour construire le environment.yml.

Nom Catégorie Obligatoire Description
Dépendances Dictionary vrai Liste des packages conda qui seront installés dans l’environnement. Le format est <package_name>==<version_number>.
pip Dictionary faux Spécifie des packages Python supplémentaires à installer à l’aide de pip. Il peut s’agir d’une liste de chaînes où chaque chaîne est un package pip à installer au format <package_name>==<version_number>.

Description du contenu des paramètres Spark

Décrit les champs utilisés pour construire le SparkCompute.yml.

Nom Catégorie Obligatoire Description
enable_native_execution_engine Booléen vrai Activez le moteur d’exécution natif. True - Activé, False - Désactivé.
instance_pool_id Chaîne vrai Pool d’environnement. Doit être un pool personnalisé valide spécifié par l’ID du pool d’instances. Quand aucun pool de démarrage n’est spécifié (null) est créé.
driver_cores Entier vrai Cœurs de pilote Spark. Les valeurs autorisées sont 4, 8, 16, 32 et 64.
driver_memory Chaîne vrai Mémoire du pilote Spark. Les valeurs autorisées sont 28g, 56g, 112g, 224g, 400g.
executor_cores Entier vrai Cœurs d’exécuteur Spark. Les valeurs autorisées sont 4, 8, 16, 32, 64.
executor_memory Chaîne vrai Mémoire de l’exécuteur Spark. Les valeurs autorisées sont 28g, 56g, 112g, 224g, 400g.
dynamic_executor_allocation Objet vrai Allocation d’exécuteur dynamique. Consultez Description du contenu dynamic_executor_allocation.
spark_conf Dictionary faux Configurations Spark.
runtime_version Chaîne vrai Version du runtime, recherchez les runtimes d’infrastructure pris en charge.

Description du contenu de dynamic_executor_allocation

Décrit les champs utilisés pour construire le dynamic_executor_allocation.

Nom Catégorie Obligatoire Description
Activé Booléen vrai État de l’allocation d’exécuteur dynamique. True - Activé, False - Désactivé.
min_executors Entier vrai Numéro d’exécuteur minimal pour l’allocation dynamique. La valeur minimale est 1. La valeur maximale doit être inférieure à la maxExecutors.
max_executors Entier vrai Nombre maximal d’exécuteurs pour l’allocation dynamique. La valeur minimale est 1. La valeur maximale doit être inférieure au pool d’instances maxNodeCount.

Composant plateforme

La partie plateforme est un fichier qui contient les informations de métadonnées de l’environnement.

  • Créer un d’élément avec la définition respecte le fichier de plateforme s’il est fourni
  • obtenir la définition d’élément retourne toujours le fichier de plateforme.
  • mettre à jour l’élément définition accepte le fichier de plateforme s’il est fourni, mais uniquement si vous définissez un nouveau paramètre d’URL updateMetadata=true.

Exemple de bibliothèques publiques Spark environment.yml contenu décodé à partir de Base64

dependencies:
  - matplotlib==0.10.1
  - scipy==0.0.1
  - pip:
      - fuzzywuzzy==0.18.0
      - numpy==0.1.28

Exemple de paramètres Spark Sparkcompute.yml contenu décodé à partir de Base64

enable_native_execution_engine: false
instance_pool_id: 655fc33c-2712-45a3-864a-b2a00429a8aa
driver_cores: 4
driver_memory: 28g
executor_cores: 4
executor_memory: 28g
dynamic_executor_allocation:
  enabled: true
  min_executors: 1
  max_executors: 2
spark_conf:
  spark.acls.enable: true
runtime_version: 1.3

Exemple de définition

{
    "format": "null",
    "parts": [
        {
            "path": "Libraries/CustomLibraries/samplelibrary.jar",
            "payload": "eyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/samplepython.py",
            "payload": "FyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/samplewheel-0.18.0-py2.py3-none-any.whl",
            "payload": "LyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/sampleR.tar.gz",
            "payload": "ZyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/PublicLibraries/environment.yml",
            "payload": "IyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Setting/Sparkcompute.yml",
            "payload": "GyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": ".platform",
            "payload": "ZG90UGxhdGZvcm1CYXNlNjRTdHJpbmc",
            "payloadType": "InlineBase64"
        }
    ]
}
  • Last updated on