MpiStep Klasse
Erstellt einen Azure ML-Pipelineschritt zum Ausführen eines MPI-Auftrags.
Ein Beispiel für die Verwendung von MpiStep finden Sie im Notizbuch https://aka.ms/pl-style-trans.
Erstellen Sie einen Azure ML-Pipelineschritt, um einen MPI-Auftrag auszuführen.
VERALTET. Verwenden Sie stattdessen die CommandStep Ein Beispiel finden Sie unter How to run distributed training in pipelines with CommandStep.
Konstruktor
MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)Parameter
| Name | Beschreibung |
|---|---|
|
name
|
[Erforderlich] Der Name des Moduls. Standardwert: None
|
|
source_directory
|
[Erforderlich] Ein Ordner mit Python-Skript, Conda env und anderen Ressourcen, die im Schritt verwendet werden. Standardwert: None
|
|
script_name
|
[Erforderlich] Der Name eines Python-Skripts relativ zu Standardwert: None
|
|
arguments
|
[Erforderlich] Eine Liste der Befehlszeilenargumente. Standardwert: None
|
|
compute_target
|
[Erforderlich] Ein zu verwendenes Computeziel. Standardwert: None
|
|
node_count
|
[Erforderlich] Die Anzahl der Knoten im Computeziel, das für die Schulung verwendet wird. Wenn größer als 1, wird ein verteilter Mpi-Auftrag ausgeführt. Nur das AmlCompute-Computeziel wird für verteilte Aufträge unterstützt. PipelineParameter-Werte werden unterstützt. Standardwert: None
|
|
process_count_per_node
|
[Erforderlich] Die Anzahl der Prozesse pro Knoten. Wenn größer als 1, wird ein verteilter Mpi-Auftrag ausgeführt. Nur das AmlCompute-Computeziel wird für verteilte Aufträge unterstützt. PipelineParameter-Werte werden unterstützt. Standardwert: None
|
|
inputs
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Eine Liste der Eingabeportbindungen. Standardwert: None
|
|
outputs
|
Eine Liste der Ausgabeportbindungen. Standardwert: None
|
|
params
Erforderlich
|
Ein Wörterbuch mit Namen-Wert-Paaren, die als Umgebungsvariablen mit "AML_PARAMETER_" registriert sind. |
|
allow_reuse
|
Gibt an, ob der Schritt vorherige Ergebnisse wiederverwenden soll, wenn er mit denselben Einstellungen erneut ausgeführt wird. Die Wiederverwendung ist standardmäßig aktiviert. Wenn der Schrittinhalt (Skripts/Abhängigkeiten) sowie Eingaben und Parameter unverändert bleiben, wird die Ausgabe aus der vorherigen Ausführung dieses Schritts wiederverwendet. Beim Erneuten Verwenden des Schritts werden die Ergebnisse aus der vorherigen Ausführung sofort allen nachfolgenden Schritten zur Verfügung gestellt, anstatt den Auftrag zur Berechnung zu übermitteln. Wenn Sie Azure Machine Learning-Datasets als Eingaben verwenden, wird die Wiederverwendung bestimmt, ob sich die Definition des Datasets geändert hat, nicht durch die Änderung der zugrunde liegenden Daten. Standardwert: True
|
|
version
|
Ein optionales Versionstag, um eine Änderung der Funktionalität für das Modul zu kennzeichnen. Standardwert: None
|
|
hash_paths
|
VERALTET: Nicht mehr erforderlich. Eine Liste der Pfade zum Hashen bei der Überprüfung auf Änderungen an den Schrittinhalten. Wenn keine Änderungen erkannt wurden, verwendet die Pipeline den Schrittinhalt aus einer vorherigen Ausführung wieder. Standardmäßig wird der Inhalt mit Hash versehen, mit Ausnahme von Standardwert: None
|
|
use_gpu
Erforderlich
|
Gibt an, ob die Umgebung, in der das Experiment ausgeführt werden soll, GPUs unterstützen soll.
Bei "True" wird ein GPU-basiertes Docker-Standardimage in der Umgebung verwendet. Wenn False, wird ein CPU-basiertes Image verwendet. Standardmäßige Docker-Images (CPU oder GPU) werden nur verwendet, wenn der |
|
use_docker
Erforderlich
|
Gibt an, ob die Umgebung zum Ausführen des Experiments Docker-basiert sein soll. |
|
custom_docker_image
Erforderlich
|
Der Name des Docker-Images, aus dem das für Schulungen zu verwendende Image erstellt wird. Wenn nicht festgelegt, wird ein CPU-basiertes Standardimage als Basisimage verwendet. |
|
image_registry_details
Erforderlich
|
Die Details der Docker-Imageregistrierung. |
|
user_managed
Erforderlich
|
Gibt an, ob Azure ML eine vorhandene Python-Umgebung wiederverwendet; False bedeutet, dass Azure ML eine Python-Umgebung basierend auf der Conda-Abhängigkeitsspezifikation erstellt. |
|
conda_packages
Erforderlich
|
Eine Liste der Zeichenfolgen, die Conda-Pakete darstellen, die der Python-Umgebung hinzugefügt werden sollen. |
|
pip_packages
Erforderlich
|
Eine Liste der Zeichenfolgen, die Pip-Pakete darstellen, die der Python-Umgebung hinzugefügt werden sollen. |
|
pip_requirements_file_path
Erforderlich
|
Der relative Pfad zur Pip-Anforderungstextdatei.
Dieser Parameter kann in Kombination mit dem |
|
environment_definition
Erforderlich
|
The EnvironmentDefinition for the experiment. Es enthält PythonSection- und DockerSection- und Umgebungsvariablen. Jede Umgebungsoption, die nicht direkt über andere Parameter für die MpiStep-Konstruktion verfügbar gemacht wird, kann mit environment_definition Parameter festgelegt werden. Wenn dieser Parameter angegeben wird, hat er Vorrang vor anderen umgebungsbezogenen Parametern wie use_gpu, custom_docker_image, conda_packages oder pip_packages und Fehler werden für diese ungültigen Kombinationen gemeldet. |
|
name
Erforderlich
|
[Erforderlich] Der Name des Moduls. |
|
source_directory
Erforderlich
|
[Erforderlich] Ein Ordner mit Python-Skript, Conda env und anderen Ressourcen, die im Schritt verwendet werden. |
|
script_name
Erforderlich
|
[Erforderlich] Der Name eines Python-Skripts relativ zu |
|
arguments
Erforderlich
|
[Erforderlich] Eine Liste der Befehlszeilenargumente. |
|
compute_target
Erforderlich
|
<xref:azureml.core.compute.AmlComputeCompute>, str
[Erforderlich] Ein zu verwendenes Computeziel. |
|
node_count
Erforderlich
|
[Erforderlich] Anzahl der Knoten im Computeziel, das für die Schulung verwendet wird. Wenn größer als 1, wird der verteilte Mpi-Auftrag ausgeführt. Nur das AmlCompute-Computeziel wird für verteilte Aufträge unterstützt. PipelineParameter-Werte werden unterstützt. |
|
process_count_per_node
Erforderlich
|
[Erforderlich] Anzahl der Prozesse pro Knoten. Wenn größer als 1, wird der verteilte Mpi-Auftrag ausgeführt. Nur das AmlCompute-Computeziel wird für verteilte Aufträge unterstützt. PipelineParameter-Werte werden unterstützt. |
|
inputs
Erforderlich
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Eine Liste der Eingabeportbindungen. |
|
outputs
Erforderlich
|
Eine Liste der Ausgabeportbindungen. |
|
params
Erforderlich
|
Ein Wörterbuch mit Namen-Wert-Paaren, die als Umgebungsvariablen mit ">>AML_PARAMETER_<<" registriert sind. |
|
allow_reuse
Erforderlich
|
Gibt an, ob der Schritt vorherige Ergebnisse wiederverwenden soll, wenn die erneute Ausführung mit denselben Parametern unverändert bleibt, die Ausgabe aus der vorherigen Ausführung dieses Schritts wird wiederverwendet. Beim Erneuten Verwenden des Schritts werden die Ergebnisse aus der vorherigen Ausführung sofort allen nachfolgenden Schritten zur Verfügung gestellt, anstatt den Auftrag zur Berechnung zu übermitteln. Wenn Sie Azure Machine Learning-Datasets als Eingaben verwenden, wird die Wiederverwendung bestimmt, ob sich die Definition des Datasets geändert hat, nicht durch die Änderung der zugrunde liegenden Daten. |
|
version
Erforderlich
|
Optionales Versionstag zum Kennzeichnen einer Änderung der Funktionalität für das Modul |
|
hash_paths
Erforderlich
|
VERALTET: Nicht mehr erforderlich. Eine Liste der Pfade zum Hashen bei der Überprüfung auf Änderungen an den Schrittinhalten. Wenn keine Änderungen erkannt wurden, verwendet die Pipeline den Schrittinhalt aus einer vorherigen Ausführung wieder. Standardmäßig wird der Inhalt mit Hash versehen, mit Ausnahme von |
|
use_gpu
Erforderlich
|
Gibt an, ob die Umgebung, in der das Experiment ausgeführt werden soll, GPUs unterstützen soll.
Bei "True" wird ein GPU-basiertes Docker-Standardimage in der Umgebung verwendet. Wenn False, wird ein CPU-basiertes Image verwendet. Standardmäßige Docker-Images (CPU oder GPU) werden nur verwendet, wenn der |
|
use_docker
Erforderlich
|
Gibt an, ob die Umgebung zum Ausführen des Experiments Docker-basiert sein soll. custom_docker_image (str): Der Name des Docker-Images, aus dem das für den Mpi-Auftrag zu verwendende Image erstellt wird. Wenn nicht festgelegt, wird ein CPU-standardbasiertes Image als Basisimage verwendet. |
|
custom_docker_image
Erforderlich
|
Der Name des Docker-Images, aus dem das für Schulungen zu verwendende Image erstellt wird. Wenn nicht festgelegt, wird ein CPU-basiertes Standardimage als Basisimage verwendet. |
|
image_registry_details
Erforderlich
|
Die Details der Docker-Imageregistrierung. |
|
user_managed
Erforderlich
|
Gibt an, ob Azure ML eine vorhandene Python-Umgebung wiederverwendet; False bedeutet, dass Azure ML eine Python-Umgebung basierend auf der Conda-Abhängigkeitsspezifikation erstellt. |
|
conda_packages
Erforderlich
|
Eine Liste der Zeichenfolgen, die Conda-Pakete darstellen, die der Python-Umgebung hinzugefügt werden sollen. |
|
pip_packages
Erforderlich
|
Eine Liste der Zeichenfolgen, die Pip-Pakete darstellen, die der Python-Umgebung hinzugefügt werden sollen. |
|
pip_requirements_file_path
Erforderlich
|
Der relative Pfad zur Pip-Anforderungstextdatei.
Dieser Parameter kann in Kombination mit dem |
|
environment_definition
Erforderlich
|
The EnvironmentDefinition for the experiment. Es enthält PythonSection- und DockerSection- und Umgebungsvariablen. Jede Umgebungsoption, die nicht direkt über andere Parameter für die MpiStep-Konstruktion verfügbar gemacht wird, kann mit environment_definition Parameter festgelegt werden. Wenn dieser Parameter angegeben wird, hat er Vorrang vor anderen umgebungsbezogenen Parametern wie use_gpu, custom_docker_image, conda_packages oder pip_packages und Fehler werden für diese ungültigen Kombinationen gemeldet. |