ParallelRunConfig Classe

Définition d’environnement qui configure l’environnement Python. Il peut être configuré pour utiliser un environnement Python existant ou pour configurer un environnement temporaire pour l’expérience. La définition d’environnement est chargée de définir les dépendances d’application requises, telles que les packages conda ou pip.

Script utilisateur qui sera exécuté en parallèle sur plusieurs nœuds. Il s’agit d’un chemin d’accès de fichier local. Si source_directory elle est spécifiée, il s’agit entry_script d’un chemin relatif à l’intérieur du répertoire. Sinon, il peut s’agir de n’importe quel chemin accessible sur l’ordinateur. La entry_script doit contenir deux fonctions : init()cette fonction doit être utilisée pour toute préparation coûteuse ou courante pour les inférences suivantes, par exemple, désérialiser et charger le modèle dans un objet global. run(mini_batch): méthode à paralléliser. Chaque appel aura un mini-lot. 'mini_batch' : l’inférence par lot appelle la méthode d’exécution et passe une liste ou un DataFrame Pandas en tant qu’argument à la méthode. Chaque entrée dans min_batch sera un chemin de fichier si l’entrée est un FileDataset, un DataFrame Pandas si l’entrée est un TabularDataset. La méthode run() doit retourner un DataFrame Pandas ou un tableau. Pour append_row output_action, les éléments retournés sont ajoutés au fichier de sortie commun. Pour summary_only, le contenu des éléments est ignoré. Pour toutes les actions de sortie, chaque élément de sortie retourné indique une inférence réussie de l’élément d’entrée dans le mini-lot d’entrée. Chaque processus de travail parallèle appelle init une fois, puis effectue une boucle sur la fonction d’exécution jusqu’à ce que tous les mini-lots soient traités.

Nombre d’échecs d’enregistrement et TabularDataset d’échecs de fichiers pour ceux-ci FileDataset doivent être ignorés pendant le traitement. Si le nombre d’erreurs dépasse cette valeur, le travail est abandonné. Le seuil d’erreur concerne l’ensemble de l’entrée et non pour les mini-lots individuels envoyés à la méthode run(). La plage est [-1, int.max]. -1 indique ignorer toutes les défaillances pendant le traitement.

Comment la sortie doit être organisée. Les valeurs prises en charge actuelles sont « append_row » et « summary_only ».

1. 'append_row' : toutes les valeurs générées par les appels de méthode run() sont agrégées dans un fichier unique nommé parallel_run_step.txt créé à l’emplacement de sortie.
2. 'summary_only' : le script utilisateur est censé stocker la sortie elle-même. Une ligne de sortie est toujours attendue pour chaque élément d’entrée réussi traité. Le système utilise cette sortie uniquement pour le calcul du seuil d’erreur (en ignorant la valeur réelle de la ligne).

Cible de calcul à utiliser pour l’exécution de ParallelRunStep. Ce paramètre peut être spécifié en tant qu’objet cible de calcul ou le nom d’une cible de calcul dans l’espace de travail.

Nombre de nœuds dans la cible de calcul utilisée pour exécuter ParallelRunStep.

Nombre de processus de travail par nœud pour exécuter le script d’entrée en parallèle. Pour la machine GPU, la valeur par défaut est 1. Pour l’ordinateur processeur, la valeur par défaut est le nombre de cœurs. Un processus Worker appellera run() de manière répétée en transmettant le mini lot qu’il obtient. Le nombre total de processus Worker dans votre travail est process_count_per_node * node_count, qui détermine le nombre maximal de run() à exécuter en parallèle.

Pour l’entrée FileDataset, ce champ correspond au nombre de fichiers qu’un script utilisateur peut traiter dans un appel d’exécution(). Pour l’entrée TabularDataset, ce champ correspond à la taille approximative des données que le script utilisateur peut traiter dans un appel d’exécution(). Les exemples de valeurs sont 1024, 1024 Ko, 10 Mo et 1 Go. (facultatif, la valeur par défaut est 10 fichiers pour FileDataset et 1 Mo pour TabularDataset.)

Chemin d’accès au dossier qui contient les entry_script fichiers de prise en charge utilisés pour s’exécuter sur la cible de calcul.

Description permettant de donner au service batch utilisé à des fins d’affichage.

Chaîne du nom du niveau de journalisation, qui est définie dans « journalisation ». Les valeurs possibles sont « WARNING », « INFO » et « DEBUG ». (facultatif, la valeur par défaut est « INFO ».

Délai d’expiration en secondes pour chaque appel de la méthode run(). (facultatif, la valeur par défaut est 60.)

Nombre maximal de tentatives pour un mini-lot d’échecs ou de délai d’expiration. La plage est [1, int.max]. La valeur par défaut est 3. Un mini lot dont le nombre de file d’attente est supérieur à celui-ci ne sera pas traité à nouveau et sera supprimé directement.

Nom du fichier de sortie si la output_action valeur est « append_row ». (facultatif, la valeur par défaut est 'parallel_run_step.txt')

Nombre de mini-lots ayant échoué qui doivent être ignorés pendant le traitement. Si le nombre d’échecs dépasse cette valeur, le travail est abandonné. Ce seuil concerne l’ensemble de l’entrée plutôt que le mini-lot individuel envoyé à la méthode run(). La plage est [-1, int.max]. -1 indique ignorer toutes les défaillances pendant le traitement. Un mini lot peut échouer lors de la première fois qu’il est traité, puis réussir lors de la deuxième tentative. La vérification entre la première et la deuxième fois le comptera comme ayant échoué. La vérification après la deuxième fois ne la compte pas comme ayant échoué. L’argument –error_threshold, –allowed_failed_count et –allowed_failed_percent peuvent fonctionner ensemble. Si plusieurs éléments sont spécifiés, le travail est abandonné s’il dépasse l’un d’eux.

Pourcentage de mini-lots ayant échoué qui doivent être ignorés pendant le traitement. Si le pourcentage ayant échoué dépasse cette valeur, le travail est abandonné. Ce seuil concerne l’ensemble de l’entrée plutôt que le mini-lot individuel envoyé à la méthode run(). La plage est [0, 100]. 100 ou 100.0 indique ignorer toutes les défaillances pendant le traitement. La vérification commence après que tous les mini-lots ont été planifiés. L’argument –error_threshold, –allowed_failed_count et –allowed_failed_percent peuvent fonctionner ensemble. Si plusieurs éléments sont spécifiés, le travail est abandonné s’il dépasse l’un d’eux.

Clés utilisées pour partitionner le jeu de données en mini-lots. Si la valeur est spécifiée, les données avec la même clé sont partitionnées dans le même mini-lot. Si les partition_keys et les mini_batch_size sont spécifiés, l’erreur est générée. Il doit s’agir d’une liste d’éléments str chacun étant une clé utilisée pour partitionner le jeu de données d’entrée. Toutefois, si elles sont promues vers PipelineParameter, les valeurs par défaut doivent être la str de vidage json de la liste, car le type de liste n’est pas pris en charge dans PipelineParameter pour le moment. Les entrées doivent être partitionnés et les partition_keys doivent être un sous-ensemble des clés de chaque jeu de données d’entrée pour que cela fonctionne.

Dictionnaire de noms et de valeurs des variables d’environnement. Ces variables d’environnement sont définies sur le processus où le script utilisateur est en cours d’exécution.

Définition d’environnement qui configure l’environnement Python. Il peut être configuré pour utiliser un environnement Python existant ou pour configurer un environnement temporaire pour l’expérience. La définition d’environnement est chargée de définir les dépendances d’application requises, telles que les packages conda ou pip.

Script utilisateur qui sera exécuté en parallèle sur plusieurs nœuds. Il s’agit d’un chemin d’accès de fichier local. Si source_directory elle est spécifiée, il s’agit entry_script d’un chemin relatif à l’intérieur du répertoire. Sinon, il peut s’agir de n’importe quel chemin accessible sur l’ordinateur. La entry_script doit contenir deux fonctions : init()cette fonction doit être utilisée pour toute préparation coûteuse ou courante pour les inférences suivantes, par exemple, désérialiser et charger le modèle dans un objet global. run(mini_batch): méthode à paralléliser. Chaque appel aura un mini-lot. 'mini_batch' : l’inférence par lot appelle la méthode d’exécution et passe une liste ou un DataFrame Pandas en tant qu’argument à la méthode. Chaque entrée dans min_batch sera un chemin de fichier si l’entrée est un FileDataset, un DataFrame Pandas si l’entrée est un TabularDataset. La méthode run() doit retourner un DataFrame Pandas ou un tableau. Pour append_row output_action, les éléments retournés sont ajoutés au fichier de sortie commun. Pour summary_only, le contenu des éléments est ignoré. Pour toutes les actions de sortie, chaque élément de sortie retourné indique une inférence réussie de l’élément d’entrée dans le mini-lot d’entrée. Chaque processus de travail parallèle appelle init une fois, puis effectue une boucle sur la fonction d’exécution jusqu’à ce que tous les mini-lots soient traités.

Nombre d’échecs d’enregistrement et TabularDataset d’échecs de fichiers pour ceux-ci FileDataset doivent être ignorés pendant le traitement. Si le nombre d’erreurs dépasse cette valeur, le travail est abandonné. Le seuil d’erreur concerne l’ensemble de l’entrée et non pour les mini-lots individuels envoyés à la méthode run(). La plage est [-1, int.max]. -1 indique ignorer toutes les défaillances pendant le traitement.

Comment la sortie doit être organisée. Les valeurs prises en charge actuelles sont « append_row » et « summary_only ».

1. 'append_row' : toutes les valeurs générées par les appels de méthode run() sont agrégées dans un fichier unique nommé parallel_run_step.txt créé à l’emplacement de sortie.
2. 'summary_only' : le script utilisateur est censé stocker la sortie elle-même. Une ligne de sortie est toujours attendue pour chaque élément d’entrée réussi traité. Le système utilise cette sortie uniquement pour le calcul du seuil d’erreur (en ignorant la valeur réelle de la ligne).

Cible de calcul à utiliser pour l’exécution de ParallelRunStep. Ce paramètre peut être spécifié en tant qu’objet cible de calcul ou le nom d’une cible de calcul dans l’espace de travail.

Nombre de nœuds dans la cible de calcul utilisée pour exécuter ParallelRunStep.

Nombre de processus de travail par nœud pour exécuter le script d’entrée en parallèle. Pour un ordinateur GPU, la valeur par défaut est 1. Pour une machine processeur, la valeur par défaut est le nombre de cœurs. Un processus Worker appellera run() de manière répétée en transmettant le mini lot qu’il obtient. Le nombre total de processus Worker dans votre travail est process_count_per_node * node_count, qui détermine le nombre maximal de run() à exécuter en parallèle.

Pour l’entrée FileDataset, ce champ correspond au nombre de fichiers qu’un script utilisateur peut traiter dans un appel d’exécution(). Pour l’entrée TabularDataset, ce champ correspond à la taille approximative des données que le script utilisateur peut traiter dans un appel d’exécution(). Les exemples de valeurs sont 1024, 1024 Ko, 10 Mo et 1 Go. (facultatif, la valeur par défaut est 10 fichiers pour FileDataset et 1 Mo pour TabularDataset.)

Chemin d’accès au dossier qui contient les entry_script fichiers de prise en charge utilisés pour s’exécuter sur la cible de calcul.

Description permettant de donner au service batch utilisé à des fins d’affichage.

Chaîne du nom du niveau de journalisation, qui est définie dans « journalisation ». Les valeurs possibles sont « WARNING », « INFO » et « DEBUG ». (facultatif, la valeur par défaut est « INFO ».

Délai d’expiration en secondes pour chaque appel de la méthode run(). (facultatif, la valeur par défaut est 60.)

Nombre maximal de tentatives pour un mini-lot d’échecs ou de délai d’expiration. La plage est [1, int.max]. La valeur par défaut est 3. Un mini lot dont le nombre de file d’attente est supérieur à celui-ci ne sera pas traité à nouveau et sera supprimé directement.

Nom du fichier de sortie si la output_action valeur est « append_row ». (facultatif, la valeur par défaut est 'parallel_run_step.txt')

Nombre de mini-lots ayant échoué qui doivent être ignorés pendant le traitement. Si le nombre d’échecs dépasse cette valeur, le travail est abandonné. Ce seuil concerne l’ensemble de l’entrée plutôt que le mini-lot individuel envoyé à la méthode run(). La plage est [-1, int.max]. -1 indique ignorer toutes les défaillances pendant le traitement. Un mini lot peut échouer lors de la première fois qu’il est traité, puis réussir lors de la deuxième tentative. La vérification entre la première et la deuxième fois le comptera comme ayant échoué. La vérification après la deuxième fois ne la compte pas comme ayant échoué. L’argument –error_threshold, –allowed_failed_count et –allowed_failed_percent peuvent fonctionner ensemble. Si plusieurs éléments sont spécifiés, le travail est abandonné s’il dépasse l’un d’eux.

Pourcentage de mini-lots ayant échoué qui doivent être ignorés pendant le traitement. Si le pourcentage ayant échoué dépasse cette valeur, le travail est abandonné. Ce seuil concerne l’ensemble de l’entrée plutôt que le mini-lot individuel envoyé à la méthode run(). La plage est [0, 100]. 100 ou 100.0 indique ignorer toutes les défaillances pendant le traitement. La vérification commence après que tous les mini-lots ont été planifiés. L’argument –error_threshold, –allowed_failed_count et –allowed_failed_percent peuvent fonctionner ensemble. Si plusieurs éléments sont spécifiés, le travail est abandonné s’il dépasse l’un d’eux.

Clés utilisées pour partitionner le jeu de données en mini-lots. Si la valeur est spécifiée, les données avec la même clé sont partitionnées dans le même mini-lot. Si les partition_keys et les mini_batch_size sont spécifiés, l’erreur est générée. Il doit s’agir d’une liste d’éléments str chacun étant une clé utilisée pour partitionner le jeu de données d’entrée. Toutefois, si elles sont promues vers PipelineParameter, les valeurs par défaut doivent être la str de vidage json de la liste, car le type de liste n’est pas pris en charge dans PipelineParameter pour le moment. Les entrées doivent être partitionnés et les partition_keys doivent être un sous-ensemble des clés de chaque jeu de données d’entrée pour que cela fonctionne.

Dictionnaire de noms et de valeurs des variables d’environnement. Ces variables d’environnement sont définies sur le processus où le script utilisateur est en cours d’exécution.