HDFSOutputDatasetConfig Classe
Représente comment générer une sortie vers un chemin HDFS et être promue en tant que FileDataset.
Initialisez un HDFSOutputDatasetConfig.
Constructeur
HDFSOutputDatasetConfig(name=None, destination=None)Paramètres
| Nom | Description |
|---|---|
|
name
Obligatoire
|
Nom de la sortie spécifique à cette exécution. Cela est généralement utilisé à des fins de traçabilité. Si la valeur Est None, nous générerons automatiquement un nom. |
|
destination
Obligatoire
|
Destination de la sortie. S’il est défini sur None, il est généré dans le magasin de données workspaceblobstore, sous le chemin /dataset/{run-id}/{output-name}, où l’ID d’exécution est l’ID de l’exécution et le nom de sortie est le nom de sortie du paramètre de nom ci-dessus. La destination est un tuple où le premier élément est le magasin de données et le deuxième élément est le chemin d’accès dans le magasin de données. |
Remarques
Vous pouvez passer HDFSOutputDatasetConfig en tant qu’argument d’une exécution et il sera automatiquement traduit en chemin HDFS.
Méthodes
| as_input |
Spécifiez comment consommer la sortie en tant qu’entrée dans les étapes de pipeline suivantes. |
as_input
Spécifiez comment consommer la sortie en tant qu’entrée dans les étapes de pipeline suivantes.
as_input(name=None)Paramètres
| Nom | Description |
|---|---|
|
name
Obligatoire
|
Nom de l’entrée spécifique à l’exécution. |
Retours
| Type | Description |
|---|---|
|
Instance DatasetConsumptionConfig décrivant comment fournir les données d’entrée. |