Freigeben über

HDFSOutputDatasetConfig Klasse

Stellt dar, wie sie in einen HDFS-Pfad ausgegeben und als FileDataset höhergestuft werden.

Initialisieren Sie eine HDFSOutputDatasetConfig.

Konstruktor

HDFSOutputDatasetConfig(name=None, destination=None)

Parameter

Name Beschreibung
name
Erforderlich
str

Der Name der Ausgabe, die für diese Ausführung spezifisch ist. Dies wird in der Regel für Linienzwecke verwendet. Wenn "Keine" festgelegt ist, wird automatisch ein Name generiert.
destination
Erforderlich
tuple

Das Ziel der Ausgabe. Wenn dieser Wert auf "None" festgelegt ist, wird er in den Arbeitsbereichblobstore-Datenspeicher ausgegeben, unter dem Pfad "/dataset/{run-id}/{output-name}", wobei "run-id " die ID "Run" ist und der Ausgabename der Ausgabename des obigen Namensparameters ist. Das Ziel ist ein Tupel, bei dem das erste Element der Datenspeicher ist und das zweite Element der Pfad innerhalb des Datenspeichers ist.

Hinweise

Sie können die HDFSOutputDatasetConfig als Argument einer Ausführung übergeben und automatisch in den HDFS-Pfad übersetzt.

Methoden

as_input

Geben Sie an, wie die Ausgabe in nachfolgenden Pipelineschritten als Eingabe verwendet werden soll.

as_input

Geben Sie an, wie die Ausgabe in nachfolgenden Pipelineschritten als Eingabe verwendet werden soll.

as_input(name=None)

Parameter

Name Beschreibung
name
Erforderlich
str

Der Name der Eingabe, die für die Ausführung spezifisch ist.

Gibt zurück

Typ Beschreibung
DatasetConsumptionConfig

Eine DatasetConsumptionConfig Instanz, die beschreibt, wie die Eingabedaten geliefert werden.