Partilhar via

HDFSOutputDatasetConfig Classe

Represente como sair para um caminho HDFS e ser promovido como um FileDataset.

Inicialize um HDFSOutputDatasetConfig.

Construtor

HDFSOutputDatasetConfig(name=None, destination=None)

Parâmetros

Name Description
name
Necessário
str

O nome da saída específica para esta execução. Isto é geralmente usado para fins de linhagem. Se definido como Nenhum, geraremos automaticamente um nome.
destination
Necessário
tuple

O destino da saída. Se definido como Nenhum, ele será enviado para o armazenamento de dados workspaceblobstore, sob o caminho /dataset/{run-id}/{output-name}, onde run-id é o ID da Execução e o output-name é o nome da saída do parâmetro name acima. O destino é uma tupla onde o primeiro item é o armazenamento de dados e o segundo item é o caminho dentro do armazenamento de dados.

Observações

Você pode passar o HDFSOutputDatasetConfig como um argumento de uma execução e ele será convertido automaticamente para o caminho HDFS.

Métodos

as_input

Especifique como consumir a saída como uma entrada nas etapas subsequentes do pipeline.

as_input

Especifique como consumir a saída como uma entrada nas etapas subsequentes do pipeline.

as_input(name=None)

Parâmetros

Name Description
name
Necessário
str

O nome da entrada específica para a execução.

Devoluções

Tipo Description
DatasetConsumptionConfig

Uma DatasetConsumptionConfig instância que descreve como fornecer os dados de entrada.