HDFSOutputDatasetConfig Classe
Represente como gerar para um caminho HDFS e ser promovido como um FileDataset.
Inicialize um HDFSOutputDatasetConfig.
Construtor
HDFSOutputDatasetConfig(name=None, destination=None)Parâmetros
| Nome | Description |
|---|---|
|
name
Obrigatório
|
O nome da saída específica para essa execução. Isso geralmente é usado para fins de linhagem. Se definido como Nenhum, geraremos automaticamente um nome. |
|
destination
Obrigatório
|
O destino da saída. Se definido como Nenhum, ele será gerado para o armazenamento de dados workspaceblobstore, no caminho /dataset/{run-id}/{output-name}, onde run-id é a ID da execução e o nome da saída é o nome de saída do parâmetro de nome acima. O destino é uma tupla em que o primeiro item é o armazenamento de dados e o segundo item é o caminho dentro do armazenamento de dados. |
Comentários
Você pode passar o HDFSOutputDatasetConfig como um argumento de uma execução e ele será convertido automaticamente para o caminho HDFS.
Métodos
| as_input |
Especifique como consumir a saída como uma entrada nas etapas de pipeline subsequentes. |
as_input
Especifique como consumir a saída como uma entrada nas etapas de pipeline subsequentes.
as_input(name=None)Parâmetros
| Nome | Description |
|---|---|
|
name
Obrigatório
|
O nome da entrada específica para a execução. |
Retornos
| Tipo | Description |
|---|---|
|
Uma DatasetConsumptionConfig instância que descreve como fornecer os dados de entrada. |