OutputFileDatasetConfig Classe
Representar como copiar a saída de uma execução e ser promovido como um FileDataset.
O OutputFileDatasetConfig permite especificar como deseja que um caminho local específico no destino de computação seja carregado para o destino especificado. Se nenhum argumento for passado para o construtor, geraremos automaticamente um nome, um destino e um caminho local.
Um exemplo de não passar nenhum argumento:
workspace = Workspace.from_config()
experiment = Experiment(workspace, 'output_example')
output = OutputFileDatasetConfig()
script_run_config = ScriptRunConfig('.', 'train.py', arguments=[output])
run = experiment.submit(script_run_config)
print(run)
Um exemplo de criação de uma saída e, em seguida, promovendo a saída para um conjunto de dados tabular e registrá-la com o nome foo:
workspace = Workspace.from_config()
experiment = Experiment(workspace, 'output_example')
datastore = Datastore(workspace, 'example_adls_gen2_datastore')
# for more information on the parameters and methods, please look for the corresponding documentation.
output = OutputFileDatasetConfig().read_delimited_files().register_on_complete('foo')
script_run_config = ScriptRunConfig('.', 'train.py', arguments=[output])
run = experiment.submit(script_run_config)
print(run)
Inicialize um OutputFileDatasetConfig.
O OutputFileDatasetConfig permite especificar como deseja que um caminho local específico no destino de computação seja carregado para o destino especificado. Se nenhum argumento for passado para o construtor, geraremos automaticamente um nome, um destino e um caminho local.
Um exemplo de não passar nenhum argumento:
workspace = Workspace.from_config()
experiment = Experiment(workspace, 'output_example')
output = OutputFileDatasetConfig()
script_run_config = ScriptRunConfig('.', 'train.py', arguments=[output])
run = experiment.submit(script_run_config)
print(run)
Um exemplo de criação de uma saída e, em seguida, promovendo a saída para um conjunto de dados tabular e registrá-la com o nome foo:
workspace = Workspace.from_config()
experiment = Experiment(workspace, 'output_example')
datastore = Datastore(workspace, 'example_adls_gen2_datastore')
# for more information on the parameters and methods, please look for the corresponding documentation.
output = OutputFileDatasetConfig().read_delimited_files().register_on_complete('foo')
script_run_config = ScriptRunConfig('.', 'train.py', arguments=[output])
run = experiment.submit(script_run_config)
print(run)
Construtor
OutputFileDatasetConfig(name=None, destination=None, source=None, partition_format=None)Parâmetros
| Name | Description |
|---|---|
|
name
Necessário
|
O nome da saída específica para esta execução. Isto é geralmente usado para fins de linhagem. Se definido como Nenhum, geraremos automaticamente um nome. O nome também se tornará uma variável de ambiente que contém o caminho local de onde você pode gravar seus arquivos de saída e pastas para que serão carregados para o destino. |
|
destination
Necessário
|
O destino para o qual copiar a saída. Se definido como Nenhum, copiaremos a saída para o armazenamento de dados workspaceblobstore, sob o caminho /dataset/{run-id}/{output-name}, onde run-id é o ID da Execução e o nome da saída é o nome da saída do parâmetro name acima. O destino é uma tupla onde o primeiro item é o armazenamento de dados e o segundo item é o caminho dentro do armazenamento de dados para copiar os dados. O caminho dentro do armazenamento de dados pode ser um caminho de modelo. Um caminho de modelo é apenas um caminho regular, mas com espaços reservados dentro. Esses espaços reservados serão resolvidos no momento apropriado. A sintaxe para espaços reservados é {placeholder}, por exemplo, /path/with/{placeholder}. Atualmente, apenas dois espaços reservados são suportados, {run-id} e {output-name}. |
|
source
Necessário
|
O caminho dentro do destino de computação do qual copiar os dados. Se definido como Nenhum, definiremos isso como um diretório que criamos dentro do diretório temporário do sistema operacional do destino de computação. |
|
partition_format
Necessário
|
Especifique o formato de partição do caminho. O padrão é Nenhum. As informações de partição de cada caminho serão extraídas em colunas com base no formato especificado. A parte de formato '{column_name}' cria coluna de cadeia de caracteres e '{column_name:aaaa/MM/dd/HH/mm/ss}' cria coluna datetime, onde 'aaaa', 'MM', 'dd', 'HH', 'mm' e 'ss' são usados para extrair ano, mês, dia, hora, minuto e segundo para o tipo datetime. O formato deve começar a partir da posição da primeira chave de partição até o final do caminho do arquivo. Por exemplo, dado o caminho '.. /Accounts/2019/01/01/data.parquet' onde a partição é por nome e hora do departamento, partition_format='/{Department}/{PartitionDate:yyyy/MM/dd}/data.parquet' cria uma coluna string 'Department' com o valor 'Accounts' e uma coluna datetime 'PartitionDate' com o valor '2019-01-01'. |
|
name
Necessário
|
O nome da saída específica para esta execução. Isto é geralmente usado para fins de linhagem. Se definido como Nenhum, geraremos automaticamente um nome. O nome também se tornará uma variável de ambiente que contém o caminho local de onde você pode gravar seus arquivos de saída e pastas para que serão carregados para o destino. |
|
destination
Necessário
|
O destino para o qual copiar a saída. Se definido como Nenhum, copiaremos a saída para o armazenamento de dados workspaceblobstore, sob o caminho /dataset/{run-id}/{output-name}, onde run-id é o ID da Execução e o nome da saída é o nome da saída do parâmetro name acima. O destino é uma tupla onde o primeiro item é o armazenamento de dados e o segundo item é o caminho dentro do armazenamento de dados para copiar os dados. O caminho dentro do armazenamento de dados pode ser um caminho de modelo. Um caminho de modelo é apenas um caminho regular, mas com espaços reservados dentro. Esses espaços reservados serão resolvidos no momento apropriado. A sintaxe para espaços reservados é {placeholder}, por exemplo, /path/with/{placeholder}. Atualmente, apenas dois espaços reservados são suportados, {run-id} e {output-name}. |
|
source
Necessário
|
O caminho dentro do destino de computação do qual copiar os dados. Se definido como Nenhum, definiremos isso como um diretório que criamos dentro do diretório temporário do sistema operacional do destino de computação. |
|
partition_format
Necessário
|
Especifique o formato de partição do caminho. O padrão é Nenhum. As informações de partição de cada caminho serão extraídas em colunas com base no formato especificado. A parte de formato '{column_name}' cria coluna de cadeia de caracteres e '{column_name:aaaa/MM/dd/HH/mm/ss}' cria coluna datetime, onde 'aaaa', 'MM', 'dd', 'HH', 'mm' e 'ss' são usados para extrair ano, mês, dia, hora, minuto e segundo para o tipo datetime. O formato deve começar a partir da posição da primeira chave de partição até o final do caminho do arquivo. Por exemplo, dado o caminho '.. /Accounts/2019/01/01/data.parquet' onde a partição é por nome e hora do departamento, partition_format='/{Department}/{PartitionDate:yyyy/MM/dd}/data.parquet' cria uma coluna string 'Department' com o valor 'Accounts' e uma coluna datetime 'PartitionDate' com o valor '2019-01-01'. |
Observações
Você pode passar o OutputFileDatasetConfig como um argumento para sua execução, e ele será automaticamente traduzido para o caminho local na computação. O argumento source será usado se for especificado, caso contrário, geraremos automaticamente um diretório na pasta temp do sistema operacional. Os arquivos e pastas dentro do diretório de origem serão copiados para o destino com base na configuração de saída.
Por padrão, o modo pelo qual a saída será copiada para o armazenamento de destino será definido para montagem. Para obter mais informações sobre o modo de montagem, consulte a documentação para as_mount.
Métodos
| as_input |
Especifique como consumir a saída como uma entrada nas etapas subsequentes do pipeline. |
| as_mount |
Defina o modo de saída para montar. Para o modo de montagem, o diretório de saída será um diretório montado em FUSE. Os arquivos gravados no diretório montado serão carregados quando o arquivo for fechado. |
| as_upload |
Defina o modo da saída para carregar. Para o modo de upload, os arquivos gravados no diretório de saída serão carregados no final do trabalho. Se o trabalho falhar ou for cancelado, o diretório de saída não será carregado. |
as_input
Especifique como consumir a saída como uma entrada nas etapas subsequentes do pipeline.
as_input(name=None)Parâmetros
| Name | Description |
|---|---|
|
name
Necessário
|
O nome da entrada específica para a execução. |
Devoluções
| Tipo | Description |
|---|---|
|
Uma DatasetConsumptionConfig instância que descreve como fornecer os dados de entrada. |
as_mount
Defina o modo de saída para montar.
Para o modo de montagem, o diretório de saída será um diretório montado em FUSE. Os arquivos gravados no diretório montado serão carregados quando o arquivo for fechado.
as_mount(disable_metadata_cache=False)Parâmetros
| Name | Description |
|---|---|
|
disable_metadata_cache
Necessário
|
Se os metadados devem ser armazenados em cache no nó local, se desativado, um nó não poderá ver os arquivos gerados de outros nós durante a execução do trabalho. |
Devoluções
| Tipo | Description |
|---|---|
|
Uma OutputFileDatasetConfig instância com o modo definido para montagem. |
as_upload
Defina o modo da saída para carregar.
Para o modo de upload, os arquivos gravados no diretório de saída serão carregados no final do trabalho. Se o trabalho falhar ou for cancelado, o diretório de saída não será carregado.
as_upload(overwrite=False, source_globs=None)Parâmetros
| Name | Description |
|---|---|
|
overwrite
Necessário
|
Se os arquivos que já existem no destino devem ser substituídos. |
|
source_globs
Necessário
|
Padrões de Glob usados para filtrar arquivos que serão carregados. |
Devoluções
| Tipo | Description |
|---|---|
|
Uma OutputFileDatasetConfig instância com o modo definido para upload. |