FileDataset Classe

Crie um DatacacheConsumptionConfig mapeado para um datacache_store e um conjunto de dados.

as_cache(datacache_store)

Parâmetros

Devoluções

Crie um DatasetConsumptionConfig com o modo definido para download.

Na execução enviada, os arquivos no conjunto de dados serão baixados para o caminho local no destino de computação. O local de download pode ser recuperado dos valores de argumento e do campo input_datasets do contexto de execução. Vamos gerar automaticamente um nome de entrada. Se você quiser especificar um nome de entrada personalizado, chame o método as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_download()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The download location can be retrieved from argument values
   import sys
   download_location = sys.argv[1]

   # The download location can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   download_location = Run.get_context().input_datasets['input_1']

as_download(path_on_compute=None)

Parâmetros

Observações

Quando o conjunto de dados é criado a partir do caminho de um único arquivo, o local de download será o caminho do único arquivo baixado. Caso contrário, o local de download será o caminho da pasta anexa para todos os arquivos baixados.

Se path_on_compute começa com um /, então ele será tratado como um caminho absoluto. Se não começar com um /, será tratado como um caminho relativo ao diretório de trabalho. Se você especificou um caminho absoluto, certifique-se de que o trabalho tenha permissão para gravar nesse diretório.

Defina o modo como hdfs.

Na execução da sinapse enviada, os arquivos nos conjuntos de dados serão convertidos em caminho local no destino de computação. O caminho hdfs pode ser recuperado a partir de valores de argumento e as variáveis de ambiente os.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_hdfs()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The hdfs path can be retrieved from argument values
   import sys
   hdfs_path = sys.argv[1]

   # The hdfs path can also be retrieved from input_datasets of the run context.
   import os
   hdfs_path = os.environ['input_<hash>']

as_hdfs()

Observações

Quando o conjunto de dados é criado a partir do caminho de um único arquivo, o caminho hdfs será o caminho do arquivo único. Caso contrário, o caminho hdfs será o caminho da pasta anexa para todos os arquivos montados.

Crie um DatasetConsumptionConfig com o modo definido para montagem.

Na execução enviada, os arquivos nos conjuntos de dados serão montados no caminho local no destino de computação. O ponto de montagem pode ser recuperado a partir de valores de argumento e do campo input_datasets do contexto de execução. Vamos gerar automaticamente um nome de entrada. Se você quiser especificar um nome de entrada personalizado, chame o método as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_mount()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The mount point can be retrieved from argument values
   import sys
   mount_point = sys.argv[1]

   # The mount point can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   mount_point = Run.get_context().input_datasets['input_1']

as_mount(path_on_compute=None)

Parâmetros

Observações

Quando o conjunto de dados é criado a partir do caminho de um único arquivo, o ponto de montagem será o caminho do único arquivo montado. Caso contrário, o ponto de montagem será o caminho da pasta anexa para todos os arquivos montados.

Se path_on_compute começa com um /, então ele será tratado como um caminho absoluto. Se não começar com um /, será tratado como um caminho relativo ao diretório de trabalho. Se você especificou um caminho absoluto, certifique-se de que o trabalho tenha permissão para gravar nesse diretório.

Baixe fluxos de arquivos definidos pelo conjunto de dados como arquivos locais.

download(target_path=None, overwrite=False, ignore_not_found=False)

Parâmetros

Devoluções

Observações

Se target_path começa com um /, então ele será tratado como um caminho absoluto. Se não começar com um /, será tratado como um caminho relativo ao diretório de trabalho atual.

Obtenha a expressão de metadados de arquivo especificando o nome da coluna de metadados.

As colunas de metadados de arquivo suportadas são Size, LastModifiedTime, CreationTime, Extension e CanSeek

file_metadata(col)

Parâmetros

Devoluções

Filtre os dados, deixando apenas os registros que correspondem à expressão especificada.

filter(expression)

Parâmetros

Devoluções

Observações

As expressões são iniciadas indexando o Dataset com o nome de uma coluna. Eles suportam uma variedade de funções e operadores e podem ser combinados usando operadores lógicos. A expressão resultante será avaliada preguiçosamente para cada registro quando ocorrer uma extração de dados e não onde ela for definida.

   (dataset.file_metadata('Size') > 10000) & (dataset.file_metadata('CanSeek') == True)
   dataset.file_metadata('Extension').starts_with('j')

Hidrate o conjunto de dados nas réplicas solicitadas especificadas no datacache_store.

hydrate(datacache_store, replica_count=None)

Parâmetros

Devoluções

Crie um gerenciador de contexto para montar fluxos de arquivos definidos pelo conjunto de dados como arquivos locais.

mount(mount_point=None, **kwargs)

Parâmetros

Devoluções

Observações

Será apresentado um gestor de contexto para gerir o ciclo de vida da montagem. Para montar, você precisará entrar no gerenciador de contexto e, para desmontar, sair do gerenciador de contexto.

A montagem só é suportada em sistemas operativos semelhantes a Unix ou Unix com o libfuse de pacote nativo instalado. Se você estiver executando dentro de um contêiner do docker, o contêiner do docker deverá ser iniciado com o sinalizador –privileged ou iniciado com –cap-add SYS_ADMIN –device /dev/fuse.

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))

   with dataset.mount() as mount_context:
       # list top level mounted files and folders in the dataset
       os.listdir(mount_context.mount_point)

   # You can also use the start and stop methods
   mount_context = dataset.mount()
   mount_context.start()  # this will mount the file streams
   mount_context.stop()  # this will unmount the file streams

Se target_path começa com um /, então ele será tratado como um caminho absoluto. Se não começar com um /, será tratado como um caminho relativo ao diretório de trabalho atual.

Divida os fluxos de arquivos no conjunto de dados em duas partes aleatoriamente e aproximadamente pela porcentagem especificada.

O primeiro conjunto de dados retornado contém aproximadamente percentage o número total de referências de arquivo e o segundo conjunto de dados contém as referências de arquivo restantes.

random_split(percentage, seed=None)

Parâmetros

Devoluções

Ignore fluxos de arquivos da parte superior do conjunto de dados pela contagem especificada.

skip(count)

Parâmetros

Devoluções

Pegue uma amostra de fluxos de arquivos da parte superior do conjunto de dados pela contagem especificada.

take(count)

Parâmetros

Devoluções

Pegue uma amostra aleatória de fluxos de arquivos no conjunto de dados aproximadamente pela probabilidade especificada.

take_sample(probability, seed=None)

Parâmetros

Devoluções

Obtenha uma lista de caminhos de arquivo para cada fluxo de arquivo definido pelo conjunto de dados.

to_path()

Devoluções

Observações

Os caminhos de arquivo são caminhos relativos para arquivos locais quando os fluxos de arquivos são baixados ou montados.

Um prefixo comum será removido dos caminhos de arquivo com base em como a fonte de dados foi especificada para criar o conjunto de dados. Por exemplo:

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))
   print(dataset.to_path())

   # ['year-2018/1.jpg'
   #  'year-2018/2.jpg'
   #  'year-2019/1.jpg']

   dataset = Dataset.File.from_files('https://dprepdata.blob.core.windows.net/demo/green-small/*.csv')

   print(dataset.to_path())
   # ['/green_tripdata_2013-08.csv']