FileDataset Classe

Crie um DatacacheConsumptionConfig mapeado para um datacache_store e um conjunto de dados.

as_cache(datacache_store)

Parâmetros

Retornos

Crie um DatasetConsumptionConfig com o modo definido para download.

Na execução enviada, os arquivos no conjunto de dados serão baixados para o caminho local no destino de computação. O local de download pode ser recuperado dos valores de argumento e do campo input_datasets do contexto de execução. Geraremos automaticamente um nome de entrada. Se você quiser especificar um nome de entrada personalizado, chame o método as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_download()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The download location can be retrieved from argument values
   import sys
   download_location = sys.argv[1]

   # The download location can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   download_location = Run.get_context().input_datasets['input_1']

as_download(path_on_compute=None)

Parâmetros

Comentários

Quando o conjunto de dados for criado a partir do caminho de um único arquivo, o local de download será o caminho do único arquivo baixado. Caso contrário, o local de download será o caminho da pasta delimitada para todos os arquivos baixados.

Se path_on_compute começar com um /, ele será tratado como um caminho absoluto. Se ele não começar com um /, ele será tratado como um caminho relativo em relação ao diretório de trabalho. Se você especificou um caminho absoluto, verifique se o trabalho tem permissão para gravar nesse diretório.

Defina o modo como hdfs.

Na execução do synapse enviada, os arquivos nos conjuntos de dados serão convertidos em caminho local no destino de computação. O caminho hdfs pode ser recuperado dos valores de argumento e das variáveis de ambiente do sistema operacional.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_hdfs()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The hdfs path can be retrieved from argument values
   import sys
   hdfs_path = sys.argv[1]

   # The hdfs path can also be retrieved from input_datasets of the run context.
   import os
   hdfs_path = os.environ['input_<hash>']

as_hdfs()

Comentários

Quando o conjunto de dados é criado a partir do caminho de um único arquivo, o caminho hdfs será o caminho do único arquivo. Caso contrário, o caminho hdfs será o caminho da pasta delimitada para todos os arquivos montados.

Crie um DatasetConsumptionConfig com o modo definido para montar.

Na execução enviada, os arquivos nos conjuntos de dados serão montados no caminho local no destino de computação. O ponto de montagem pode ser recuperado dos valores de argumento e do campo input_datasets do contexto de execução. Geraremos automaticamente um nome de entrada. Se você quiser especificar um nome de entrada personalizado, chame o método as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_mount()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The mount point can be retrieved from argument values
   import sys
   mount_point = sys.argv[1]

   # The mount point can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   mount_point = Run.get_context().input_datasets['input_1']

as_mount(path_on_compute=None)

Parâmetros

Comentários

Quando o conjunto de dados é criado a partir do caminho de um único arquivo, o ponto de montagem será o caminho do único arquivo montado. Caso contrário, o ponto de montagem será o caminho da pasta delimitada para todos os arquivos montados.

Se path_on_compute começar com um /, ele será tratado como um caminho absoluto. Se ele não começar com um /, ele será tratado como um caminho relativo em relação ao diretório de trabalho. Se você especificou um caminho absoluto, verifique se o trabalho tem permissão para gravar nesse diretório.

Baixe fluxos de arquivos definidos pelo conjunto de dados como arquivos locais.

download(target_path=None, overwrite=False, ignore_not_found=False)

Parâmetros

Retornos

Comentários

Se target_path começar com um /, ele será tratado como um caminho absoluto. Se ele não começar com um /, ele será tratado como um caminho relativo em relação ao diretório de trabalho atual.

Obtenha a expressão de metadados de arquivo especificando o nome da coluna de metadados.

As colunas de metadados de arquivo com suporte são Size, LastModifiedTime, CreationTime, Extension e CanSeek

file_metadata(col)

Parâmetros

Retornos

Filtrar os dados, deixando apenas os registros que correspondam à expressão especificada.

filter(expression)

Parâmetros

Retornos

Comentários

As expressões são iniciadas indexando o conjunto de dados com o nome de uma coluna. Eles dão suporte a uma variedade de funções e operadores e podem ser combinados usando operadores lógicos. A expressão resultante será avaliada de forma preguiçosa para cada registro quando ocorrer um pull de dados e não onde ele for definido.

   (dataset.file_metadata('Size') > 10000) & (dataset.file_metadata('CanSeek') == True)
   dataset.file_metadata('Extension').starts_with('j')

Hidrate o conjunto de dados nas réplicas solicitadas especificadas em datacache_store.

hydrate(datacache_store, replica_count=None)

Parâmetros

Retornos

Crie um gerenciador de contexto para montar fluxos de arquivos definidos pelo conjunto de dados como arquivos locais.

mount(mount_point=None, **kwargs)

Parâmetros

Retornos

Comentários

Um gerenciador de contexto será retornado para gerenciar o ciclo de vida da montagem. Para montar, você precisará inserir o gerenciador de contexto e desmontar, sair do gerenciador de contexto.

Só há suporte para a montagem em sistemas operacionais UNIX ou semelhantes ao UNIX, com o pacote nativo libfuse instalado. Se você estiver executando dentro de um contêiner do Docker, o contêiner do Docker deverá ser iniciado com o sinalizador –privileged ou iniciado com –cap-add SYS_ADMIN –device /dev/fuse.

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))

   with dataset.mount() as mount_context:
       # list top level mounted files and folders in the dataset
       os.listdir(mount_context.mount_point)

   # You can also use the start and stop methods
   mount_context = dataset.mount()
   mount_context.start()  # this will mount the file streams
   mount_context.stop()  # this will unmount the file streams

Se target_path começar com um /, ele será tratado como um caminho absoluto. Se ele não começar com um /, ele será tratado como um caminho relativo em relação ao diretório de trabalho atual.

Divida fluxos de arquivos no conjunto de dados em duas partes aleatoriamente e aproximadamente pela porcentagem especificada.

O primeiro conjunto de dados retornado contém aproximadamente percentage o número total de referências de arquivo e o segundo conjunto de dados contém as referências de arquivo restantes.

random_split(percentage, seed=None)

Parâmetros

Retornos

Ignore os fluxos de arquivos da parte superior do conjunto de dados pela contagem especificada.

skip(count)

Parâmetros

Retornos

Pegue um exemplo de fluxos de arquivo da parte superior do conjunto de dados pela contagem especificada.

take(count)

Parâmetros

Retornos

Pegue um exemplo aleatório de fluxos de arquivo no conjunto de dados aproximadamente pela probabilidade especificada.

take_sample(probability, seed=None)

Parâmetros

Retornos

Obtenha uma lista de caminhos de arquivo para cada fluxo de arquivo definido pelo conjunto de dados.

to_path()

Retornos

Comentários

Os caminhos de arquivo são caminhos relativos para arquivos locais quando os fluxos de arquivos são baixados ou montados.

Um prefixo comum será removido dos caminhos de arquivo com base em como a fonte de dados foi especificada para criar o conjunto de dados. Por exemplo:

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))
   print(dataset.to_path())

   # ['year-2018/1.jpg'
   #  'year-2018/2.jpg'
   #  'year-2019/1.jpg']

   dataset = Dataset.File.from_files('https://dprepdata.blob.core.windows.net/demo/green-small/*.csv')

   print(dataset.to_path())
   # ['/green_tripdata_2013-08.csv']