FileDataset Classe

Créez un DatacacheConsumptionConfig mappé à un datacache_store et à un jeu de données.

as_cache(datacache_store)

Paramètres

Retours

Créez un DatasetConsumptionConfig avec le mode défini pour télécharger.

Dans l’exécution envoyée, les fichiers du jeu de données seront téléchargés sur le chemin local sur la cible de calcul. L’emplacement de téléchargement peut être récupéré à partir des valeurs d’argument et du champ input_datasets du contexte d’exécution. Nous générerons automatiquement un nom d’entrée. Si vous souhaitez spécifier un nom d’entrée personnalisé, appelez la méthode as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_download()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The download location can be retrieved from argument values
   import sys
   download_location = sys.argv[1]

   # The download location can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   download_location = Run.get_context().input_datasets['input_1']

as_download(path_on_compute=None)

Paramètres

Remarques

Lorsque le jeu de données est créé à partir du chemin d’accès d’un seul fichier, l’emplacement de téléchargement sera le chemin d’accès du fichier téléchargé unique. Sinon, l’emplacement de téléchargement sera le chemin du dossier englobant pour tous les fichiers téléchargés.

Si path_on_compute commence par un /, il sera traité comme un chemin absolu. S’il ne commence pas par un /, il sera traité comme un chemin relatif par rapport au répertoire de travail. Si vous avez spécifié un chemin d’accès absolu, vérifiez que le travail est autorisé à écrire dans ce répertoire.

Définissez le mode sur hdfs.

Dans l’exécution synapse envoyée, les fichiers des jeux de données sont convertis en chemin local sur la cible de calcul. Le chemin hdfs peut être récupéré à partir des valeurs d’argument et des variables d’environnement du système d’exploitation.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_hdfs()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The hdfs path can be retrieved from argument values
   import sys
   hdfs_path = sys.argv[1]

   # The hdfs path can also be retrieved from input_datasets of the run context.
   import os
   hdfs_path = os.environ['input_<hash>']

as_hdfs()

Remarques

Lorsque le jeu de données est créé à partir du chemin d’accès d’un seul fichier, le chemin d’accès hdfs sera le chemin d’accès du fichier unique. Sinon, le chemin hdfs sera le chemin du dossier englobant pour tous les fichiers montés.

Créez un DatasetConsumptionConfig avec le mode défini pour monter.

Dans l’exécution envoyée, les fichiers des jeux de données sont montés sur le chemin local sur la cible de calcul. Le point de montage peut être récupéré à partir des valeurs d’argument et du champ input_datasets du contexte d’exécution. Nous générerons automatiquement un nom d’entrée. Si vous souhaitez spécifier un nom d’entrée personnalisé, appelez la méthode as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_mount()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The mount point can be retrieved from argument values
   import sys
   mount_point = sys.argv[1]

   # The mount point can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   mount_point = Run.get_context().input_datasets['input_1']

as_mount(path_on_compute=None)

Paramètres

Remarques

Lorsque le jeu de données est créé à partir du chemin d’accès d’un seul fichier, le point de montage est le chemin d’accès du fichier monté unique. Sinon, le point de montage sera le chemin du dossier englobant pour tous les fichiers montés.

Si path_on_compute commence par un /, il sera traité comme un chemin absolu. S’il ne commence pas par un /, il sera traité comme un chemin relatif par rapport au répertoire de travail. Si vous avez spécifié un chemin d’accès absolu, vérifiez que le travail est autorisé à écrire dans ce répertoire.

Téléchargez les flux de fichiers définis par le jeu de données en tant que fichiers locaux.

download(target_path=None, overwrite=False, ignore_not_found=False)

Paramètres

Retours

Remarques

Si target_path commence par un /, il sera traité comme un chemin absolu. S’il ne commence pas par un /, il sera traité comme un chemin relatif par rapport au répertoire de travail actuel.

Obtenez l’expression de métadonnées de fichier en spécifiant le nom de la colonne de métadonnées.

Les colonnes de métadonnées de fichier prises en charge sont Size, LastModifiedTime, CreationTime, Extension et CanSeek

file_metadata(col)

Paramètres

Retours

Filtrer les données, en laissant uniquement les enregistrements qui correspondent à l’expression spécifiée.

filter(expression)

Paramètres

Retours

Remarques

Les expressions sont démarrées en indexant le jeu de données avec le nom d’une colonne. Ils prennent en charge une variété de fonctions et d’opérateurs et peuvent être combinés à l’aide d’opérateurs logiques. L’expression résultante est évaluée de manière différée pour chaque enregistrement lorsqu’une extraction de données se produit et non pas là où elle est définie.

   (dataset.file_metadata('Size') > 10000) & (dataset.file_metadata('CanSeek') == True)
   dataset.file_metadata('Extension').starts_with('j')

Hydratez le jeu de données dans les réplicas demandés spécifiés dans datacache_store.

hydrate(datacache_store, replica_count=None)

Paramètres

Retours

Créez un gestionnaire de contexte pour le montage de flux de fichiers définis par le jeu de données en tant que fichiers locaux.

mount(mount_point=None, **kwargs)

Paramètres

Retours

Remarques

Un gestionnaire de contexte est retourné pour gérer le cycle de vie du montage. Pour monter, vous devez entrer le gestionnaire de contextes et le démonter, quitter le gestionnaire de contextes.

Le montage est pris en charge uniquement sur Unix ou les systèmes d’exploitation de type Unix avec le package natif libfuse installé. Si vous exécutez à l’intérieur d’un conteneur Docker, le conteneur Docker doit être démarré avec l’indicateur privilégié –privileged ou démarré avec –cap-add SYS_ADMIN –device /dev/fuse.

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))

   with dataset.mount() as mount_context:
       # list top level mounted files and folders in the dataset
       os.listdir(mount_context.mount_point)

   # You can also use the start and stop methods
   mount_context = dataset.mount()
   mount_context.start()  # this will mount the file streams
   mount_context.stop()  # this will unmount the file streams

Si target_path commence par un /, il sera traité comme un chemin absolu. S’il ne commence pas par un /, il sera traité comme un chemin relatif par rapport au répertoire de travail actuel.

Fractionnez les flux de fichiers dans le jeu de données en deux parties de manière aléatoire et approximativement par le pourcentage spécifié.

Le premier jeu de données retourné contient approximativement percentage le nombre total de références de fichier et le deuxième jeu de données contient les références de fichier restantes.

random_split(percentage, seed=None)

Paramètres

Retours

Ignorez les flux de fichiers en haut du jeu de données par le nombre spécifié.

skip(count)

Paramètres

Retours

Prenez un exemple de flux de fichiers en haut du jeu de données par le nombre spécifié.

take(count)

Paramètres

Retours

Prenez un échantillon aléatoire de flux de fichiers dans le jeu de données approximativement par la probabilité spécifiée.

take_sample(probability, seed=None)

Paramètres

Retours

Obtenez la liste des chemins d’accès aux fichiers pour chaque flux de fichiers défini par le jeu de données.

to_path()

Retours

Remarques

Les chemins d’accès aux fichiers locaux sont des chemins d’accès relatifs lorsque les flux de fichiers sont téléchargés ou montés.

Un préfixe courant sera supprimé des chemins d’accès du fichier en fonction de la façon dont la source de données a été spécifiée pour créer le jeu de données. Par exemple:

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))
   print(dataset.to_path())

   # ['year-2018/1.jpg'
   #  'year-2018/2.jpg'
   #  'year-2019/1.jpg']

   dataset = Dataset.File.from_files('https://dprepdata.blob.core.windows.net/demo/green-small/*.csv')

   print(dataset.to_path())
   # ['/green_tripdata_2013-08.csv']