FileDataset Klasa

Utwórz element DatacacheConsumptionConfig zamapowany na datacache_store i zestaw danych.

as_cache(datacache_store)

Parametry

Zwraca

Utwórz element DatasetConsumptionConfig z ustawionym trybem do pobrania.

W przesłanym przebiegu pliki w zestawie danych zostaną pobrane do ścieżki lokalnej na docelowym obiekcie obliczeniowym. Lokalizację pobierania można pobrać z wartości argumentów i pola input_datasets kontekstu przebiegu. Automatycznie wygenerujemy nazwę danych wejściowych. Jeśli chcesz określić niestandardową nazwę danych wejściowych, wywołaj metodę as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_download()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The download location can be retrieved from argument values
   import sys
   download_location = sys.argv[1]

   # The download location can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   download_location = Run.get_context().input_datasets['input_1']

as_download(path_on_compute=None)

Parametry

Uwagi

Po utworzeniu zestawu danych na podstawie ścieżki pojedynczego pliku lokalizacja pobierania będzie ścieżką pojedynczego pobranego pliku. W przeciwnym razie lokalizacja pobierania będzie ścieżką otaczającego folderu dla wszystkich pobranych plików.

Jeśli path_on_compute zaczyna się od /, będzie traktowany jako ścieżka bezwzględna. Jeśli nie zaczyna się od /, będzie traktowany jako ścieżka względna względem katalogu roboczego. Jeśli określono ścieżkę bezwzględną, upewnij się, że zadanie ma uprawnienia do zapisu w tym katalogu.

Ustaw tryb na hdfs.

W przesłanym uruchomieniu usługi Synapse pliki w zestawach danych zostaną przekonwertowane na ścieżkę lokalną w docelowym obiekcie obliczeniowym. Ścieżkę hdfs można pobrać z wartości argumentów i zmiennych środowiskowych systemu operacyjnego.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_hdfs()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The hdfs path can be retrieved from argument values
   import sys
   hdfs_path = sys.argv[1]

   # The hdfs path can also be retrieved from input_datasets of the run context.
   import os
   hdfs_path = os.environ['input_<hash>']

as_hdfs()

Uwagi

Po utworzeniu zestawu danych na podstawie ścieżki pojedynczego pliku ścieżka hdfs będzie ścieżką pojedynczego pliku. W przeciwnym razie ścieżka hdfs będzie ścieżką otaczającego folderu dla wszystkich zainstalowanych plików.

Utwórz element DatasetConsumptionConfig z ustawionym trybem instalacji.

W przesłanym przebiegu pliki w zestawach danych zostaną zainstalowane do ścieżki lokalnej na docelowym obiekcie obliczeniowym. Punkt instalacji można pobrać z wartości argumentów i pola input_datasets kontekstu przebiegu. Automatycznie wygenerujemy nazwę danych wejściowych. Jeśli chcesz określić niestandardową nazwę danych wejściowych, wywołaj metodę as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_mount()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The mount point can be retrieved from argument values
   import sys
   mount_point = sys.argv[1]

   # The mount point can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   mount_point = Run.get_context().input_datasets['input_1']

as_mount(path_on_compute=None)

Parametry

Uwagi

Po utworzeniu zestawu danych na podstawie ścieżki pojedynczego pliku punkt instalacji będzie ścieżką pojedynczego zainstalowanego pliku. W przeciwnym razie punkt instalacji będzie ścieżką otaczającego folderu dla wszystkich zainstalowanych plików.

Jeśli path_on_compute zaczyna się od /, będzie traktowany jako ścieżka bezwzględna. Jeśli nie zaczyna się od /, będzie traktowany jako ścieżka względna względem katalogu roboczego. Jeśli określono ścieżkę bezwzględną, upewnij się, że zadanie ma uprawnienia do zapisu w tym katalogu.

Pobierz strumienie plików zdefiniowane przez zestaw danych jako pliki lokalne.

download(target_path=None, overwrite=False, ignore_not_found=False)

Parametry

Zwraca

Uwagi

Jeśli target_path zaczyna się od /, będzie traktowany jako ścieżka bezwzględna. Jeśli nie zaczyna się od /, będzie traktowany jako ścieżka względna względem bieżącego katalogu roboczego.

Pobierz wyrażenie metadanych pliku, określając nazwę kolumny metadanych.

Obsługiwane kolumny metadanych pliku to Rozmiar, LastModifiedTime, CreationTime, Extension i CanSeek

file_metadata(col)

Parametry

Zwraca

Przefiltruj dane, pozostawiając tylko rekordy zgodne z określonym wyrażeniem.

filter(expression)

Parametry

Zwraca

Uwagi

Wyrażenia są uruchamiane przez indeksowanie zestawu danych z nazwą kolumny. Obsługują one różne funkcje i operatory i mogą być łączone przy użyciu operatorów logicznych. Wynikowe wyrażenie zostanie z opóźnieniem obliczone dla każdego rekordu, gdy nastąpi ściąganie danych, a nie tam, gdzie jest definiowana.

   (dataset.file_metadata('Size') > 10000) & (dataset.file_metadata('CanSeek') == True)
   dataset.file_metadata('Extension').starts_with('j')

Nawodnienie zestawu danych do żądanych replik określonych w datacache_store.

hydrate(datacache_store, replica_count=None)

Parametry

Zwraca

Utwórz menedżera kontekstu do instalowania strumieni plików zdefiniowanych przez zestaw danych jako pliki lokalne.

mount(mount_point=None, **kwargs)

Parametry

Zwraca

Uwagi

Na potrzeby zarządzania cyklem życia instalacji zostanie zwrócony menedżer kontekstu. Aby zainstalować, musisz wprowadzić menedżera kontekstu i odinstalować go, zamknąć menedżera kontekstu.

Instalacja jest obsługiwana tylko w systemach operacyjnych Unix i podobnych do Unix z zainstalowanym pakietem natywnym libfuse. Jeśli korzystasz z kontenera platformy Docker, należy uruchomić kontener platformy Docker z flagą –privileged lub uruchomić polecenie –cap-add SYS_ADMIN –device /dev/fuse.

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))

   with dataset.mount() as mount_context:
       # list top level mounted files and folders in the dataset
       os.listdir(mount_context.mount_point)

   # You can also use the start and stop methods
   mount_context = dataset.mount()
   mount_context.start()  # this will mount the file streams
   mount_context.stop()  # this will unmount the file streams

Jeśli target_path zaczyna się od /, będzie traktowany jako ścieżka bezwzględna. Jeśli nie zaczyna się od /, będzie traktowany jako ścieżka względna względem bieżącego katalogu roboczego.

Podziel strumienie plików w zestawie danych na dwie części losowo i w przybliżeniu według określonej wartości procentowej.

Zwrócony pierwszy zestaw danych zawiera około percentage całkowitej liczby odwołań do plików, a drugi zestaw danych zawiera pozostałe odwołania do plików.

random_split(percentage, seed=None)

Parametry

Zwraca

Pomiń strumienie plików z góry zestawu danych według określonej liczby.

skip(count)

Parametry

Zwraca

Weź przykład strumieni plików z góry zestawu danych według określonej liczby.

take(count)

Parametry

Zwraca

Weź losową próbkę strumieni plików w zestawie danych w przybliżeniu według określonego prawdopodobieństwa.

take_sample(probability, seed=None)

Parametry

Zwraca

Pobierz listę ścieżek plików dla każdego strumienia plików zdefiniowanego przez zestaw danych.

to_path()

Zwraca

Uwagi

Ścieżki plików są ścieżkami względnymi dla plików lokalnych, gdy strumienie plików są pobierane lub instalowane.

Wspólny prefiks zostanie usunięty ze ścieżek plików na podstawie sposobu określenia źródła danych w celu utworzenia zestawu danych. Na przykład:

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))
   print(dataset.to_path())

   # ['year-2018/1.jpg'
   #  'year-2018/2.jpg'
   #  'year-2019/1.jpg']

   dataset = Dataset.File.from_files('https://dprepdata.blob.core.windows.net/demo/green-small/*.csv')

   print(dataset.to_path())
   # ['/green_tripdata_2013-08.csv']