Schemat YAML interfejsu wiersza polecenia (wersja 2) MLtable

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

Źródłowy schemat JSON można znaleźć pod adresem https://azuremlschemas.azureedge.net/latest/MLTable.schema.json.

Jak tworzyć MLTable pliki

W tym artykule przedstawiono informacje dotyczące tylko schematu MLTable YAML. Aby uzyskać więcej informacji na temat tabeli MLTable, w tym

• MLTable tworzenie plików
• Tworzenie artefaktów w formie tabeli MLTable
• zużycie w bibliotekach Pandas i Spark
• kompleksowe przykłady

Odwiedź stronę Praca z tabelami w usłudze Azure Machine Learning.

Składnia YAML

Przekształcenia

Odczytywanie przekształceń

Inne przekształcenia

Przykłady

Przykłady użycia metody MLTable. Więcej przykładów można znaleźć na stronie:

• Praca z tabelami w usłudze Azure Machine Learning
• przykładowe repozytorium GitHub

Szybki start

Ten przewodnik Szybki start odczytuje znany zestaw danych iris z publicznego serwera https. Aby kontynuować, należy umieścić MLTable pliki w folderze. Najpierw utwórz folder i MLTable plik za pomocą polecenia:

mkdir ./iris
cd ./iris
touch ./MLTable

Następnie umieść tę zawartość w MLTable pliku:

$schema: https://azuremlschemas.azureedge.net/latest/MLTable.schema.json

type: mltable
paths:
    - file: https://azuremlexamples.blob.core.windows.net/datasets/iris.csv

transformations:
    - read_delimited:
        delimiter: ','
        header: all_files_same_headers
        include_path_column: true

Następnie można zmaterializować bibliotekę Pandas za pomocą:

import mltable

tbl = mltable.load("./iris")
df = tbl.to_pandas_dataframe()

Upewnij się, że dane zawierają nową kolumnę o nazwie Path. Ta kolumna zawiera ścieżkę https://azuremlexamples.blob.core.windows.net/datasets/iris.csv danych.

Interfejs wiersza polecenia może utworzyć zasób danych:

az ml data create --name iris-from-https --version 1 --type mltable --path ./iris

Folder zawierający MLTable automatycznie przekazywany do magazynu w chmurze (domyślny magazyn danych usługi Azure Machine Learning).

Rozdzielane pliki tekstowe

$schema: https://azuremlschemas.azureedge.net/latest/MLTable.schema.json
type: mltable

# Supported paths include:
# local: ./<path>
# blob: wasbs://<container_name>@<account_name>.blob.core.windows.net/<path>
# Public http(s) server: https://<url>
# ADLS gen2: abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>/
# Datastore: azureml://subscriptions/<subid>/resourcegroups/<rg>/workspaces/<ws>/datastores/<datastore_name>/paths/<path>

paths:
  - file: abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>/ # a specific file on ADLS
  # additional options
  # - folder: ./<folder> a specific folder
  # - pattern: ./*.csv # glob all the csv files in a folder

transformations:
    - read_delimited:
        encoding: ascii
        header: all_files_same_headers
        delimiter: ","
        include_path_column: true
        empty_as_string: false
    - keep_columns: [col1, col2, col3, col4, col5, col6, col7]
    # or you can drop_columns...
    # - drop_columns: [col1, col2, col3, col4, col5, col6, col7]
    - convert_column_types:
        - columns: col1
          column_type: int
        - columns: col2
          column_type:
            datetime:
                formats:
                    - "%d/%m/%Y"
        - columns: [col1, col2, col3] 
          column_type:
            boolean:
                mismatch_as: error
                true_values: ["yes", "true", "1"]
                false_values: ["no", "false", "0"]
      - filter: 'col("col1") > 32 and col("col7") == "a_string"'
      # create a column called timestamp with the values extracted from the folder information
      - extract_columns_from_partition_format: {timestamp:yyyy/MM/dd}
      - skip: 10
      - take_random_sample:
          probability: 0.50
          seed: 1394
      # or you can take the first n records
      # - take: 200

Parkiet (Podłoga parkietowa)

$schema: https://azuremlschemas.azureedge.net/latest/MLTable.schema.json
type: mltable

# Supported paths include:
# local: ./<path>
# blob: wasbs://<container_name>@<account_name>.blob.core.windows.net/<path>
# Public http(s) server: https://<url>
# ADLS gen2: abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>/
# Datastore: azureml://subscriptions/<subid>/resourcegroups/<rg>/workspaces/<ws>/datastores/<datastore_name>/paths/<path>

paths:
  - pattern: azureml://subscriptions/<subid>/resourcegroups/<rg>/workspaces/<ws>/datastores/<datastore_name>/paths/<path>/*.parquet
  
transformations:
  - read_parquet:
        include_path_column: false
  - filter: 'col("temperature") > 32 and col("location") == "UK"'
  - skip: 1000 # skip first 1000 rows
  # create a column called timestamp with the values extracted from the folder information
  - extract_columns_from_partition_format: {timestamp:yyyy/MM/dd}

Delta Lake

$schema: https://azuremlschemas.azureedge.net/latest/MLTable.schema.json
type: mltable

# Supported paths include:
# local: ./<path>
# blob: wasbs://<container_name>@<account_name>.blob.core.windows.net/<path>
# Public http(s) server: https://<url>
# ADLS gen2: abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>/
# Datastore: azureml://subscriptions/<subid>/resourcegroups/<rg>/workspaces/<ws>/datastores/<datastore_name>/paths/<path>

paths:
- folder: abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>/

# NOTE: for read_delta_lake, you are *required* to provide either
# timestamp_as_of OR version_as_of.
# timestamp should be in RFC-3339/ISO-8601 format (for example:
# "2022-10-01T00:00:00Z", "2022-10-01T00:00:00+08:00",
# "2022-10-01T01:30:00-08:00")
# To get the latest, set the timestamp_as_of at a future point (for example: '2999-08-26T00:00:00Z')

transformations:
 - read_delta_lake:
      timestamp_as_of: '2022-08-26T00:00:00Z'
      # alternative:
      # version_as_of: 1   

JSON (JavaScript Object Notation)

$schema: https://azuremlschemas.azureedge.net/latest/MLTable.schema.json
paths:
  - file: ./order_invalid.jsonl
transformations:
  - read_json_lines:
        encoding: utf8
        invalid_lines: drop
        include_path_column: false

Następne kroki

• Instalowanie i używanie interfejsu wiersza polecenia (wersja 2)
• Praca z tabelami w usłudze Azure Machine Learning