MLTable Classe

Ajoute une étape de transformation pour convertir les colonnes spécifiées en leurs nouveaux types respectifs.

   from mltable import DataType
       data_types = {
           'ID': DataType.to_string(),
           'Date': DataType.to_datetime('%d/%m/%Y %I:%M:%S %p'),
           'Count': DataType.to_int(),
           'Latitude': DataType.to_float(),
           'Found': DataType.to_bool(),
           'Stream': DataType.to_stream()
       }

convert_column_types(column_types)

Paramètres

Retours

Ajoute une étape de transformation pour supprimer les colonnes données du jeu de données. Si une liste vide, un tuple ou un jeu n’est pas supprimé. Les colonnes en double déclenchent une exception UserErrorException.

Toute tentative de suppression d’une colonne MLTable.traits.timestamp_column ou dans MLTable.traits.index_columns déclenche une exception UserErrorException.

drop_columns(columns: str | List[str] | Tuple[str] | Set[str])

Paramètres

Retours

Ajoute une étape de transformation pour utiliser les informations de partition de chaque chemin d’accès et les extraire dans des colonnes en fonction du format de partition spécifié.

La partie format « {column_name} » crée une colonne de chaîne et « {column_name :aaaa/MM/mm/mm/ss} » crée une colonne datetime, où « aaaa », « MM », « dd », « HH », « mm » et « ss » sont utilisés pour extraire l’année, le mois, le jour, l’heure, la minute et le deuxième pour le type datetime.

Le format doit commencer à partir de la position de la première clé de partition jusqu’à la fin du chemin d’accès au fichier. Par exemple, étant donné le chemin « /Accounts/2019/01/01/01/data.csv' où la partition est par nom de service et heure, partition_format='/{Department}/{PartitionDate :yyyy/MM/dd}/data.csv' crée une colonne de chaîne 'Department' avec la valeur 'Accounts' et une colonne datetime 'PartitionDate' avec la valeur '2019-01-01'.

extract_columns_from_partition_format(partition_format)

Paramètres

Retours

Filtrer les données, en laissant uniquement les enregistrements qui correspondent à l’expression spécifiée.

filter(expression)

Paramètres

Retours

Remarques

Les expressions sont démarrées en indexant la mltable avec le nom d’une colonne. Ils prennent en charge une variété de fonctions et d’opérateurs et peuvent être combinés à l’aide d’opérateurs logiques. L’expression résultante est évaluée de manière différée pour chaque enregistrement lorsqu’une extraction de données se produit et non pas là où elle est définie.

   filtered_mltable = mltable.filter('feature_1 == "5" and target > "0.5)"')
   filtered_mltable = mltable.filter('col("FBI Code") == "11"')

Retourne le nombre de partitions de données sous-jacentes aux données associées à ce MLTable.

get_partition_count() -> int

Retours

Ajoute une étape de transformation pour conserver les colonnes spécifiées et supprimer toutes les autres personnes du jeu de données. Si une liste vide, un tuple ou un jeu n’est pas supprimé. Les colonnes en double déclenchent une exception UserErrorException.

Si la colonne dans MLTable.traits.timestamp_column ou les colonnes de MLTable.traits.index_columns n’est pas explicitement conservée, une exception UserErrorException est raiesd.

keep_columns(columns: str | List[str] | Tuple[str] | Set[str])

Paramètres

Retours

Fractionne de façon aléatoire ce MLTable en deux MLTables, l’un ayant approximativement « pourcentage »% des données de MLTable d’origine et l’autre ayant le reste (1 à « pourcentage »%).

random_split(percent=0.5, seed=None)

Paramètres

Retours

Enregistrez ce MLTable en tant que fichier YAML MLTable et ses chemins d’accès associé au chemin d’accès au répertoire donné.

Si le chemin d’accès n’est pas donné, la valeur par défaut est le répertoire de travail actuel. Si le chemin d’accès n’existe pas, il est créé. Si le chemin d’accès est distant, le magasin de données sous-jacent doit déjà exister. Si le chemin d’accès est un répertoire local et n’est pas absolu, il est rendu absolu.

Si le chemin pointe vers un fichier, une exception UserErrorException est déclenchée. Si le chemin d’accès est un chemin d’accès de répertoire qui contient déjà un ou plusieurs fichiers enregistrés (y compris le fichier YAML MLTable) et que le remplacement est défini sur False ou « fail » : une exception UserErrorException est déclenchée. Si le chemin d’accès est distant, tous les chemins de fichiers locaux non attribués en tant que chemin d’accès colocalisé (chemin d’accès de fichier par rapport au répertoire à partir duquel MLTable a été chargé) déclenchent une exception UserErrorException.

contrôle la façon dont les chemins associés sont enregistrés dans le chemin d’accès. Si la valeur est True, les fichiers sont copiés vers le chemin d’accès en même temps que le fichier YAML MLTable en tant que chemins de fichier relatifs. Sinon, les fichiers associés ne sont pas copiés, les chemins d’accès distants restent comme indiqués et les chemins d’accès locaux sont effectués par rapport à la redirection de chemin si nécessaire. Notez que False peut entraîner des fichiers YAML MLTable non alloués qui ne sont pas recommandés. En outre, si le chemin d’accès est distant, un UserErrorException en tant que redirection de chemin relatif n’est pas pris en charge pour les URI distants.

Notez que si mlTable est créé programmatiquement avec des méthodes telles que from_paths() ou from_read_delimited_files() avec des chemins relatifs locaux, le chemin d’accès du répertoire MLTable est supposé être le répertoire de travail actif.

N’oubliez pas d’enregistrer un nouveau MLTable & fichiers de données associés dans un répertoire avec un fichier MLTable existant et les fichiers de données associés que le répertoire n’est pas effacé des fichiers existants avant d’enregistrer les nouveaux fichiers. Il est possible que les fichiers de données déjà existants restent persistants après l’enregistrement des nouveaux fichiers, en particulier si les fichiers de données existants n’ont pas de noms correspondant à de nouveaux fichiers de données. Si le nouveau MLTable contient un indicateur de modèle sous ses chemins d’accès, cela peut modifier involontairement le MLTable en associant des fichiers de données existants au nouveau MLTable.

Si les chemins d’accès de fichier de ce MLTable pointent vers un fichier existant dans le chemin d’accès , mais ont un URI différent, si le remplacement est « échec » ou « skip » le fichier existant ne sera pas remplacé (c’est-à-dire ignoré).

save(path=None, overwrite=True, colocated=False, show_progress=False, if_err_remove_files=True)

Paramètres

Retours

Ajoute une étape de transformation pour sélectionner la partition.

select_partitions(partition_index_list)

Paramètres

Retours

Remarques

L’extrait de code suivant montre comment utiliser l’API select_partitions pour sélectionner des partitions à partir du MLTable fourni.

   partition_index_list = [1, 2]
   mltable = mltable.select_partitions(partition_index_list)

Récupère les premières lignes de comptage de ce MLTable en tant que dataframe Pandas.

show(count=20)

Paramètres

Retours

Ajoute une étape de transformation pour ignorer les premières lignes de ce MLTable.

skip(count)

Paramètres

Retours

Ajoute une étape de transformation pour sélectionner les premières lignes de nombre de ce MLTable.

take(count=20)

Paramètres

Retours

Ajoute une étape de transformation pour sélectionner aléatoirement chaque ligne de ce MLTable avec une probabilité de probabilité . La probabilité doit être comprise entre [0, 1]. Peut éventuellement définir une valeur initiale aléatoire.

take_random_sample(probability, seed=None)

Paramètres

Retours

Chargez tous les enregistrements à partir des chemins spécifiés dans le fichier MLTable dans un DataFrame Pandas.

to_pandas_dataframe()

Retours

Remarques

L’extrait de code suivant montre comment utiliser l’API to_pandas_dataframe pour obtenir un dataframe pandas correspondant au MLTable fourni.

   from mltable import load
   tbl = load('.\samples\mltable_sample')
   pdf = tbl.to_pandas_dataframe()
   print(pdf.shape)

Vérifie si les données de ce MLTable peuvent être chargées, nécessite que la ou les sources de données de MLTable soient accessibles à partir du calcul actuel.

validate()

Retours

Retourne les clés de partition.

Retours

Retourne une liste de dictionnaires contenant les chemins d’accès d’origine donnés à ce MLTable. Les chemins d’accès relatifs aux fichiers locaux sont supposés être relatifs au répertoire à partir duquel le fichier YAML MLTable à partir duquel cette instance MLTable a été chargée.

Retours