Dataset Classe

Archivez un jeu de données actif ou déconseillé.

archive()

Retours

Remarques

Après l’archivage, toute tentative d’utilisation du jeu de données entraîne une erreur. Si elle est archivée par accident, réactivez-la.

Analyse le ou les fichiers au chemin d’accès spécifié et retourne un nouveau jeu de données.

static auto_read_files(path, include_path=False, partition_format=None)

Paramètres

Retours

Remarques

Utilisez cette méthode quand les formats de fichier et les délimiteurs sont détectés automatiquement.

Après avoir créé un jeu de données, vous devez utiliser get_profile pour répertorier les types de colonnes détectés et les statistiques récapitulatives pour chaque colonne.

Le jeu de données retourné n’est pas inscrit auprès de l’espace de travail.

Comparez le profil du jeu de données actuel avec un autre profil de jeu de données.

Cela montre les différences dans les statistiques récapitulatives entre deux jeux de données. Le paramètre 'rhs_dataset' signifie « côté droit » et est simplement le deuxième jeu de données. Le premier jeu de données (l’objet de jeu de données actuel) est considéré comme le « côté gauche ».

compare_profiles(rhs_dataset, profile_arguments={}, include_columns=None, exclude_columns=None, histogram_compare_method=HistogramCompareMethod.WASSERSTEIN)

Paramètres

Retours

Remarques

Cela concerne uniquement les jeux de données inscrits. Déclenche une exception si le profil du jeu de données actuel n’existe pas. Pour les jeux de données non inscrits, utilisez la méthode profile.compare.

Créez un instantané du jeu de données inscrit.

create_snapshot(snapshot_name, compute_target=None, create_data_snapshot=False, target_datastore=None)

Paramètres

Retours

Remarques

Les captures instantanées capturent des statistiques récapitulatives de point dans le temps des données sous-jacentes et une copie facultative des données elles-mêmes. Pour en savoir plus sur la création d’instantanés, accédez à https://aka.ms/azureml/howto/createsnapshots.

Supprimez l’instantané du jeu de données par nom.

delete_snapshot(snapshot_name)

Paramètres

Retours

Remarques

Utilisez cette option pour libérer le stockage consommé par les données enregistrées dans des instantanés dont vous n’avez plus besoin.

Dépréciez un jeu de données actif dans un espace de travail par un autre jeu de données.

deprecate(deprecate_by_dataset_id)

Paramètres

Retours

Remarques

Les jeux de données déconseillés consignent les avertissements lorsqu’ils sont consommés. La dépréciation d’un jeu de données déprécie toutes ses définitions.

Les jeux de données déconseillés peuvent toujours être consommés. Pour empêcher complètement l’utilisation d’un jeu de données, archivez-le.

S’il est déconseillé par accident, la réactiver l’active.

Différez le jeu de données actuel avec rhs_dataset.

diff(rhs_dataset, compute_target=None, columns=None)

Paramètres

Retours

Créez un jeu de données non inscrit en mémoire à partir de fichiers binaires.

static from_binary_files(path)

Paramètres

Retours

Remarques

Utilisez cette méthode pour lire des fichiers en tant que flux de données binaires. Renvoie un objet de flux de fichiers par lecture de fichier. Utilisez cette méthode lorsque vous lisez des images, des vidéos, de l’audio ou d’autres données binaires.

get_profile et create_snapshot ne fonctionne pas comme prévu pour un jeu de données créé par cette méthode.

Le jeu de données retourné n’est pas inscrit auprès de l’espace de travail.

Créez un jeu de données non inscrit en mémoire à partir de fichiers délimités.

   # Create a dataset from delimited files with header option as ALL_FILES_HAVE_SAME_HEADERS
   dataset = Dataset.Tabular.from_delimited_files(path=(datastore, 'data/crime-spring.csv'),
       header='ALL_FILES_HAVE_SAME_HEADERS')

   df = dataset.to_pandas_dataframe()

static from_delimited_files(path, separator=',', header=PromoteHeadersBehavior.ALL_FILES_HAVE_SAME_HEADERS, encoding=FileEncoding.UTF8, quoting=False, infer_column_types=True, skip_rows=0, skip_mode=SkipLinesBehavior.NO_ROWS, comment=None, include_path=False, archive_options=None, partition_format=None)

Paramètres

   archive_options = ArchiveOptions(archive_type = ArchiveType.ZIP, entry_glob = '*10-20.csv')

Retours

Remarques

Utilisez cette méthode pour lire les fichiers texte délimités lorsque vous souhaitez contrôler les options utilisées.

Après avoir créé un jeu de données, vous devez utiliser get_profile pour répertorier les types de colonnes détectés et les statistiques récapitulatives pour chaque colonne.

Le jeu de données retourné n’est pas inscrit auprès de l’espace de travail.

Créez un jeu de données non inscrit en mémoire à partir de fichiers Excel.

static from_excel_files(path, sheet_name=None, use_column_headers=False, skip_rows=0, include_path=False, infer_column_types=True, partition_format=None)

Paramètres

Retours

Remarques

Utilisez cette méthode pour lire les fichiers Excel au format .xlsx. Les données peuvent être lues à partir d’une feuille dans chaque fichier Excel. Après avoir créé un jeu de données, vous devez utiliser get_profile pour répertorier les types de colonnes détectés et les statistiques récapitulatives pour chaque colonne. Le jeu de données retourné n’est pas inscrit auprès de l’espace de travail.

Créez un jeu de données non inscrit en mémoire à partir de fichiers JSON.

static from_json_files(path, encoding=FileEncoding.UTF8, flatten_nested_arrays=False, include_path=False, partition_format=None)

Paramètres

Retours

Créez un jeu de données non inscrit en mémoire à partir d’un dataframe pandas.

static from_pandas_dataframe(dataframe, path=None, in_memory=False)

Paramètres

Retours

Remarques

Utilisez cette méthode pour convertir un dataframe Pandas en objet Dataset. Un jeu de données créé par cette méthode ne peut pas être inscrit, car les données proviennent de la mémoire.

Si in_memory la valeur est False, le DataFrame Pandas est converti en fichier CSV localement. Si pat elle est de type DataReference, la trame Pandas est chargée dans le magasin de données et le jeu de données est basé sur DataReference. Si « chemin » est un dossier local, le jeu de données est créé à partir du fichier local qui ne peut pas être supprimé.

Déclenche une exception si l’objet DataReference actuel n’est pas un chemin d’accès au dossier.

Créez un jeu de données non inscrit en mémoire à partir de fichiers Parquet.

static from_parquet_files(path, include_path=False, partition_format=None)

Paramètres

Retours

Remarques

Utilisez cette méthode pour lire les fichiers Parquet.

Après avoir créé un jeu de données, vous devez utiliser get_profile pour répertorier les types de colonnes détectés et les statistiques récapitulatives pour chaque colonne.

Le jeu de données retourné n’est pas inscrit auprès de l’espace de travail.

Créez un jeu de données non inscrit en mémoire à partir d’une requête SQL.

static from_sql_query(data_source, query)

Paramètres

Retours

Générez un nouveau profil pour le jeu de données.

generate_profile(compute_target=None, workspace=None, arguments=None)

Paramètres

Retours

Remarques

L’appel synchrone est bloqué jusqu’à ce qu’il se termine. Appelez get_result pour obtenir le résultat de l’action.

Obtenez un jeu de données qui existe déjà dans l’espace de travail en spécifiant son nom ou son ID.

static get(workspace, name=None, id=None)

Paramètres

Retours

Remarques

Vous pouvez fournir l’une ou l’autre name ou id. Une exception est levée si :

• les deux name et id sont spécifiés, mais ne correspondent pas.

• le jeu de données avec le jeu de données spécifié name ou id introuvable dans l’espace de travail.

Obtenez tous les jeux de données inscrits dans l’espace de travail.

get_all()

Paramètres

Retours

Obtenez tous les instantanés du jeu de données.

get_all_snapshots()

Retours

Obtenez un jeu de données enregistré dans l’espace de travail.

get_by_id(id, **kwargs)

Paramètres

Retours

Obtenez un jeu de données inscrit à partir de l’espace de travail par son nom d’inscription.

get_by_name(name, version='latest', **kwargs)

Paramètres

Retours

Obtenez une définition spécifique du jeu de données.

get_definition(version_id=None)

Paramètres

Retours

Remarques

Si version_id elle est fournie, Azure Machine Learning tente d’obtenir la définition correspondant à cette version. Si cette version n’existe pas, une exception est levée. Si version_id elle est omise, la dernière version est récupérée.

Obtenez toutes les définitions du jeu de données.

get_definitions()

Retours

Remarques

Un jeu de données inscrit dans un espace de travail AzureML peut avoir plusieurs définitions, chacune créée en appelant update_definition. Chaque définition a un identificateur unique. La définition actuelle est la dernière créée.

Pour les jeux de données non inscrits, une seule définition existe.

Obtenez des statistiques récapitulatives sur le jeu de données calculé précédemment.

get_profile(arguments=None, generate_if_not_exist=True, workspace=None, compute_target=None)

Paramètres

Retours

Remarques

Pour un jeu de données inscrit auprès d’un espace de travail Azure Machine Learning, cette méthode récupère un profil existant créé précédemment en appelant get_profile s’il est toujours valide. Les profils sont invalidés lorsque des données modifiées sont détectées dans le jeu de données ou que les arguments à get_profile utiliser diffèrent de ceux utilisés lors de la génération du profil. Si le profil n’est pas présent ou invalidé, generate_if_not_exist détermine si un nouveau profil est généré.

Pour un jeu de données qui n’est pas inscrit auprès d’un espace de travail Azure Machine Learning, cette méthode s’exécute generate_profile toujours et retourne le résultat.

Obtenir un instantané du jeu de données par nom.

get_snapshot(snapshot_name)

Paramètres

Retours

Extrayez le nombre spécifié d’enregistrements spécifiés à partir de ce jeu de données et retournez-les sous forme de DataFrame.

head(count)

Paramètres

Retours

Répertoriez tous les jeux de données dans l’espace de travail, y compris ceux dont is_visible la propriété est égale à False.

static list(workspace)

Paramètres

Retours

Réactivez un jeu de données archivé ou déconseillé.

reactivate()

Retours

Inscrivez le jeu de données dans l’espace de travail, le rendant disponible pour d’autres utilisateurs de l’espace de travail.

register(workspace, name, description=None, tags=None, visible=True, exist_ok=False, update_if_exist=False)

Paramètres

Retours

Générez un nouvel exemple à partir du jeu de données source, à l’aide de la stratégie d’échantillonnage et des paramètres fournis.

sample(sample_strategy, arguments)

Paramètres

Retours

Remarques

Les exemples sont générés en exécutant le pipeline de transformation défini par ce jeu de données, puis en appliquant la stratégie d’échantillonnage et les paramètres aux données de sortie. Chaque méthode d’échantillonnage prend en charge les arguments facultatifs suivants :

• top_n

  • Arguments facultatifs

    • n, tapez entier. Sélectionnez les lignes N supérieures comme exemple.

• simple_random

  • Arguments facultatifs

    • probabilité, type float. Échantillonnage aléatoire simple où chaque ligne a une probabilité égale d’être sélectionnée. La probabilité doit être un nombre compris entre 0 et 1.

    • graine, type float. Utilisé par le générateur de nombres aléatoires. Utiliser pour la répétabilité.

• stratifié

  • Arguments facultatifs

    • colonnes, type list[str]. Liste des colonnes de strates dans les données.

    • graine, type float. Utilisé par le générateur de nombres aléatoires. Utiliser pour la répétabilité.

    • fractions, type dict[tuple, float]. Tuple : valeurs de colonne qui définissent une couche, doivent être dans le même ordre que les noms de colonnes. Float : poids attaché à une strate pendant l’échantillonnage.

Les extraits de code suivants sont des exemples de modèles de conception pour différents exemples de méthodes.

   # sample_strategy "top_n"
   top_n_sample_dataset = dataset.sample('top_n', {'n': 5})

   # sample_strategy "simple_random"
   simple_random_sample_dataset = dataset.sample('simple_random', {'probability': 0.3, 'seed': 10.2})

   # sample_strategy "stratified"
   fractions = {}
   fractions[('THEFT',)] = 0.5
   fractions[('DECEPTIVE PRACTICE',)] = 0.2

   # take 50% of records with "Primary Type" as THEFT and 20% of records with "Primary Type" as
   # DECEPTIVE PRACTICE into sample Dataset
   sample_dataset = dataset.sample('stratified', {'columns': ['Primary Type'], 'fractions': fractions})

Créez un dataframe Pandas en exécutant le pipeline de transformation défini par cette définition de jeu de données.

to_pandas_dataframe()

Retours

Remarques

Retourne un DataFrame Pandas entièrement matérialisé en mémoire.

Créez un DataFrame Spark qui peut exécuter le pipeline de transformation défini par cette définition de jeu de données.

to_spark_dataframe()

Retours

Remarques

Le Dataframe Spark retourné n’est qu’un plan d’exécution et ne contient pas réellement de données, car les trames de données Spark sont évaluées de manière différée.

Mettez à jour les attributs mutables du jeu de données dans l’espace de travail et retournez le jeu de données mis à jour à partir de l’espace de travail.

update(name=None, description=None, tags=None, visible=None)

Paramètres

Retours

Mettez à jour la définition du jeu de données.

update_definition(definition, definition_update_message)

Paramètres

Retours

Remarques

Pour utiliser le jeu de données mis à jour, utilisez l’objet retourné par cette méthode.

Retourne la définition actuelle du jeu de données.

Retours

Remarques

Une définition de jeu de données est une série d’étapes qui spécifient comment lire et transformer des données.

Un jeu de données inscrit dans un espace de travail AzureML peut avoir plusieurs définitions, chacune créée en appelant update_definition. Chaque définition a un identificateur unique. L’utilisation de plusieurs définitions vous permet d’apporter des modifications aux jeux de données existants sans rompre les modèles et les pipelines qui dépendent de l’ancienne définition.

Pour les jeux de données non inscrits, une seule définition existe.

Retourne la version de la définition actuelle du jeu de données.

Retours

Remarques

Une définition de jeu de données est une série d’étapes qui spécifient comment lire et transformer des données.

Un jeu de données inscrit dans un espace de travail AzureML peut avoir plusieurs définitions, chacune créée en appelant update_definition. Chaque définition a un identificateur unique. La définition actuelle est la dernière créée, dont l’ID est retourné par ceci.

Pour les jeux de données non inscrits, une seule définition existe.

Retourne la description du jeu de données.

Retours

Remarques

La spécification d’une description des données dans le jeu de données permet aux utilisateurs de l’espace de travail de comprendre ce que les données représentent et comment elles peuvent l’utiliser.

Si le jeu de données a été inscrit dans un espace de travail, retournez l’ID du jeu de données. Sinon, retournez None.

Retours

Contrôlez la visibilité d’un jeu de données inscrit dans l’interface utilisateur de l’espace de travail Azure ML.

Retours

Remarques

Valeurs retournées :

• True : le jeu de données est visible dans l’interface utilisateur de l’espace de travail. Par défaut.

• False : Le jeu de données est masqué dans l’interface utilisateur de l’espace de travail.

N’a aucun effet sur les jeux de données non inscrits.

Retourne le nom du jeu de données.

Retours

Retourne l’état du jeu de données.

Retours

Remarques

La signification et l’effet des états sont les suivants :

• Actif. Les définitions actives sont exactement ce qu’elles ressemblent, toutes les actions peuvent être effectuées sur des définitions actives.

• Obsolète. La définition déconseillée peut être utilisée, mais un avertissement est enregistré dans les journaux chaque fois que les données sous-jacentes sont accessibles.

• Archivés. Une définition archivée ne peut pas être utilisée pour effectuer une action. Pour effectuer des actions sur une définition archivée, elle doit être réactivée.

Retourne les balises associées au jeu de données.

Retours

Si le jeu de données a été inscrit dans un espace de travail, retournez-le. Sinon, retournez None.

Retours