Informations de référence sur les tables système MLflow

Les mlflow tables système capturent les métadonnées d’expérience gérées dans le service de suivi MLflow. Ces tables permettent aux utilisateurs privilégiés de tirer parti des outils Databricks lakehouse sur leurs données MLflow sur tous les espaces de travail de la région. Vous pouvez utiliser les tables pour créer des tableaux de bord IA/BI personnalisés, configurer des alertes SQL ou effectuer des requêtes analytiques à grande échelle.

Par le biais des mlflow tables système, les utilisateurs peuvent répondre à des questions telles que :

• Quelles expériences ont la plus faible fiabilité ?
• Quelle est l’utilisation moyenne du GPU dans différentes expériences ?

Tables disponibles

Le mlflow schéma comprend les tableaux suivants :

• system.mlflow.experiments_latest: enregistre les noms des expériences et les événements de suppression réversible. Ces données sont similaires à la page des expériences de l’interface utilisateur MLflow.
• system.mlflow.runs_latest: enregistre les informations de cycle de vie des exécutions, les paramètres et balises associés à chaque exécution et les statistiques agrégées de min, max et les dernières valeurs de toutes les métriques. Ces données sont similaires à la page de détails de recherche ou d’exécution des exécutions.
• system.mlflow.run_metrics_history: enregistre le nom, la valeur, l’horodatage et l’étape de toutes les métriques journalisées sur les exécutions, qui peuvent être utilisées pour tracer des séries chronologiques détaillées à partir des exécutions. Ces données sont similaires à l’onglet Métriques de la page de détails des exécutions.

Voici un exemple de traçage des informations d’exécution à l’aide d’un tableau de bord :

Schémas de table

Vous trouverez ci-dessous les schémas de tableau avec des descriptions et des exemples de données.

system.mlflow.experiments_latest

system.mlflow.runs_latest

system.mlflow.run_metrics_history

Partage d’accès avec les utilisateurs

Par défaut, seuls les administrateurs de compte ont accès aux schémas système. Pour accorder à d’autres utilisateurs l’accès aux tables, un administrateur de compte doit leur accorder l’UTILISATION et SELECT les autorisations sur le system.mlflow. schéma. Consultez Privilèges Unity Catalog et objets sécurisables.

Tout utilisateur ayant accès à ces tables peut afficher les métadonnées sur toutes les expériences MLflow pour tous les espaces de travail du compte. Pour configurer l’accès aux tables pour un groupe donné plutôt que pour des utilisateurs individuels, consultez les meilleures pratiques du catalogue Unity.

Si vous avez besoin d’un contrôle plus précis que d’accorder à tous les utilisateurs l’accès à la table, vous pouvez utiliser des vues dynamiques avec des critères personnalisés pour accorder à des groupes certains accès. Par exemple, vous pouvez créer une vue qui affiche uniquement les enregistrements d’un ensemble particulier d’ID d’expérience. Après avoir configuré une vue personnalisée, donnez le nom de la vue à vos utilisateurs afin qu’ils puissent interroger l’affichage dynamique plutôt que la table système directement.

Exemples de cas d’utilisation de métadonnées MLflow

Les sections suivantes donnent des exemples de la façon dont vous pouvez utiliser les tables système MLflow pour répondre à des questions sur vos expériences et exécutions MLflow.

Configurer une alerte SQL pour une faible fiabilité des expériences

À l’aide des alertes Databricks SQL (préversion publique), vous pouvez planifier une requête périodique régulière et être averti si certaines contraintes ne sont plus remplies.

Cet exemple crée une alerte qui examine les expériences les plus fréquemment exécutées au sein de votre espace de travail pour déterminer si elles rencontrent une faible fiabilité et peuvent avoir besoin d’une attention particulière. La requête utilise la runs_latest table pour calculer les exécutions par expérience marquées comme terminées, divisées par le nombre total d’exécutions.

1. Cliquez sur dans la barre latérale, puis cliquez sur Créer une alerte.

2. Copiez et collez la requête suivante dans l’éditeur de requête.

    SELECT
      experiment_id,
      AVG(CASE WHEN status = 'FINISHED' THEN 1.0 ELSE 0.0 END) AS success_ratio,
      COUNT(status) AS run_count
    FROM system.mlflow.runs_latest
    WHERE status IS NOT NULL
    GROUP BY experiment_id
    ORDER BY run_count DESC
    LIMIT 20;
   

3. Dans le champ Condition , définissez les conditions sur MIN success_ratio < 0.9. Cela déclenche l’alerte si l’une des 20 premières expériences (par nombre d’exécutions) a un rapport de réussite inférieur à 90%.

En outre, vous pouvez tester la condition, définir une planification et configurer des notifications. Pour plus d’informations sur la configuration de l’alerte, consultez la configuration d’une alerte SQL. Vous trouverez ci-dessous un exemple de configuration à l’aide de la requête.

Exemples de requêtes

Vous pouvez utiliser les exemples de requêtes suivants pour obtenir des informations sur l’activité MLflow dans votre compte à l’aide de Databricks SQL. Vous pouvez également tirer parti d’outils tels que les notebooks Python avec Spark.

Obtenir des informations d’exécution à partir de runs_latest

SELECT
  run_name,
  date(start_time) AS start_date,
  status,
  TIMESTAMPDIFF(MINUTE, start_time, end_time) AS run_length_minutes
FROM system.mlflow.runs_latest
WHERE
  experiment_id = :experiment_id
  AND run_id = :run_id
LIMIT 1

Cela retourne des informations sur l’exécution donnée :

Obtenir des informations d’expérience et d’exécution à partir de experiments_latest et runs_latest

SELECT
  runs.run_name,
  experiments.name,
  date(runs.start_time) AS start_date,
  runs.status,
  TIMESTAMPDIFF(MINUTE, runs.start_time, runs.end_time) AS run_length_minutes
FROM system.mlflow.runs_latest runs
  JOIN system.mlflow.experiments_latest experiments ON runs.experiment_id = experiments.experiment_id
  WHERE
    runs.experiment_id = :experiment_id
    AND runs.run_id = :run_id
LIMIT 1

Obtenir des statistiques récapitulatives pour une exécution donnée à partir de run_metrics_history

SELECT
  metric_name,
  count(metric_time) AS num_data_points,
  ROUND(avg(metric_value), 1) AS avg,
  ROUND(max(metric_value), 1) AS max,
  ROUND(min(metric_value), 1) AS min,
  ROUND(PERCENTILE_CONT(0.25) WITHIN GROUP (ORDER BY metric_value), 1) AS pct_25,
  ROUND(PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY metric_value), 1) AS median,
  ROUND(PERCENTILE_CONT(0.75) WITHIN GROUP (ORDER BY metric_value), 1) AS pct_75
FROM
  system.mlflow.run_metrics_history
WHERE
  run_id = :run_id
GROUP BY
  metric_name, run_id
LIMIT 100

Cette opération renvoie un résumé des métriques pour l’élément donné run_id:

Tableaux de bord pour les expériences et les exécutions

Vous pouvez créer des tableaux de bord sur des données de tables système MLflow pour analyser vos expériences MLflow et les exécuter à partir de l’ensemble de l’espace de travail.

Pour plus d’informations, consultez Générer des tableaux de bord avec des métadonnées MLflow dans les tables système