Tutoriel : Connecter votre environnement de développement à MLflow

Cette page vous montre comment créer une expérience MLflow et y connecter votre environnement de développement.

Une expérience MLflow est le conteneur de votre application GenAI. En savoir plus sur les expériences MLflow dans le guide de concept du modèle de données d’expérience .

Accédez à la section pertinente pour votre environnement de développement :

• Localement dans un IDE ou un notebook
• Notebook hébergé par Databricks

Environnement de développement local

Étape 1 : Installer MLflow

Installez MLflow avec la connectivité Databricks :

pip install --upgrade "mlflow[databricks]>=3.1"

Étape 2 : Créer une expérience MLflow

1. Ouvrez votre espace de travail Databricks.
2. Dans la barre latérale gauche, sous IA/ML, cliquez sur Expériences.
3. En haut de la page Expériences, cliquez sur Applications Et agents GenAI.

Étape 3 : Configurer l’authentification

Choisissez l’une des méthodes d’authentification suivantes :

Variables d’environnement

1. Dans votre expérience MLflow, cliquez sur >Enregistrer les traces localement> cliquez sur Générer une clé API.
2. Copiez et exécutez le code généré dans votre terminal :

export DATABRICKS_TOKEN=<databricks-personal-access-token>
export DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
export MLFLOW_TRACKING_URI=databricks
export MLFLOW_REGISTRY_URI=databricks-uc
export MLFLOW_EXPERIMENT_ID=<experiment-id>

Fichier .env

1. Dans votre expérience MLflow, cliquez sur >Enregistrer les traces localement> cliquez sur Générer une clé API.
2. Copiez le code généré dans un .env fichier à la racine de votre projet :

DATABRICKS_TOKEN=<databricks-personal-access-token>
DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
MLFLOW_TRACKING_URI=databricks
MLFLOW_REGISTRY_URI=databricks-uc
MLFLOW_EXPERIMENT_ID=<experiment-id>

1. Installez le package python-dotenv :

pip install python-dotenv

1. Chargez des variables d’environnement dans votre code :

# At the beginning of your Python script
from dotenv import load_dotenv

# Load environment variables from .env file
load_dotenv()

Étape 4 : Vérifier votre connexion

Créez un fichier de test et exécutez ce code pour vérifier votre connexion et enregistrer une trace de test dans votre expérience MLflow :

import mlflow
import os

experiment_id = os.environ.get("MLFLOW_EXPERIMENT_ID")
databricks_host = os.environ.get("DATABRICKS_HOST")
mlflow_tracking_uri = os.environ.get("MLFLOW_TRACKING_URI")

if experiment_id is None or databricks_host is None or mlflow_tracking_uri is None:
    raise Exception("Environment variables are not configured correctly.")

@mlflow.trace
def hello_mlflow(message: str):

    hello_data = {
        "experiment_url": f"{databricks_host}/mlflow/experiments/{experiment_id}",
        "experiment_name": mlflow.get_experiment(experiment_id=experiment_id).name,
        "message": message,
    }
    return hello_data

result = hello_mlflow("hello, world!")
print(result)

Développer dans un notebook hébergé par Databricks

Étape 1 : Créer un bloc-notes

La création d’un notebook Databricks crée une expérimentation MLflow qui sert de conteneur à votre application GenAI. Pour en savoir plus sur les expériences, consultez le modèle de données.

1. Ouvrez votre espace de travail Databricks.
2. Accédez à Nouveau en haut de la barre latérale gauche.
3. Cliquez sur Notebook.

Étape 2 : Installer MLflow

Les runtimes Databricks incluent MLflow, mais pour une expérience optimale avec les fonctionnalités GenAI, mettez à jour vers la dernière version :

%pip install --upgrade "mlflow[databricks]>=3.1"
dbutils.library.restartPython()

Étape 3 : Configurer l’authentification

Aucune configuration d’authentification supplémentaire n’est nécessaire lors de l’utilisation d’un notebook Databricks. Le notebook a automatiquement accès à votre espace de travail et à l’expérience MLflow associée.

Étape 4 : Vérifier votre connexion

Exécutez ce code dans une cellule de notebook pour vérifier votre connexion. Une trace MLflow s’affiche sous votre cellule de notebook.

import mlflow
import os

@mlflow.trace
def hello_mlflow(message: str):
    hello_data = {
        "message": message,
    }
    return hello_data

result = hello_mlflow("hello, world!")
print(result)

Étapes suivantes

• Instrumentez votre application avec le traçage (IDE) - Ajoutez le traçage MLflow à votre application GenAI dans un IDE local
• Instrumenter votre application avec le suivi (notebook) : ajoutez le suivi MLflow dans un notebook Databricks

Guides de référence

Pour plus d’informations sur les concepts et fonctionnalités de ce guide, consultez :

• Expériences MLflow - Comprendre le conteneur d’expériences pour votre application GenAI
• Authentification Databricks : explorer toutes les méthodes d’authentification disponibles
• Concepts de suivi - Découvrez les principes fondamentaux du suivi MLflow