Lernprogramm: Verbinden Ihrer Entwicklungsumgebung mit MLflow

Auf dieser Seite erfahren Sie, wie Sie ein MLflow-Experiment erstellen und Ihre Entwicklungsumgebung damit verbinden.

Ein MLflow Experiment ist der Container für Ihre GenAI-Anwendung. Erfahren Sie mehr über MLflow-Experimente im Konzeptleitfaden für Das Experiment-Datenmodell .

Wechseln Sie zum Abschnitt, der für Ihre Entwicklungsumgebung relevant ist:

• Lokal in einer IDE oder einem Notebook
• In Databricks gehostetes Notebook

Lokale Entwicklungsumgebung

Schritt 1: Installieren von MLflow

Installieren sie MLflow mit Databricks-Konnektivität:

pip install --upgrade "mlflow[databricks]>=3.1"

Schritt 2: Erstellen eines MLflow-Experiments

1. Öffnen Sie Ihren Databricks-Arbeitsbereich.
2. Klicken Sie in der linken Randleiste unter AI/ML auf "Experimente".
3. Klicken Sie oben auf der Seite "Experimente" auf GenAI-Apps und -Agents.

Schritt 3: Konfigurieren der Authentifizierung

Wählen Sie eine der folgenden Authentifizierungsmethoden aus:

Umgebungsvariablen

1. Klicken Sie in Ihrem MLflow Experiment auf das Kebab-Menüsymbol "Kebab".Ablaufverfolgungen lokal protokollieren, klicken Sie auf "API-Schlüssel generieren."
2. Kopieren Sie den generierten Code in Ihrem Terminal, und führen Sie diesen aus:

export DATABRICKS_TOKEN=<databricks-personal-access-token>
export DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
export MLFLOW_TRACKING_URI=databricks
export MLFLOW_REGISTRY_URI=databricks-uc
export MLFLOW_EXPERIMENT_ID=<experiment-id>

env-Datei

1. Klicken Sie in Ihrem MLflow Experiment auf das Kebab-Menüsymbol "Kebab".Ablaufverfolgungen lokal protokollieren, klicken Sie auf "API-Schlüssel generieren."
2. Kopieren Sie den generierten Code in eine .env Datei im Projektstamm:

DATABRICKS_TOKEN=<databricks-personal-access-token>
DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
MLFLOW_TRACKING_URI=databricks
MLFLOW_REGISTRY_URI=databricks-uc
MLFLOW_EXPERIMENT_ID=<experiment-id>

1. Installieren Sie das Paket python-dotenv:

pip install python-dotenv

1. Laden sie Umgebungsvariablen in Ihrem Code:

# At the beginning of your Python script
from dotenv import load_dotenv

# Load environment variables from .env file
load_dotenv()

Schritt 4: Überprüfen Der Verbindung

Erstellen Sie eine Testdatei, und führen Sie diesen Code aus, um Ihre Verbindung zu überprüfen und eine Testablaufverfolgung in Ihrem MLflow-Experiment zu protokollieren:

import mlflow
import os

experiment_id = os.environ.get("MLFLOW_EXPERIMENT_ID")
databricks_host = os.environ.get("DATABRICKS_HOST")
mlflow_tracking_uri = os.environ.get("MLFLOW_TRACKING_URI")

if experiment_id is None or databricks_host is None or mlflow_tracking_uri is None:
    raise Exception("Environment variables are not configured correctly.")

@mlflow.trace
def hello_mlflow(message: str):

    hello_data = {
        "experiment_url": f"{databricks_host}/mlflow/experiments/{experiment_id}",
        "experiment_name": mlflow.get_experiment(experiment_id=experiment_id).name,
        "message": message,
    }
    return hello_data

result = hello_mlflow("hello, world!")
print(result)

Entwickeln in einem in Databricks gehosteten Notebook

Schritt 1: Erstellen eines Notizbuchs

Beim Erstellen eines Databricks-Notizbuchs wird ein MLflow Experiment erstellt, das der Container für Ihre GenAI-Anwendung ist. Weitere Informationen zu Experimenten finden Sie im Datenmodell.

1. Öffnen Sie Ihren Databricks-Arbeitsbereich.
2. Wechseln Sie oben in der linken Randleiste zu "Neu ".
3. Klicken Sie auf " Notizbuch".

Schritt 2: Installieren von MLflow

Databricks-Runtimes umfassen MLflow, aber für die beste Erfahrung mit GenAI-Funktionen aktualisieren Sie auf die neueste Version:

%pip install --upgrade "mlflow[databricks]>=3.1"
dbutils.library.restartPython()

Schritt 3: Konfigurieren der Authentifizierung

Beim Arbeiten in einem Databricks-Notizbuch ist keine zusätzliche Authentifizierungskonfiguration erforderlich. Das Notizbuch hat automatisch Zugriff auf Ihren Arbeitsbereich und das zugehörige MLflow Experiment.

Schritt 4: Überprüfen Der Verbindung

Führen Sie diesen Code in einer Notizbuchzelle aus, um Ihre Verbindung zu überprüfen. Unterhalb Ihrer Notebook-Zelle wird eine MLflow-Ablaufverfolgung angezeigt.

import mlflow
import os

@mlflow.trace
def hello_mlflow(message: str):
    hello_data = {
        "message": message,
    }
    return hello_data

result = hello_mlflow("hello, world!")
print(result)

Nächste Schritte

• Instrumentierung Ihrer App mit Tracing (IDE) – Hinzufügen von MLflow Tracing zu Ihrer GenAI-App in einer lokalen IDE
• Instrumentieren Sie Ihre App mit Tracing (Notizbuch) – Hinzufügen von MLflow Tracing in einem Databricks-Notizbuch

Referenzhandbücher

Ausführliche Informationen zu Konzepten und Features in diesem Handbuch finden Sie unter:

• MLflow-Experimente – Verstehen des Experimentcontainers für Ihre GenAI-Anwendung
• Databricks-Authentifizierung – Durchsuchen aller verfügbaren Authentifizierungsmethoden
• Ablaufverfolgungskonzepte – Lernen Sie die Grundlagen der MLflow-Ablaufverfolgung kennen