Samouczek: łączenie środowiska projektowego z platformą MLflow

Na tej stronie przedstawiono sposób tworzenia eksperymentu MLflow i łączenia środowiska deweloperskiego z nim.

Eksperyment w MLflow to kontener dla aplikacji GenAI. Dowiedz się więcej na temat eksperymentów MLflow w przewodniku po koncepcji modelu danych eksperymentu .

Przejdź do sekcji dotyczącej środowiska deweloperskiego:

• Lokalnie w środowisku IDE lub notebooku
• Notatnik hostowany na platformie Databricks

Lokalne środowisko projektowe

Krok 1. Instalowanie biblioteki MLflow

Zainstaluj platformę MLflow z łącznością usługi Databricks:

pip install --upgrade "mlflow[databricks]>=3.1"

Krok 2. Tworzenie eksperymentu MLflow

1. Zaloguj się do obszaru roboczego usługi Databricks.
2. Na lewym pasku bocznym w obszarze Sztuczna inteligencja/uczenie maszynowe kliknij pozycję Eksperymenty.
3. W górnej części strony Eksperymenty kliknij pozycję Aplikacje i agenci genAI.

Krok 3. Konfigurowanie uwierzytelniania

Wybierz jedną z następujących metod uwierzytelniania:

Zmienne środowiskowe

1. W eksperymencie MLflow kliknij ikonę >Logować ślady lokalnie>, a następnie kliknij Generuj klucz interfejsu API.
2. Skopiuj i uruchom wygenerowany kod w terminalu:

export DATABRICKS_TOKEN=<databricks-personal-access-token>
export DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
export MLFLOW_TRACKING_URI=databricks
export MLFLOW_REGISTRY_URI=databricks-uc
export MLFLOW_EXPERIMENT_ID=<experiment-id>

Plik .env

1. W eksperymencie MLflow kliknij ikonę >Logować ślady lokalnie>, a następnie kliknij Generuj klucz interfejsu API.
2. Skopiuj wygenerowany kod do .env pliku w katalogu głównym projektu:

DATABRICKS_TOKEN=<databricks-personal-access-token>
DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
MLFLOW_TRACKING_URI=databricks
MLFLOW_REGISTRY_URI=databricks-uc
MLFLOW_EXPERIMENT_ID=<experiment-id>

1. python-dotenv Zainstaluj pakiet:

pip install python-dotenv

1. Załaduj zmienne środowiskowe w kodzie:

# At the beginning of your Python script
from dotenv import load_dotenv

# Load environment variables from .env file
load_dotenv()

Krok 4. Weryfikowanie połączenia

Utwórz plik testowy i uruchom ten kod, aby zweryfikować połączenie i zarejestrować ślad testu w eksperymencie MLflow:

import mlflow
import os

experiment_id = os.environ.get("MLFLOW_EXPERIMENT_ID")
databricks_host = os.environ.get("DATABRICKS_HOST")
mlflow_tracking_uri = os.environ.get("MLFLOW_TRACKING_URI")

if experiment_id is None or databricks_host is None or mlflow_tracking_uri is None:
    raise Exception("Environment variables are not configured correctly.")

@mlflow.trace
def hello_mlflow(message: str):

    hello_data = {
        "experiment_url": f"{databricks_host}/mlflow/experiments/{experiment_id}",
        "experiment_name": mlflow.get_experiment(experiment_id=experiment_id).name,
        "message": message,
    }
    return hello_data

result = hello_mlflow("hello, world!")
print(result)

Programowanie w notesie hostowanym w usłudze Databricks

Krok 1. Tworzenie notesu

Tworzenie notesu usługi Databricks powoduje utworzenie eksperymentu MLflow, który jest kontenerem dla twojej aplikacji GenAI. Aby dowiedzieć się więcej na temat eksperymentów, zobacz model danych.

1. Zaloguj się do obszaru roboczego usługi Databricks.
2. Przejdź do pozycji Nowy w górnej części lewego paska bocznego.
3. Kliknij Notebook.

Krok 2. Instalowanie biblioteki MLflow

Środowiska uruchomieniowe usługi Databricks obejmują platformę MLflow, ale aby uzyskać najlepsze środowisko z możliwościami usługi GenAI, zaktualizuj do najnowszej wersji:

%pip install --upgrade "mlflow[databricks]>=3.1"
dbutils.library.restartPython()

Krok 3. Konfigurowanie uwierzytelniania

Podczas pracy w notesie usługi Databricks nie jest wymagana żadna dodatkowa konfiguracja uwierzytelniania. Ten notatnik automatycznie ma dostęp do obszaru roboczego i skojarzonego eksperymentu MLflow.

Krok 4. Weryfikowanie połączenia

Uruchom ten kod w komórce notesu, aby zweryfikować połączenie. Zobaczysz ślad MLflow poniżej komórki notatnika.

import mlflow
import os

@mlflow.trace
def hello_mlflow(message: str):
    hello_data = {
        "message": message,
    }
    return hello_data

result = hello_mlflow("hello, world!")
print(result)

Dalsze kroki

• Instrumentacja aplikacji za pomocą śledzenia (IDE) — dodawanie śledzenia MLflow do aplikacji GenAI w lokalnym środowisku IDE
• Instrumentacja aplikacji za pomocą śledzenia (notatnika) — dodawanie śledzenia MLflow w notatniku Databricks

Przewodniki referencyjne

Aby uzyskać szczegółowe informacje na temat pojęć i funkcji w tym przewodniku, zobacz:

• Eksperymenty MLflow — omówienie kontenera eksperymentów dla aplikacji GenAI
• Uwierzytelnianie usługi Databricks — eksplorowanie wszystkich dostępnych metod uwierzytelniania
• Pojęcia dotyczące śledzenia — poznaj podstawy śledzenia MLflow