Tutorial: Conexión del entorno de desarrollo a MLflow

En esta página se muestra cómo crear un experimento de MLflow y conectar el entorno de desarrollo a él.

Un experimento de MLflow sirve como contenedor para tu aplicación GenAI. Obtenga más información sobre los experimentos de MLflow en la guía de concepto del modelo de datos del experimento .

Vaya a la sección pertinente para el entorno de desarrollo:

• Localmente en un IDE o cuaderno
• Cuaderno hospedado en Databricks

Entorno de desarrollo locales

Paso 1: Instalación de MLflow

Instale MLflow con conectividad de Databricks:

pip install --upgrade "mlflow[databricks]>=3.1"

Paso 2: Creación de un experimento de MLflow

1. Abra el área de trabajo de Databricks.
2. En la barra lateral izquierda, en AI/ML, haga clic en Experimentos.
3. En la parte superior de la página Experimentos, haga clic en Aplicaciones y agentes de GenAI.

Paso 3: Configuración de la autenticación

Elija uno de los métodos de autenticación siguientes:

Variables de entorno

1. En el experimento de MLflow, haga clic en el icono de menú >Seguimientos de registro localmente> Haga clic en Generar clave de API.
2. Copie y ejecute el código generado en el terminal:

export DATABRICKS_TOKEN=<databricks-personal-access-token>
export DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
export MLFLOW_TRACKING_URI=databricks
export MLFLOW_REGISTRY_URI=databricks-uc
export MLFLOW_EXPERIMENT_ID=<experiment-id>

Archivo .env

1. En el experimento de MLflow, haga clic en el icono de menú >Seguimientos de registro localmente> Haga clic en Generar clave de API.
2. Copie el código generado en un .env archivo en la raíz del proyecto:

DATABRICKS_TOKEN=<databricks-personal-access-token>
DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
MLFLOW_TRACKING_URI=databricks
MLFLOW_REGISTRY_URI=databricks-uc
MLFLOW_EXPERIMENT_ID=<experiment-id>

1. Instala el paquete python-dotenv:

pip install python-dotenv

1. Cargue variables de entorno en el código:

# At the beginning of your Python script
from dotenv import load_dotenv

# Load environment variables from .env file
load_dotenv()

Paso 4: Comprobar la conexión

Cree un archivo de prueba y ejecute este código para comprobar la conexión y registrar un seguimiento de prueba en el experimento de MLflow:

import mlflow
import os

experiment_id = os.environ.get("MLFLOW_EXPERIMENT_ID")
databricks_host = os.environ.get("DATABRICKS_HOST")
mlflow_tracking_uri = os.environ.get("MLFLOW_TRACKING_URI")

if experiment_id is None or databricks_host is None or mlflow_tracking_uri is None:
    raise Exception("Environment variables are not configured correctly.")

@mlflow.trace
def hello_mlflow(message: str):

    hello_data = {
        "experiment_url": f"{databricks_host}/mlflow/experiments/{experiment_id}",
        "experiment_name": mlflow.get_experiment(experiment_id=experiment_id).name,
        "message": message,
    }
    return hello_data

result = hello_mlflow("hello, world!")
print(result)

Desarrollar en un cuaderno hospedado en Databricks

Paso 1: Crear un cuaderno

Al crear un cuaderno de Databricks, se crea un experimento de MLflow que es el contenedor de la aplicación GenAI. Para más información sobre los experimentos, consulte modelo de datos.

1. Abra el área de trabajo de Databricks.
2. Vaya a Nuevo en la parte superior de la barra lateral izquierda.
3. Haga clic en Bloc de notas.

Paso 2: Instalación de MLflow

Los entornos de ejecución de Databricks incluyen MLflow, pero para obtener la mejor experiencia con las funcionalidades de GenAI, actualice a la versión más reciente:

%pip install --upgrade "mlflow[databricks]>=3.1"
dbutils.library.restartPython()

Paso 3: Configuración de la autenticación

No se necesita ninguna configuración de autenticación adicional al trabajar en un cuaderno de Databricks. El cuaderno tiene acceso automáticamente al área de trabajo y al experimento de MLflow asociado.

Paso 4: Comprobar la conexión

Ejecute este código en una celda del cuaderno para comprobar la conexión. Verá aparecer un seguimiento de MLflow debajo de la celda de su notebook.

import mlflow
import os

@mlflow.trace
def hello_mlflow(message: str):
    hello_data = {
        "message": message,
    }
    return hello_data

result = hello_mlflow("hello, world!")
print(result)

Pasos siguientes

• Instrumenta tu aplicación con seguimiento (IDE) - Añade seguimiento de MLflow a tu aplicación GenAI en un IDE local
• Instrumente su app con tracing (Notebook) - Añada MLflow Tracing en un Notebook de Databricks

Guías de referencia

Para más información sobre los conceptos y características de esta guía, consulte:

• Experimentos de MLflow : descripción del contenedor de experimentos de la aplicación GenAI
• Autenticación de Databricks : exploración de todos los métodos de autenticación disponibles
• Conceptos de seguimiento : conozca los aspectos básicos del seguimiento de MLflow