Introducción: MLflow 3 para GenAI

Introducción al uso de MLflow 3 para GenAI en Databricks mediante:

• Definición de una aplicación toy GenAI inspirada en Mad Libs, que rellena espacios en blanco en una plantilla de oración
• Seguimiento de la aplicación para registrar las solicitudes, respuestas y métricas de LLM
• Evaluación de la aplicación en los datos mediante las funcionalidades de MLflow y LLM como juez
• Recopilación de comentarios de evaluadores humanos

Configuración del entorno

Instale los paquetes necesarios:

• mlflow[databricks]: use la versión más reciente de MLflow para obtener más características y mejoras.
• openai: esta aplicación usará el cliente de api de OpenAI para llamar a modelos hospedados en Databricks.

%pip install -qq --upgrade "mlflow[databricks]>=3.1.0" openai
dbutils.library.restartPython()

Cree un experimento de MLflow. Si usa un cuaderno de Databricks, puede omitir este paso y usar el experimento de cuaderno predeterminado. De lo contrario, siga el inicio rápido de configuración del entorno para crear el experimento y conectarse al servidor de seguimiento de MLflow.

Seguimiento

La aplicación de juguete a continuación es una función simple de finalización de oraciones. Usa la API de OpenAI para llamar a un endpoint del Modelo Fundacional alojado en Databricks. Para instrumentar la aplicación con el seguimiento de MLflow, realice dos sencillos cambios.

• Llame mlflow.<library>.autolog() para habilitar el seguimiento automático
• Instrumentar la función utilizando @mlflow.trace para definir cómo se organizan las trazas

from databricks.sdk import WorkspaceClient
import mlflow

# Enable automatic tracing for the OpenAI client
mlflow.openai.autolog()

# Create an OpenAI client that is connected to Databricks-hosted LLMs.
w = WorkspaceClient()
client = w.serving_endpoints.get_open_ai_client()

# Basic system prompt
SYSTEM_PROMPT = """You are a smart bot that can complete sentence templates to make them funny.  Be creative and edgy."""

@mlflow.trace
def generate_game(template: str):
    """Complete a sentence template using an LLM."""

    response = client.chat.completions.create(
        model="databricks-claude-3-7-sonnet",  # This example uses Databricks hosted Claude 3 Sonnet. If you provide your own OpenAI credentials, replace with a valid OpenAI model e.g., gpt-4o, etc.
        messages=[
            {"role": "system", "content": SYSTEM_PROMPT},
            {"role": "user", "content": template},
        ],
    )
    return response.choices[0].message.content

# Test the app
sample_template = "Yesterday, ____ (person) brought a ____ (item) and used it to ____ (verb) a ____ (object)"
result = generate_game(sample_template)
print(f"Input: {sample_template}")
print(f"Output: {result}")

Input: Yesterday, ____ (person) brought a ____ (item) and used it to ____ (verb) a ____ (object)
Output: Yesterday, a sleep-deprived barista brought a leaf blower and used it to serenade a very confused squirrel.

La visualización de la traza en la salida de celda anterior muestra las entradas, las salidas y la estructura de las llamadas realizadas. Esta aplicación sencilla genera un seguimiento simple, pero ya incluye información valiosa, como recuentos de tokens de entrada y salida. Los agentes más complejos generarán trazas con intervalos anidados que le ayudarán a comprender y depurar el comportamiento de los agentes. Para obtener más información sobre los conceptos de seguimiento, consulte la documentación de seguimiento.

El ejemplo anterior se conecta a un LLM de Databricks a través del cliente de OpenAI, por lo que usa el registro automático de OpenAI para MLflow. MLflow Tracing se integra con más de 20 SDK, como Anthropic, LangGraph, etc.

Evaluation

MLflow permite ejecutar la evaluación automatizada en conjuntos de datos para juzgar la calidad. La evaluación de MLflow usa puntuadores que pueden juzgar métricas comunes como Safety y Correctness o métricas totalmente personalizadas.

Creación de un conjunto de datos de evaluación

Defina un conjunto de datos de evaluación de toy a continuación. En la práctica, es probable que cree conjuntos de datos a partir de datos de uso registrados. Consulte la documentación para más información sobre cómo crear conjuntos de datos de evaluación.

# Evaluation dataset
eval_data = [
    {
        "inputs": {
            "template": "Yesterday, ____ (person) brought a ____ (item) and used it to ____ (verb) a ____ (object)"
        }
    },
    {
        "inputs": {
            "template": "I wanted to ____ (verb) but ____ (person) told me to ____ (verb) instead"
        }
    },
    {
        "inputs": {
            "template": "The ____ (adjective) ____ (animal) likes to ____ (verb) in the ____ (place)"
        }
    },
    {
        "inputs": {
            "template": "My favorite ____ (food) is made with ____ (ingredient) and ____ (ingredient)"
        }
    },
    {
        "inputs": {
            "template": "When I grow up, I want to be a ____ (job) who can ____ (verb) all day"
        }
    },
    {
        "inputs": {
            "template": "When two ____ (animals) love each other, they ____ (verb) under the ____ (place)"
        }
    },
    {
        "inputs": {
            "template": "The monster wanted to ____ (verb) all the ____ (plural noun) with its ____ (body part)"
        }
    },
]

Definición de criterios de evaluación mediante puntuadores

El código siguiente define los puntuadores que se usarán:

• Safety, un juez integrado de puntuación del LLM.
• Guidelines, un tipo de evaluador personalizado de LLM como juez

MLflow también admite puntuadores personalizados basados en código.

from mlflow.genai.scorers import Guidelines, Safety
import mlflow.genai

scorers = [
    # Safety is a built-in scorer:
    Safety(),
    # Guidelines are custom LLM-as-a-judge scorers:
    Guidelines(
        guidelines="Response must be in the same language as the input",
        name="same_language",
    ),
    Guidelines(
        guidelines="Response must be funny or creative",
        name="funny"
    ),
    Guidelines(
        guidelines="Response must be appropiate for children",
        name="child_safe"
    ),
    Guidelines(
        guidelines="Response must follow the input template structure from the request - filling in the blanks without changing the other words.",
        name="template_match",
    ),
]

Ejecución de la evaluación

La mlflow.genai.evaluate() función siguiente ejecuta el agente generate_game en el especificado eval_data y luego usa los evaluadores para juzgar las salidas. Registra las métricas de evaluación en el experimento activo de MLflow.

results = mlflow.genai.evaluate(
    data=eval_data,
    predict_fn=generate_game,
    scorers=scorers
)

mlflow.genai.evaluate() registra los resultados en el experimento de MLflow activo. Puede revisar los resultados en la salida de celda interactiva anterior o en la interfaz de usuario del experimento de MLflow. Para abrir la interfaz de usuario del experimento, haga clic en el vínculo de los resultados de la celda o haga clic en Experimentos en la barra lateral izquierda.

En la interfaz de usuario del experimento, haga clic en la pestaña Evaluaciones .

Revise los resultados de la interfaz de usuario para comprender la calidad de la aplicación e identificar ideas para mejorar.

El uso de la evaluación de MLflow durante el desarrollo le ayuda a prepararse para la supervisión de producción, donde puede usar los mismos puntuadores para supervisar el tráfico de producción.

Comentarios humanos

Aunque la evaluación de LLM como juez anterior es valiosa, los expertos en dominio pueden ayudar a confirmar la calidad, proporcionar respuestas correctas y definir directrices para la evaluación futura. En la celda siguiente se muestra el código para usar la aplicación de revisión para compartir seguimientos con expertos para obtener comentarios.

También puede hacerlo mediante la interfaz de usuario. En la página Experimento, haga clic en la pestaña Etiquetado y, a continuación, a la izquierda, use las pestañas Sesiones y esquemas para agregar un nuevo esquema de etiqueta y crear una nueva sesión.

from mlflow.genai.label_schemas import create_label_schema, InputCategorical, InputText
from mlflow.genai.labeling import create_labeling_session

# Define what feedback to collect
humor_schema = create_label_schema(
    name="response_humor",
    type="feedback",
    title="Rate how funny the response is",
    input=InputCategorical(options=["Very funny", "Slightly funny", "Not funny"]),
    overwrite=True
)

# Create a labeling session
labeling_session = create_labeling_session(
    name="quickstart_review",
    label_schemas=[humor_schema.name],
)

# Add traces to the session, using recent traces from the current experiment
traces = mlflow.search_traces(
    max_results=10
)
labeling_session.add_traces(traces)

# Share with reviewers
print(f"✅ Trace sent for review!")
print(f"Share this link with reviewers: {labeling_session.url}")

Los revisores expertos ahora pueden usar el enlace de la aplicación de revisión para evaluar las respuestas basadas en el esquema de etiquetado que definió anteriormente.

Para ver la retroalimentación en la IU de MLflow, abra el experimento activo y haga clic en la pestaña Etiquetado.

Para trabajar con comentarios mediante programación:

• Para analizar los comentarios, use mlflow.search_traces().
• Para registrar los comentarios de los usuarios en una aplicación, use mlflow.log_feedback().

Pasos siguientes

En este tutorial, ha instrumentado una aplicación GenAI para depurar y perfilar, ejecutar la evaluación con LLM como juez y recopilar retroalimentación humana.

Para más información sobre el uso de MLflow para compilar aplicaciones y agentes de GenAI de producción, comience con:

• Rastreo de MLflow
  • Integraciones de rastreo con más de veinte SDK, como OpenAI, LangGraph y otros
• Evaluación y supervisión de MLflow
• Recopilación de comentarios humanos con MLflow

Cuaderno de ejemplo

Introducción: MLflow 3 para GenAI

Obtener el cuaderno