Tutorial: Conectar seu ambiente de desenvolvimento ao MLflow

Esta página mostra como criar um Experimento do MLflow e conectar seu ambiente de desenvolvimento a ele.

Um experimento do MLflow é o contêiner para seu aplicativo GenAI. Saiba mais sobre os Experimentos do MLflow no guia de conceito do modelo de dados do Experimento .

Vá para a seção relevante para seu ambiente de desenvolvimento:

• Localmente em um IDE ou notebook
• Notebook hospedado pelo Databricks

Ambiente de desenvolvimento local

Etapa 1: Instalar o MLflow

Instale o MLflow com conexão ao Databricks:

pip install --upgrade "mlflow[databricks]>=3.1"

Etapa 2: Criar um experimento do MLflow

1. Abra o workspace do Databricks.
2. Na barra lateral esquerda, em IA/ML, clique em Experimentos.
3. Na parte superior da página Experimentos, clique em aplicativos e agentes do GenAI.

Etapa 3: Configurar a autenticação

Escolha um dos seguintes métodos de autenticação:

Variáveis de ambiente

1. Em seu Experimento do MLflow, clique no ícone de menu >Rastreamentos de log localmente> clique em Gerar Chave de API.
2. Copie e execute o código gerado no terminal:

export DATABRICKS_TOKEN=<databricks-personal-access-token>
export DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
export MLFLOW_TRACKING_URI=databricks
export MLFLOW_REGISTRY_URI=databricks-uc
export MLFLOW_EXPERIMENT_ID=<experiment-id>

Arquivo .env

1. Em seu Experimento do MLflow, clique no ícone de menu >Rastreamentos de log localmente> clique em Gerar Chave de API.
2. Copie o código gerado para um .env arquivo na raiz do projeto:

DATABRICKS_TOKEN=<databricks-personal-access-token>
DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
MLFLOW_TRACKING_URI=databricks
MLFLOW_REGISTRY_URI=databricks-uc
MLFLOW_EXPERIMENT_ID=<experiment-id>

1. Instalar o pacote python-dotenv:

pip install python-dotenv

1. Carregue variáveis de ambiente em seu código:

# At the beginning of your Python script
from dotenv import load_dotenv

# Load environment variables from .env file
load_dotenv()

Etapa 4: Verificar sua conexão

Crie um arquivo de teste e execute este código para verificar sua conexão e registrar um rastreamento de teste no experimento do MLflow:

import mlflow
import os

experiment_id = os.environ.get("MLFLOW_EXPERIMENT_ID")
databricks_host = os.environ.get("DATABRICKS_HOST")
mlflow_tracking_uri = os.environ.get("MLFLOW_TRACKING_URI")

if experiment_id is None or databricks_host is None or mlflow_tracking_uri is None:
    raise Exception("Environment variables are not configured correctly.")

@mlflow.trace
def hello_mlflow(message: str):

    hello_data = {
        "experiment_url": f"{databricks_host}/mlflow/experiments/{experiment_id}",
        "experiment_name": mlflow.get_experiment(experiment_id=experiment_id).name,
        "message": message,
    }
    return hello_data

result = hello_mlflow("hello, world!")
print(result)

Desenvolver em um Notebook hospedado pelo Databricks

Etapa 1: Criar um notebook

A criação de um Databricks Notebook cria um experimento MLflow que é o contêiner para o seu aplicativo GenAI. Para saber mais sobre experimentos, consulte o modelo de dados.

1. Abra o workspace do Databricks.
2. Vá para New na parte superior da barra lateral esquerda.
3. Clique em Notebook.

Etapa 2: Instalar o MLflow

Os runtimes do Databricks incluem o MLflow, mas para obter a melhor experiência com os recursos do GenAI, atualize para a versão mais recente:

%pip install --upgrade "mlflow[databricks]>=3.1"
dbutils.library.restartPython()

Etapa 3: Configurar a autenticação

Nenhuma configuração de autenticação adicional é necessária ao trabalhar em um Databricks Notebook. O notebook tem acesso automaticamente ao seu workspace e ao Experimento de MLflow associado.

Etapa 4: Verificar sua conexão

Execute esse código em uma célula de notebook para verificar sua conexão. Você verá um rastreamento do MLflow aparecer abaixo da célula do notebook.

import mlflow
import os

@mlflow.trace
def hello_mlflow(message: str):
    hello_data = {
        "message": message,
    }
    return hello_data

result = hello_mlflow("hello, world!")
print(result)

Próximas etapas

• Instrumentar seu aplicativo com rastreamento (IDE) – Adicionar o Rastreamento do MLflow ao seu aplicativo GenAI em um IDE local
• Instrumentar seu aplicativo com rastreamento (Notebook) – Adicionar MLflow Tracing em um notebook do Databricks

Guias de referência

Para obter detalhes sobre conceitos e recursos neste guia, consulte:

• Experimentos do MLflow – Entender o contêiner de experimentos para seu aplicativo GenAI
• Autenticação do Databricks – Explorar todos os métodos de autenticação disponíveis
• Conceitos de rastreamento – Conheça os conceitos básicos do Rastreamento do MLflow