Tutorial: Conecte seu ambiente de desenvolvimento ao MLflow

Esta página mostra como criar um experimento MLflow e conectar seu ambiente de desenvolvimento a ele.

Um experimento MLflow é o contêiner para seu aplicativo GenAI. Saiba mais sobre os Experimentos MLflow no guia de conceito do modelo de dados do Experimento .

Vá para a seção relevante para seu ambiente de desenvolvimento:

• Localmente em um IDE ou notebook
• Notebook hospedado em Databricks

Ambiente de desenvolvimento local

Etapa 1: Instalar o MLflow

Instale o MLflow com a conectividade do Databricks:

pip install --upgrade "mlflow[databricks]>=3.1"

Passo 2: Criar uma Experiência MLflow

1. Abra a sua área de trabalho do Databricks.
2. Na barra lateral esquerda, em AI/ML, clique em Experiências.
3. Na parte superior da página Experimentos, clique em Aplicativos GenAI & agentes.

Etapa 3: Configurar a autenticação

Escolha um dos seguintes métodos de autenticação:

Variáveis de ambiente

1. No seu experimento MLflow, clique no ícone do menu Kebab >Registar rastreios localmente> e clique em Gerar chave de API.
2. Copie e execute o código gerado no seu terminal:

export DATABRICKS_TOKEN=<databricks-personal-access-token>
export DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
export MLFLOW_TRACKING_URI=databricks
export MLFLOW_REGISTRY_URI=databricks-uc
export MLFLOW_EXPERIMENT_ID=<experiment-id>

Arquivo .env

1. No seu experimento MLflow, clique no ícone do menu Kebab >Registar rastreios localmente> e clique em Gerar chave de API.
2. Copie o código gerado para um .env arquivo na raiz do projeto:

DATABRICKS_TOKEN=<databricks-personal-access-token>
DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
MLFLOW_TRACKING_URI=databricks
MLFLOW_REGISTRY_URI=databricks-uc
MLFLOW_EXPERIMENT_ID=<experiment-id>

1. Instale o pacote python-dotenv:

pip install python-dotenv

1. Carregue variáveis de ambiente em seu código:

# At the beginning of your Python script
from dotenv import load_dotenv

# Load environment variables from .env file
load_dotenv()

Passo 4: Verificar a ligação

Crie um arquivo de teste e execute este código para verificar sua conexão e registrar um rastreamento de teste em seu experimento MLflow:

import mlflow
import os

experiment_id = os.environ.get("MLFLOW_EXPERIMENT_ID")
databricks_host = os.environ.get("DATABRICKS_HOST")
mlflow_tracking_uri = os.environ.get("MLFLOW_TRACKING_URI")

if experiment_id is None or databricks_host is None or mlflow_tracking_uri is None:
    raise Exception("Environment variables are not configured correctly.")

@mlflow.trace
def hello_mlflow(message: str):

    hello_data = {
        "experiment_url": f"{databricks_host}/mlflow/experiments/{experiment_id}",
        "experiment_name": mlflow.get_experiment(experiment_id=experiment_id).name,
        "message": message,
    }
    return hello_data

result = hello_mlflow("hello, world!")
print(result)

Desenvolver em um Notebook hospedado no Databricks

Etapa 1: Criar um bloco de anotações

A criação de um Notebook Databricks cria um Experimento MLflow que é o contêiner para o seu aplicativo GenAI. Para saber mais sobre experimentos, consulte Modelo de dados.

1. Abra a sua área de trabalho do Databricks.
2. Vá para Novo na parte superior da barra lateral esquerda.
3. Clique em Bloco de Notas.

Etapa 2: Instalar o MLflow

Os tempos de execução do Databricks incluem MLflow, mas para obter a melhor experiência com os recursos do GenAI, atualize para a versão mais recente:

%pip install --upgrade "mlflow[databricks]>=3.1"
dbutils.library.restartPython()

Etapa 3: Configurar a autenticação

Nenhuma configuração de autenticação adicional é necessária ao trabalhar num Notebook Databricks. O bloco de notas tem automaticamente acesso à sua área de trabalho e à Experiência MLflow associada.

Passo 4: Verificar a ligação

Execute esse código em uma célula do bloco de anotações para verificar sua conexão. Você verá um rastreamento MLflow aparecer abaixo da célula do caderno.

import mlflow
import os

@mlflow.trace
def hello_mlflow(message: str):
    hello_data = {
        "message": message,
    }
    return hello_data

result = hello_mlflow("hello, world!")
print(result)

Próximos passos

• Instrumente seu aplicativo com rastreamento (IDE) - Adicione o rastreamento MLflow ao seu aplicativo GenAI em um IDE local
• Instrumente seu aplicativo com rastreamento (Notebook) - Adicionar rastreamento MLflow em um Bloco de Anotações Databricks

Guias de referência

Para obter detalhes sobre conceitos e recursos neste guia, consulte:

• Experimentos MLflow - Entenda o contêiner de experimentos para seu aplicativo GenAI
• Autenticação no Databricks - Explore todos os métodos de autenticação disponíveis
• Conceitos de rastreamento - Aprenda os fundamentos do MLflow Tracing