Adicionar um recurso de experiência MLflow a uma aplicação Databricks

Adicione experimentos MLflow como recursos nas aplicações do Databricks para permitir o acompanhamento de experimentos de machine learning nas suas aplicações. As experiências MLflow fornecem uma forma estruturada de organizar e registar execuções de treino, acompanhar parâmetros, métricas e artefactos ao longo do ciclo de vida do desenvolvimento do modelo.

Quando adiciona um experimento MLflow como recurso, a sua aplicação pode:

• Registar execuções de treino com parâmetros e métricas
• Recuperar dados de experiências e comparar o desempenho dos modelos
• Aceder aos metadados dos experimentos e ao histórico de execuções
• Gerir o ciclo de vida do ML de forma programática

Adicionar um recurso de experimento MLflow

Antes de adicionar uma experiência MLflow como recurso, revê os pré-requisitos de recursos da aplicação.

1. Quando criar ou editar uma aplicação, navegue até ao passo Configurar .
2. Na secção de recursos da App , clique em + Adicionar recurso.
3. Selecione o experimento MLflow como tipo de recurso.
4. Escolha um experimento MLflow da lista de experiências disponíveis no seu espaço de trabalho.
5. Selecione o nível de permissão apropriado para seu aplicativo:
   • Pode ler: Concede à aplicação permissão para visualizar metadados de experiências, execuções, parâmetros e métricas. Use para aplicações que mostrem resultados de experiências.
   • Posso editar: Concede à aplicação permissão para modificar definições e metadados do experimento.
   • Consegue gerir: Concede à aplicação acesso administrativo total ao experimento.
6. (Opcional) Especifica uma chave de recurso personalizada, que é como referencias o experimento na configuração da tua aplicação. A chave padrão é experiment.

Quando adiciona um recurso de experimento no MLflow:

• O Azure Databricks concede ao principal de serviço da sua aplicação as permissões especificadas para o experimento selecionado.
• A aplicação pode registar execuções de treino e aceder a dados de experiências através da API de Rastreamento MLflow.
• O acesso é limitado apenas ao experimento selecionado. A tua aplicação não pode aceder a outros experimentos a menos que os adiciones como recursos separados.

Variáveis de ambiente

Quando implementas uma aplicação com um recurso de experiência MLflow, o Azure Databricks expõe o ID do experimento através de variáveis de ambiente que podes consultar usando o valueFrom campo na tua app.yaml configuração.

Exemplo de configuração:

env:
  - name: MLFLOW_EXPERIMENT_ID
    valueFrom: experiment # Use your custom resource key if different

Usando o ID do experimento na sua aplicação:

import os
import mlflow

# Access the experiment using the injected environment variable
experiment_id = os.getenv("MLFLOW_EXPERIMENT_ID")

# Set the experiment for tracking
mlflow.set_experiment(experiment_id=experiment_id)

# Log parameters and metrics
with mlflow.start_run():
    mlflow.log_param("learning_rate", 0.01)
    mlflow.log_metric("accuracy", 0.95)
    mlflow.log_artifact("model.pkl")

Para obter mais informações, consulte Acessar variáveis de ambiente a partir de recursos.

Remover um recurso do Experimento MLflow

Quando remove um recurso do MLflow Experiment de uma aplicação, o principal de serviço da aplicação perde o acesso ao experimento. A experiência em si mantém-se inalterada e continua disponível para outros utilizadores e aplicações que tenham permissões apropriadas.

Melhores práticas

Siga estas melhores práticas ao trabalhar com recursos de experiências MLflow:

• Organize as experiências logicamente por tipo de projeto ou modelo para melhorar a descoberta.
• Utilize convenções de nomenclatura consistentes para execuções e parâmetros em toda a sua organização.
• Considere políticas de retenção de experiências e gestão de armazenamento para projetos de longa duração.