Adicionar um recurso de teste do MLflow a um aplicativo do Databricks

Adicione experimentos do MLflow como recursos do Databricks Apps para habilitar o acompanhamento de experimentos de machine learning em seus aplicativos. Os experimentos do MLflow fornecem uma maneira estruturada de organizar e registrar execuções de treinamento, rastrear parâmetros, métricas e artefatos em todo o ciclo de vida de desenvolvimento de modelos.

Quando você adiciona um experimento do MLflow como um recurso, seu aplicativo pode:

• Registrar execuções de treinamento com parâmetros e métricas
• Recuperar dados do experimento e comparar o desempenho do modelo
• Acessar metadados de experimento e histórico de execução
• Gerenciar o ciclo de vida de ML programaticamente

Adicionar um recurso de teste do MLflow

Antes de adicionar um experimento do MLflow como um recurso, examine os pré-requisitos do recurso de aplicativo.

1. Ao criar ou editar um aplicativo, navegue até a etapa Configurar.
2. Na seção Recursos do aplicativo, clique em + Adicionar recurso.
3. Selecione o experimento do MLflow como o tipo de recurso.
4. Escolha um experimento do MLflow na lista de experimentos disponíveis em seu workspace.
5. Selecione o nível de permissão apropriado para seu aplicativo:
   • Pode ler: Concede permissão ao aplicativo para exibir metadados de experimento, execuções, parâmetros e métricas. Use para aplicativos que exibem os resultados do experimento.
   • Pode editar: Concede ao aplicativo permissão para modificar as configurações e os metadados do experimento.
   • Pode gerenciar: Concede ao aplicativo acesso administrativo completo ao experimento.
6. (Opcional) Especifique uma chave de recurso personalizada, que é como você faz referência ao experimento na configuração do aplicativo. A chave padrão é experiment.

Quando você adiciona um recurso de teste do MLflow:

• O Azure Databricks atribui à entidade de serviço do aplicativo as permissões especificadas no experimento selecionado.
• O aplicativo pode registrar em log execuções de treinamento e acessar dados de experimento por meio da API de Acompanhamento do MLflow.
• O escopo do acesso é limitado apenas ao experimento selecionado. Seu aplicativo não pode acessar outros experimentos, a menos que você os adicione como recursos separados.

Variáveis de ambiente

Quando você implanta um aplicativo com um recurso de teste do MLflow, o Azure Databricks expõe a ID do experimento por meio de variáveis de ambiente que você pode referenciar usando o valueFrom campo em sua app.yaml configuração.

Configuração de exemplo:

env:
  - name: MLFLOW_EXPERIMENT_ID
    valueFrom: experiment # Use your custom resource key if different

Usando a ID do experimento em seu aplicativo:

import os
import mlflow

# Access the experiment using the injected environment variable
experiment_id = os.getenv("MLFLOW_EXPERIMENT_ID")

# Set the experiment for tracking
mlflow.set_experiment(experiment_id=experiment_id)

# Log parameters and metrics
with mlflow.start_run():
    mlflow.log_param("learning_rate", 0.01)
    mlflow.log_metric("accuracy", 0.95)
    mlflow.log_artifact("model.pkl")

Para obter mais informações, consulte Como acessar variáveis de ambiente dos recursos.

Remover um recurso do MLflow Experiment

Quando você remove um recurso de experimento do MLflow de um aplicativo, a entidade de serviço do aplicativo perde o acesso ao experimento. O experimento em si permanece inalterado e continua disponível para outros usuários e aplicativos que têm permissões apropriadas.

Práticas recomendadas

Siga estas práticas recomendadas ao trabalhar com recursos de experimento do MLflow:

• Organize experimentos logicamente por tipo de projeto ou modelo para melhorar a capacidade de descoberta.
• Use convenções de nomenclatura consistentes para execuções e parâmetros em toda a sua organização.
• Considere as políticas de retenção de experimentos e o gerenciamento de armazenamento para projetos de longa execução.