Fluxo de trabalho de aprendizagem profunda MLflow 3

Exemplo de bloco de notas

O notebook de exemplo executa um único trabalho de treino de modelo de aprendizagem profunda com PyTorch, que é monitorado como uma execução MLflow. Ele registra um modelo de ponto de verificação a cada 10 épocas. Cada ponto de verificação é rastreado como um MLflow LoggedModel. Usando a interface do usuário ou a API de pesquisa do MLflow, você pode inspecionar os modelos de ponto de verificação e classificá-los por precisão.

O notebook instala as bibliotecas scikit-learn e torch.

Modelo de aprendizagem profunda MLflow 3 com notebook de pontos de verificação

Obter bloco de notas

Use a interface do usuário para explorar o desempenho do modelo e registrar um modelo

Depois de executar o notebook, pode-se visualizar os modelos de ponto de verificação salvos na interface de utilizador dos experimentos MLflow. Um link para o experimento aparece na saída da célula de caderno ou siga estas etapas:

1. Clique em Experimentos na barra lateral do espaço de trabalho.

2. Encontre seu experimento na lista de experimentos. Você pode marcar a caixa de seleção Somente meus experimentos ou usar a caixa de pesquisa Filtrar experimentos para filtrar a lista de experimentos.

3. Clique no nome da experiência. A página Executa é aberta. O experimento contém uma execução MLflow.

   

4. Clique na guia Modelos . Os modelos de pontos de verificação individuais são rastreados nesta tela. Para cada ponto de verificação, você pode ver a precisão do modelo, juntamente com todos os seus parâmetros e metadados.

   

No bloco de anotações de exemplo, você registrou o modelo com melhor desempenho no Unity Catalog. Você também pode registrar um modelo da interface do usuário. Para fazer isso, execute as seguintes etapas:

1. Na guia Modelos , clique no nome do modelo a ser registrado.

2. Na página de detalhes do modelo, no canto superior direito, clique em Registrar modelo.

   Sugestão

   Pode levar alguns minutos para que um modelo apareça na interface do usuário depois de registrá-lo. Não pressione o modelo Register mais de uma vez, caso contrário, você registrará modelos duplicados.

   

3. Selecione Unity Catalog e selecione um nome de modelo existente no menu suspenso ou digite um novo nome.

   

4. Clique em Registar.

Use a API para classificar modelos de ponto de verificação

O código a seguir mostra como classificar os modelos de ponto de verificação por precisão. Para obter mais detalhes sobre como pesquisar modelos registrados usando a API, consulte Pesquisar e filtrar modelos registrados.

ranked_checkpoints = mlflow.search_logged_models(
  output_format="list",
  order_by=[{"field_name": "metrics.accuracy", "ascending": False}]
)

best_checkpoint: mlflow.entities.LoggedModel = ranked_checkpoints[0]
print(best_checkpoint.metrics[0])

<Metric:
  dataset_digest='9951783d',
  dataset_name='train',
  key='accuracy',
  model_id='m-bba8fa52b6a6499281c43ef17fcdac84',
  run_id='394928abe6fc4787aaf4e666ac89dc8a',
  step=90,
  timestamp=1730828771880,
  value=0.9553571428571429
>

worst_checkpoint: mlflow.entities.LoggedModel = ranked_checkpoints[-1]
print(worst_checkpoint.metrics[0])

<Metric:
  dataset_digest='9951783d',
  dataset_name='train',
  key='accuracy',
  model_id='m-88885bc26de7492f908069cfe15a1499',
  run_id='394928abe6fc4787aaf4e666ac89dc8a',
  step=0,
  timestamp=1730828730040,
  value=0.35714285714285715

Qual é a diferença entre a guia Modelos na página do experimento MLflow e a página da versão do modelo no Gerenciador de Catálogos?

A guia Modelos da página do experimento e a página da versão do modelo no Catalog Explorer mostram informações semelhantes sobre o modelo. As duas visões têm funções diferentes no ciclo de vida de desenvolvimento e implantação do modelo.

• A guia Modelos da página do experimento apresenta os resultados dos modelos registrados de um experimento em uma única página. A guia Gráficos nesta página fornece visualizações para ajudá-lo a comparar modelos e selecionar as versões do modelo a serem registradas no Unity Catalog para possível implantação.
• No Catalog Explorer, a página de versão do modelo fornece uma visão geral de todos os resultados de avaliação e desempenho do modelo. Esta página mostra parâmetros de modelo, métricas e rastreamentos em todos os ambientes vinculados, incluindo diferentes espaços de trabalho, pontos de extremidade e experimentos. Isso é útil para monitoramento e implantação e funciona especialmente bem com trabalhos de implantação. A tarefa de avaliação em um trabalho de implantação cria métricas adicionais que aparecem nesta página. O aprovador do trabalho pode então revisar esta página para avaliar se deve aprovar a versão do modelo para implantação.

Próximos passos

Para saber mais sobre o LoggedModel acompanhamento introduzido no MLflow 3, consulte o seguinte artigo:

• Rastreie e compare modelos usando MLflow Logged Models.

Para saber mais sobre como usar o MLflow 3 com fluxos de trabalho de ML tradicionais, consulte o seguinte artigo:

• Fluxo de trabalho de ML tradicional do MLflow 3.