Fluxo de trabalho de aprendizado profundo do MLflow 3

Notebook de exemplo

O notebook de exemplo executa um único trabalho de treinamento de modelo de aprendizado profundo com o PyTorch, que é acompanhado como uma execução do MLflow. Ele registra um modelo de ponto de verificação após cada 10 épocas. Cada ponto de verificação é registrado como um LoggedModel do MLflow. Usando a interface do usuário do MLflow ou a API de pesquisa, você pode inspecionar os modelos de ponto de verificação e classificá-los por precisão.

O notebook instala as bibliotecas scikit-learn e torch.

Modelo de aprendizado profundo do MLflow 3 com notebook de pontos de verificação

Obter laptop

Usar a interface do usuário para explorar o desempenho do modelo e registrar um modelo

Depois de executar o notebook, você pode ver os modelos de ponto de verificação salvos na interface de usuário do MLflow para experimentos. Um link para o experimento aparece na saída da célula do notebook, ou siga estas etapas:

1. Clique em Experimentos na barra lateral do workspace.

2. Encontre seu experimento na lista de experimentos. Você pode selecionar a caixa de seleção Somente meus experimentos ou usar a caixa de pesquisa Filtrar experimentos para filtrar a lista de experimentos.

3. Clique no nome do experimento. A página Execuções é aberta. O experimento contém uma execução do MLflow.

   

4. Clique na guia Modelos. Os modelos de ponto de verificação individuais são acompanhados nesta tela. Para cada ponto de verificação, você pode ver a precisão do modelo, juntamente com todos os seus parâmetros e metadados.

   

No notebook de exemplo, você registrou o modelo com melhor desempenho no Catálogo do Unity. Você também pode registrar um modelo na interface do usuário. Para fazer isso, siga estas etapas:

1. Na guia Modelos , clique no nome do modelo a ser registrado.

2. Na página de detalhes do modelo, no canto superior direito, clique em Registrar modelo.

   Dica

   Pode levar alguns minutos para que um modelo apareça na interface do usuário depois de registrá-lo. Não pressione o modelo de Registro mais de uma vez, caso contrário, você registrará modelos duplicados.

   

3. Selecione o Catálogo do Unity e selecione um nome de modelo existente no menu suspenso ou digite um novo nome.

   

4. Clique em Registrar.

Usar a API para classificar modelos de ponto de verificação

O código a seguir mostra como classificar os modelos de ponto de verificação por precisão. Para obter mais detalhes sobre como pesquisar modelos registrados usando a API, consulte Pesquisar e filtrar Modelos Registrados.

ranked_checkpoints = mlflow.search_logged_models(
  output_format="list",
  order_by=[{"field_name": "metrics.accuracy", "ascending": False}]
)

best_checkpoint: mlflow.entities.LoggedModel = ranked_checkpoints[0]
print(best_checkpoint.metrics[0])

<Metric:
  dataset_digest='9951783d',
  dataset_name='train',
  key='accuracy',
  model_id='m-bba8fa52b6a6499281c43ef17fcdac84',
  run_id='394928abe6fc4787aaf4e666ac89dc8a',
  step=90,
  timestamp=1730828771880,
  value=0.9553571428571429
>

worst_checkpoint: mlflow.entities.LoggedModel = ranked_checkpoints[-1]
print(worst_checkpoint.metrics[0])

<Metric:
  dataset_digest='9951783d',
  dataset_name='train',
  key='accuracy',
  model_id='m-88885bc26de7492f908069cfe15a1499',
  run_id='394928abe6fc4787aaf4e666ac89dc8a',
  step=0,
  timestamp=1730828730040,
  value=0.35714285714285715

Qual é a diferença entre a guia Modelos na página de experimentos do MLflow e a página de versão do modelo no Gerenciador de Catálogos?

A guia Modelos da página de experimentos e a página de versão do modelo no Gerenciador de Catálogos mostram informações semelhantes sobre o modelo. As duas visões têm funções diferentes no ciclo de vida de desenvolvimento e implantação do modelo.

• A guia Modelos da página de experimentos apresenta os resultados de modelos registrados de um experimento em uma única página. A guia Gráficos nesta página fornece visualizações para ajudá-lo a comparar modelos e selecionar as versões do modelo a serem registradas no Catálogo do Unity para uma possível implantação.
• No Gerenciador de Catálogos, a página de versão do modelo fornece uma visão geral de todos os resultados de desempenho e avaliação do modelo. Esta página mostra parâmetros de modelo, métricas e rastreamentos em todos os ambientes vinculados, incluindo diferentes espaços de trabalho, pontos de extremidade e experimentos. Isso é útil para monitoramento e implantação e funciona especialmente bem com trabalhos de implantação. A tarefa de avaliação em um trabalho de implantação cria métricas adicionais que aparecem nesta página. O aprovador do trabalho pode examinar esta página para avaliar se deve aprovar a versão do modelo para implantação.

Próximas etapas

Para saber mais sobre o LoggedModel rastreamento introduzido no MLflow 3, confira o seguinte artigo:

• Acompanhe e compare modelos usando modelos registrados no MLflow.

Para saber mais sobre como usar o MLflow 3 com fluxos de trabalho ML tradicionais, consulte o seguinte artigo:

• Fluxo de trabalho tradicional de ML com MLflow 3.