Acompanhar experimentos e modelos usando o MLflow

Para treinamento interativo, como em um Jupyter Notebook, use o seguinte comando MLflow mlflow.set_experiment(). Por exemplo, o snippet de código a seguir configura um exemplo de experimento:

experiment_name = 'hello-world-example'
mlflow.set_experiment(experiment_name)

Para enviar trabalhos usando a CLI ou o SDK do Azure Machine Learning, defina o nome do experimento usando a propriedade experiment_name do trabalho. Você não precisa configurar o nome do experimento em seu script de treinamento.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment:
  image: library/python:latest
tags:
  hello: world
display_name: hello-world-example
experiment_name: hello-world-example
description: |

Ao trabalhar interativamente, o MLflow começa a acompanhar sua rotina de treinamento assim que você tenta registrar informações que exigem uma execução ativa. Por exemplo, se a funcionalidade de registro automático do MLflow estiver habilitada, o acompanhamento do MLflow será iniciado quando você registra uma métrica ou parâmetro ou inicia um ciclo de treinamento.

No entanto, geralmente é útil iniciar a execução explicitamente, especialmente se você quiser capturar o tempo total do experimento no campo Duração. Para iniciar a execução explicitamente, use mlflow.start_run().

Se você iniciar a execução manualmente ou não, eventualmente precisará interromper a execução, para que o MLflow saiba que a execução do experimento está concluída e pode marcar o status da execução como Concluída. Para interromper uma execução, use mlflow.end_run().

O código a seguir inicia uma execução manualmente e a encerra no final do notebook:

mlflow.start_run()

# Your code

mlflow.end_run()

É melhor iniciar as execuções manualmente para que você não se esqueça de encerrá-las. Você pode usar o paradigma do gerenciador de contexto para ajudar a lembrar você de encerrar a execução.

with mlflow.start_run() as run:
    # Your code

Quando você inicia uma nova execução usando mlflow.start_run(), pode ser útil especificar o run_name parâmetro, que posteriormente se traduz para o nome da execução na interface do usuário do Azure Machine Learning. Essa prática ajuda a identificar a execução mais rapidamente.

with mlflow.start_run(run_name="hello-world-example") as run:
    # Your code

Os trabalhos do Azure Machine Learning permitem que você envie rotinas prolongadas de treinamento ou inferência como execuções isoladas e reproduzíveis.

Criar uma rotina de treinamento que tenha acompanhamento

Ao trabalhar com trabalhos, normalmente você inclui toda a lógica de treinamento como arquivos em uma pasta, como src. Um desses arquivos será um arquivo Python com seu ponto de entrada do código de treinamento.

Em sua rotina de treinamento, você pode usar o SDK do MLflow para acompanhar qualquer métrica, parâmetro, artefato ou modelo. Para obter exemplos, consulte Métricas de log, parâmetros e arquivos com o MLflow.

O exemplo a seguir mostra uma rotina de treinamento em um arquivo hello_world.py que adiciona registro de log:

# imports
import os
import mlflow

from random import random

# define functions
def main():
    mlflow.log_param("hello_param", "world")
    mlflow.log_metric("hello_metric", random())
    os.system(f"echo 'hello world' > helloworld.txt")
    mlflow.log_artifact("helloworld.txt")


# run functions
if __name__ == "__main__":
    # run main function
    main()

O exemplo de código anterior não usa mlflow.start_run(). Se essa linha for usada, o MLflow reutilizará a execução ativa atual. Portanto, você não precisará remover mlflow.start_run() se migrar o código para o Azure Machine Learning.

Verifique se o ambiente do seu trabalho tem o MLflow instalado

Todos os ambientes curados do Azure Machine Learning já têm o MLflow instalado. No entanto, se você usar um ambiente personalizado, crie um arquivo conda.yml que tenha as dependências necessárias e referencie o ambiente em seu trabalho.

channels:
- conda-forge
dependencies:
- python=3.8.5
- pip
- pip:
  - mlflow
  - azureml-mlflow
  - fastparquet
  - cloudpickle==1.6.0
  - colorama==0.4.4
  - dask==2023.2.0

Configurar o nome do trabalho

Use o parâmetro display_name de trabalhos do Azure Machine Learning para configurar o nome da execução.

1. Use a propriedade display_name para configurar o trabalho.

   • CLI do Azure
   • SDK do Python

   Para configurar o trabalho, crie um arquivo YAML com sua definição de trabalho em um arquivo job.yml fora do diretório do src.

   $schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
   command: echo "hello world"
   environment:
     image: library/python:latest
   tags:
     hello: world
   display_name: hello-world-example
   experiment_name: hello-world-example
   description: |
   

2. Certifique-se de que você não use mlflow.start_run(run_name="") em sua rotina de treinamento.

Enviar o trabalho

1. O workspace é o recurso de nível superior do Azure Machine Learning, fornecendo um local centralizado para trabalhar com todos os artefatos criados do Azure Machine Learning. Conectar a um workspace do Azure Machine Learning.

   • CLI do Azure
   • SDK do Python

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace> group=<resource-group> location=<location>
   

2. Abra um terminal e use o código a seguir para enviar o trabalho. Trabalhos que usam o MLflow e são executados no Azure Machine Learning registrarão automaticamente qualquer informação de acompanhamento no espaço de trabalho.

   • CLI do Azure
   • SDK do Python

   Use a CLI do Azure Machine Learning para enviar seu trabalho.

   az ml job create -f job.yml --web
   

3. Monitore o progresso do trabalho no estúdio do Azure Machine Learning.