Organize execuções de treinamento com experimentos MLflow

Os experimentos são unidades de organização para suas execuções de treinamento modelo. Existem dois tipos de experiências: espaço de trabalho e bloco de notas.

• Você pode criar um experimento de espaço de trabalho a partir da interface do usuário do Databricks Mosaic AI ou da API MLflow. Os experimentos de espaço de trabalho não estão associados a nenhum bloco de anotações, e qualquer bloco de anotações pode registrar uma execução nesses experimentos usando a ID do experimento ou o nome do experimento.
• Uma experiência de bloco de notas está associada a um bloco de notas específico. O Azure Databricks cria automaticamente um experimento de bloco de anotações se não houver nenhum experimento ativo quando você inicia uma execução usando mlflow.start_run().

Para ver todos os experimentos em um espaço de trabalho ao qual você tem acesso, selecione Experimentos de Aprendizado > de Máquina na barra lateral.

Criar experimento de espaço de trabalho

Esta seção descreve como criar um experimento de espaço de trabalho usando a interface do usuário do Azure Databricks. Você pode criar um experimento de espaço de trabalho diretamente do espaço de trabalho ou da página Experimentos.

Você também pode usar a API MLflow ou o provedor Databricks Terraform com databricks_mlflow_experiment.

Para obter instruções sobre como registrar execuções em experimentos de espaço de trabalho, consulte Registrar execuções e modelos em um experimento.

Criar experiência a partir da área de trabalho

1. Clique em Espaço de trabalho na barra lateral.

2. Navegue até a pasta na qual você deseja criar o experimento.

3. Clique com o botão direito do mouse na pasta e selecione Criar > experimento MLflow.

4. Na caixa de diálogo Criar experimento MLflow, insira um nome para o experimento e um local de artefato opcional. Se você não especificar um local de artefato, os artefatos serão armazenados no armazenamento de artefatos gerenciado por MLflow: dbfs:/databricks/mlflow-tracking/<experiment-id>.

   Para espaços de trabalho habilitados para o Catálogo Unity, você também pode armazenar artefatos em um volume do Catálogo Unity. Para armazenar artefatos em seu próprio armazenamento em nuvem, crie um volume externo do Unity Catalog.

   Para armazenar artefatos em um volume do Catálogo Unity, especifique um caminho de volume do formulário dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path como o local do artefato do experimento MLflow, na interface do usuário ou conforme mostrado no código a seguir:

   import mlflow # Storing artifacts in a volume requires MLflow 2.15.0 or above
   
   EXP_NAME = "/Users/first.last@databricks.com/my_experiment_name"
   CATALOG = "my_catalog"
   SCHEMA = "my_schema"
   VOLUME = "my_volume"
   ARTIFACT_PATH = f"dbfs:/Volumes/{CATALOG}/{SCHEMA}/{VOLUME}" # can be a managed or external volume
   
   mlflow.set_tracking_uri("databricks")
   mlflow.set_registry_uri("databricks-uc")
   
   if mlflow.get_experiment_by_name(EXP_NAME) is None:
       mlflow.create_experiment(name=EXP_NAME, artifact_location=ARTIFACT_PATH)
   mlflow.set_experiment(EXP_NAME)
   

   Se seu espaço de trabalho não estiver habilitado para o Unity Catalog, ou se você não tiver acesso ao MLflow 2.15.0 ou superior, especifique um caminho neste formato: dbfs:/path/to/artifacts.

   O Databricks recomenda o uso de um volume do Unity Catalog para armazenamento de artefatos. Se nem um volume do Catálogo Unity nem o DBFS forem uma opção adequada, você também poderá armazenar artefatos diretamente no Armazenamento de Blobs do Azure (não recomendado). Para armazenar artefatos no armazenamento de Blob do Azure, especifique um URI do formulário wasbs://<container>@<storage-account>.blob.core.windows.net/<path>. Os artefatos armazenados no armazenamento de Blob do Azure não aparecem na interface do usuário do MLflow; Você deve baixá-los usando um cliente de armazenamento BLOB.

   Nota

   Quando você armazena um artefato em um local diferente do DBFS, o artefato não aparece na interface do usuário do MLflow. Os modelos armazenados em locais diferentes do DBFS não podem ser registrados no Registro Modelo.

5. Clique em Criar. A página de detalhes do experimento para o novo experimento é exibida.

6. Para registrar execuções nesse experimento, chame mlflow.set_experiment() com o caminho do experimento. Para exibir o caminho do experimento, clique no ícone de à direita do nome do experimento. Consulte Registrar execuções e modelos em um experimento para obter detalhes e um bloco de anotações de exemplo.

Criar experiência a partir da página Experiências

Para criar um ajuste fino de modelo básico, AutoML ou experimento personalizado, clique em Experimentos ou selecione Novo > experimento na barra lateral esquerda.

Na parte superior da página, selecione uma das seguintes opções para configurar um experimento:

• Aperfeiçoamento de Modelo Básico. A caixa de diálogo Ajuste Fino do Modelo Básico é exibida. Para obter detalhes, consulte Criar uma execução de treinamento usando a interface do usuário de ajuste fino do modelo básico.
• Previsão. A caixa de diálogo Configurar experimento de previsão é exibida. Para obter detalhes, consulte Configurar o experimento AutoML.
• Classificação. A caixa de diálogo Configurar experimento de classificação é exibida. Para obter detalhes, consulte Configurar experiência de classificação com a interface do usuário.
• Regressão. A caixa de diálogo Configurar experimento de classificação é exibida. Para obter detalhes, consulte Configurar experiência de regressão com a interface do usuário.
• Personalizado. A caixa de diálogo Criar experimento MLflow é exibida. Para obter detalhes, consulte Etapa 4 em Criar experiência a partir do espaço de trabalho.

Criar experiência de bloco de notas

Quando você usa o comando mlflow.start_run() em um bloco de anotações, a execução registra métricas e parâmetros para o experimento ativo. Se nenhum experimento estiver ativo, o Azure Databricks criará um experimento de bloco de anotações. Uma experiência de bloco de notas partilha o mesmo nome e ID que o seu bloco de notas correspondente. O ID do bloco de notas é o identificador numérico no final do URL e ID do bloco de notas.

Como alternativa, você pode passar um caminho de espaço de trabalho do Azure Databricks para um bloco de anotações existente no mlflow.set_experiment() para criar um experimento de bloco de anotações para ele.

Para obter instruções sobre como registrar execuções em experimentos de notebooks, consulte Registrar execuções e modelos em um experimento.

Ver experiências

Cada experimento ao qual você tem acesso aparece na página de experimentos. Nesta página, você pode visualizar qualquer experimento. Clique no nome de um experimento para exibir a página de detalhes do experimento.

Outras maneiras de acessar a página de detalhes do experimento:

• Você pode aceder à página de detalhes de um experimento no espaço de trabalho a partir do menu desse espaço de trabalho.
• Você pode acessar a página de detalhes do experimento para um experimento no bloco de anotações diretamente do bloco de anotações.

Para pesquisar experimentos, digite texto no campo Filtrar experimentos e pressione Enter ou clique no ícone da lupa. A lista de experimentos é alterada para mostrar apenas os experimentos que contêm o texto de pesquisa nas colunas Nome ou Local .

Para uso avançado, você pode inserir uma consulta de pesquisa para tags.`mlflow.note.content` pesquisar com base na coluna Descrição . Para obter mais detalhes sobre sintaxe, consulte Experimentos de pesquisa. Tenha em atenção que, ao contrário da pesquisa por Nome ou Localização, a pesquisa através de etiquetas requer que construa manualmente a consulta de pesquisa com um identificador e um comparador. Ele não retornará diretamente todos os resultados que contêm o texto da pesquisa.

Clique no nome de qualquer experimento na tabela para exibir sua página de detalhes do experimento:

A página de detalhes do experimento lista todas as execuções associadas ao experimento. Na tabela, você pode abrir a página de execução para qualquer execução associada ao experimento clicando em seu Nome de Execução. A coluna Origem dá acesso à versão do bloco de anotações que criou a execução. Você também pode pesquisar e filtrar execuções por métricas ou configurações de parâmetros.

Ver experiência de espaço de trabalho

1. Clique em Espaço de trabalho na barra lateral.
2. Vá para a pasta que contém o experimento.
3. Clique no nome do experimento.

Ver experiência de bloco de notas

Na barra lateral direita do bloco de notas, clique no ícone Experiência.

A barra lateral Execuções de Experiência é exibida e mostra um resumo de cada execução associada ao experimento do bloco de anotações, incluindo parâmetros e métricas de execução. Na parte superior da barra lateral está o nome do experimento no qual o bloco de anotações registrado mais recentemente é executado (um experimento de bloco de anotações ou um experimento de espaço de trabalho).

Na barra lateral, pode navegar até à página de detalhes do experimento ou diretamente para uma execução.

• Para ver a experiência, clique na extremidade direita, junto a Experiment Runs.
• Para exibir uma execução, clique no nome da execução.

Gerenciar experimentos

Você pode renomear, excluir ou gerenciar permissões para um experimento de sua propriedade na página de experimentos, na página de detalhes do experimento ou no menu do espaço de trabalho.

Renomear experimento

Você pode renomear um experimento de sua propriedade na página Experimentos ou na página de detalhes do experimento para esse experimento.

• Na página Experimentos, clique no ícone do na coluna mais à direita e, em seguida, clique em Renomear.

• Na página de detalhes do experimento, clique no ao lado de Permissões. Depois, clique em Renomear.

Pode renomear um experimento de um espaço de trabalho diretamente a partir do próprio espaço de trabalho. Clique com o botão direito do mouse no nome do experimento e clique em Renomear.

Obter ID do experimento e caminho para experimentar

Na página de detalhes do experimento, poderá obter o caminho para o experimento no bloco de notas clicando no à direita do nome do experimento. É exibida uma nota pop-up que mostra o caminho para o experimento, a ID do experimento e o local do artefato. Você pode usar a ID do experimento no comando set_experiment MLflow para definir o experimento MLflow ativo.

Em um bloco de anotações, você pode copiar o caminho completo do experimento clicando no na barra lateral do experimento do bloco de anotações.

Experiência Excluir bloco de anotações

As experiências com blocos de notas fazem parte do bloco de notas e não podem ser eliminadas separadamente. Quando elimina um bloco de notas, a experiência de bloco de notas associada é eliminada. Quando você exclui um experimento de bloco de anotações usando a interface do usuário, o bloco de anotações também é excluído.

Para excluir experimentos de bloco de anotações usando a API, use a API de espaço de trabalho para garantir que o bloco de anotações e o experimento sejam excluídos do espaço de trabalho.

Excluir um espaço de trabalho ou experimento de bloco de notas

Você pode excluir um experimento de sua propriedade da página de experimentos ou da página de detalhes do experimento.

• Na página Experimentos, clique no na coluna mais à direita e, em seguida, clique em Apagar.

• Na página de detalhes do experimento, clique no ao lado de Permissões e clique em Eliminar.

Você pode excluir um experimento de espaço de trabalho do espaço de trabalho. Clique com o botão direito do rato no nome da experiência e, em seguida, clique em Mover para o Lixo.

Alterar permissões para um experimento

Para alterar as permissões para um experimento na página de detalhes do experimento, clique em Permissões.

Você pode alterar as permissões para um experimento de sua propriedade na página Experimentos. Clique no na última coluna à direita e, em seguida, clique em Permissões.

Para obter informações sobre os níveis de permissão do experimento, consulte ACLs do experimento MLflow.

Copiar experiências entre espaços de trabalho

Para migrar experimentos de MLflow entre espaços de trabalho, você pode usar o projeto de código aberto MLflow Export-Import orientado pela comunidade.

Com essas ferramentas, você pode:

• Compartilhe e colabore com outros cientistas de dados no mesmo ou em outro servidor de rastreamento. Por exemplo, você pode clonar um experimento de outro usuário em seu espaço de trabalho.
• Copie experimentos de MLflow e seja executado do servidor de rastreamento local para o espaço de trabalho do Databricks.
• Faça backup de experimentos e modelos de missão crítica em outro espaço de trabalho do Databricks.