Criar painéis com metadados do MLflow em tabelas do sistema

Usando metadados do MLflow em tabelas do sistema, você pode criar painéis para analisar seus experimentos do MLflow e execuções de todo o workspace. Usar a interface do usuário do MLflow e as APIs REST existentes para essas tarefas exigiria uma iteração extensa e demorada.

Painel para detalhes de execução única

Para começar a visualizar seus dados do MLflow, baixe este painel de exemplo como um arquivo JSON e importe-os para seu workspace. Este painel contém um esqueleto de dados para replicar o que é mostrado na página de detalhes da execução na interface do usuário do MLflow.

Para uma determinada ID do experimento, a ID de execução e o nome da métrica, ela exibe detalhes da execução juntamente com marcas, parâmetros e um grafo de métrica. Você pode obter a ID do experimento e executar a ID na página de detalhes da execução, tanto na interface do usuário quanto na própria URL: https://<workspace>.databricks.com/ml/experiments/<experiment_id>/runs/<run_id>.

Se você navegar até o painel de painel no menu de navegação esquerdo, poderá importar o painel de uma definição de arquivo JSON aqui. A partir daí, você pode usar as caixas de entrada na parte superior para filtrar a execução e o experimento relevantes em seu workspace para plotar. Fique à vontade para explorar as consultas e alterar os gráficos para atender às suas necessidades.

Painel para monitorar a utilização média de GPU entre experimentos

Na quarta guia do painel acima, você pode inserir um nome de métrica para obter estatísticas resumidas em todos os experimentos com essa métrica em uma determinada janela de tempo. Essas informações podem ser úteis para monitorar as métricas do sistema registradas pelo MLflow em seu workspace para monitorar a utilização ineficiente de CPU, memória ou GPU.

No exemplo, podemos ver vários experimentos com uma utilização média de GPU inferior a 10% que talvez queiramos investigar.