Registo Automático no Microsoft Fabric

A Ciência de Dados Synapse no Microsoft Fabric inclui o autologging, que reduz significativamente a quantidade de código necessário para registar automaticamente os parâmetros, métricas e itens de um modelo de aprendizagem automática durante o treino. Este artigo descreve o autologging para Synapse Data Science no Microsoft Fabric.

O autologging estende as capacidades de MLflow Tracking e está profundamente integrado na experiência de Synapse Data Science do Microsoft Fabric. O registro automático pode capturar várias métricas, incluindo precisão, perda, pontuação F1 e métricas personalizadas definidas por você. Usando o registro automático, desenvolvedores e cientistas de dados podem facilmente rastrear e comparar o desempenho de diferentes modelos e experimentos sem rastreamento manual.

Estruturas suportadas

O autologging suporta uma vasta gama de frameworks de aprendizagem automática, incluindo TensorFlow, PyTorch, Scikit-learn e XGBoost. Para saber mais sobre as propriedades específicas do framework que o autologging captura, consulte a documentação do MLflow.

Configuração

O autologging funciona capturando automaticamente os valores dos parâmetros de entrada, métricas de saída e itens de saída de um modelo de aprendizagem automática enquanto este está a ser treinado. Esta informação é registada no seu espaço de trabalho Microsoft Fabric, onde pode aceder e visualizá-la usando as APIs do MLflow ou os correspondentes itens de experiência e modelo no seu espaço de trabalho Microsoft Fabric.

Quando lança um caderno Synapse Data Science, o Microsoft Fabric chama mlflow.autolog() para ativar instantaneamente o rastreio e carregar as dependências correspondentes. À medida que treina modelos no seu caderno, o MLflow regista automaticamente essa informação do modelo.

A configuração acontece automaticamente nos bastidores quando executa import mlflow. A configuração padrão do hook mlflow.autolog() para o notebook é:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

Personalização

Para personalizar o comportamento de registo, pode usar a configuração mlflow.autolog( ). Esta configuração fornece parâmetros para permitir o registo de modelos, recolher amostras de entrada, configurar avisos ou ativar o registo para conteúdos adicionais que especificar.

Acompanhe mais métricas, parâmetros e propriedades

Para execuções criadas com MLflow, atualize a configuração de autologging do MLflow para rastrear métricas, parâmetros, ficheiros e metadados adicionais da seguinte forma:

1. Atualize a chamada mlflow.autolog() para definir exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Utilize as APIs de rastreamento MLflow para registar parâmetros e métricas adicionais. O seguinte código de exemplo permite-lhe registar as suas métricas e parâmetros personalizados juntamente com propriedades adicionais.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Desativar o autologging do Microsoft Fabric

Podes desativar o autologging do Microsoft Fabric para uma sessão específica do notebook. Também pode desativar o registo automático em todos os cadernos usando a configuração do espaço de trabalho.

Desative o autologging para uma sessão do notebook

Para desativar o autologging do Microsoft Fabric para uma sessão específica do notebook, chame mlflow.autolog() e defina disable=True.

import mlflow
mlflow.autolog(disable=True)

Desativar o registo automático para todos os cadernos de notas e sessões

Os administradores de espaços de trabalho podem ativar ou desativar o autologging do Microsoft Fabric para todos os cadernos e sessões do seu espaço de trabalho usando as definições do espaço de trabalho. Para ativar ou desativar o registo automático da Synapse Data Science:

1. No seu espaço de trabalho, selecione Definições do espaço de trabalho.

   

2. Nas definições do Workspace, expanda Engenharia de Dados/Ciência na barra de navegação da esquerda e selecione Definições do Spark.

3. Nas definições do Spark, selecione o separador Registo Automático .

4. Ajustar o seguimento automático de experiências e modelos de aprendizagem automática para Ligado ou Desligado.

5. Selecione Guardar.

   

Conteúdo relacionado

• Construa um modelo de aprendizagem automática com Apache Spark MLlib
• Experimentos de aprendizado de máquina no Microsoft Fabric