Automatyczne rejestrowanie w usłudze Microsoft Fabric

Usługa Synapse Data Science w usłudze Microsoft Fabric obejmuje rejestrowanie automatyczne, co znacznie zmniejsza ilość kodu wymaganego do automatycznego rejestrowania parametrów, metryk i elementów modelu uczenia maszynowego podczas trenowania. W tym artykule opisano automatyczne rejestrowanie dla Synapse Data Science w Microsoft Fabric.

Autologowanie rozszerza możliwości śledzenia MLflow i jest głęboko zintegrowane z Synapse Data Science w Microsoft Fabric. Automatyczne rejestrowanie może przechwytywać różne metryki, w tym dokładność, stratę, wynik F1 i niestandardowe metryki zdefiniowane przez użytkownika. Korzystając z automatycznego rejestrowania, deweloperzy i analitycy danych mogą łatwo śledzić i porównywać wydajność różnych modeli i eksperymentów bez ręcznego śledzenia.

Obsługiwane platformy

Automatyczne rejestrowanie obsługuje szeroką gamę platform uczenia maszynowego, w tym TensorFlow, PyTorch, Scikit-learn i XGBoost. Aby dowiedzieć się więcej o właściwościach specyficznych dla platformy, które są przechwytywane automatycznie, zobacz dokumentację platformy MLflow.

Konfiguracja

Automatyczne rejestrowanie działa przez automatyczne przechwytywanie wartości parametrów wejściowych, metryk wyjściowych i elementów wyjściowych modelu uczenia maszynowego podczas trenowania. Te informacje są rejestrowane w obszarze roboczym usługi Microsoft Fabric, w którym można uzyskiwać dostęp do niego i wizualizować za pomocą interfejsów API platformy MLflow lub odpowiednich eksperymentów i elementów modelu w obszarze roboczym usługi Microsoft Fabric.

Po uruchomieniu notesu usługi Synapse Data Science usługa Microsoft Fabric wywołuje metodę mlflow.autolog(), aby natychmiast włączyć śledzenie i załadować odpowiednie zależności. Podczas trenowania modeli w notesie platforma MLflow automatycznie śledzi te informacje o modelu.

Konfiguracja jest wykonywana automatycznie w tle po uruchomieniu polecenia import mlflow. Domyślna konfiguracja hooka mlflow.autolog() zeszytu to:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

Dostosowanie

Aby dostosować zachowanie rejestrowania, możesz użyć konfiguracji mlflow.autolog(). Ta konfiguracja zawiera parametry umożliwiające rejestrowanie modelu, zbieranie przykładów danych wejściowych, konfigurowanie ostrzeżeń lub włączanie rejestrowania dla określonej zawartości dodanej.

Śledzenie większej liczby metryk, parametrów i właściwości

W przypadku przebiegów utworzonych za pomocą biblioteki MLflow zaktualizuj konfigurację automatycznego rejestrowania MLflow, aby śledzić dodatkowe metryki, parametry, pliki i metadane w następujący sposób:

1. Zaktualizuj wywołanie mlflow.autolog(), aby ustawić exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Użyj API śledzenia MLflow, aby rejestrować dodatkowe parametry i metryki. Poniższy przykładowy kod umożliwia rejestrowanie niestandardowych metryk i parametrów wraz z dodatkowymi właściwościami.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Wyłączanie automatycznego rejestrowania w usłudze Microsoft Fabric

Automatyczne rejestrowanie w usłudze Microsoft Fabric można wyłączyć dla określonej sesji notatnika. Funkcję automatycznego rejestrowania można również wyłączyć we wszystkich notatnikach, korzystając z ustawienia obszaru roboczego.

Wyłącz automatyczne rejestrowanie dla sesji notatnika

Aby wyłączyć automatyczne rejestrowanie usługi Microsoft Fabric dla określonej sesji notesu, wywołaj metodę mlflow.autolog() i ustaw wartość disable=True.

import mlflow
mlflow.autolog(disable=True)

Wyłącz automatyczne rejestrowanie dla wszystkich notatników i sesji.

Administratorzy obszaru roboczego mogą włączać lub wyłączać automatyczne rejestrowanie usługi Microsoft Fabric dla wszystkich notesów i sesji w swoim obszarze roboczym przy użyciu ustawień obszaru roboczego. Aby włączyć lub wyłączyć automatyczne rejestrowanie Synapse Data Science:

1. W obszarze roboczym wybierz pozycję Ustawienia obszaru roboczego.

   

2. W Ustawieniach roboczych rozwiń Inżynieria danych/Nauka na lewym pasku nawigacyjnym i wybierz Ustawienia Spark.

3. W obszarze Ustawienia platformy Spark wybierz kartę Dziennik automatyczny .

4. Ustaw opcję Automatycznie śledź eksperymenty i modele uczenia maszynowego na wartość Włączone lub Wyłączone.

5. Wybierz Zapisz.

   

Powiązana zawartość

• Tworzenie modelu uczenia maszynowego za pomocą biblioteki MLlib platformy Apache Spark
• eksperymenty uczenia maszynowego w usłudze Microsoft Fabric