Deep Learning-Workflow in MLflow 3

Beispiel-Notebook

Das Beispielnotizbuch führt einen einzigen Schulungsauftrag für Deep Learning-Modelle mit PyTorch aus, der als MLflow-Ausführung nachverfolgt wird. Es protokolliert nach jeder 10 Epoche ein Prüfpunktmodell. Jeder Prüfpunkt wird als MLflow LoggedModel nachverfolgt. Mithilfe der Benutzeroberfläche oder Such-API von MLflow können Sie die Prüfpunktmodelle überprüfen und anhand der Genauigkeit bewerten.

Das Notizbuch installiert die scikit-learn und torch Bibliotheken.

MLflow 3 Deep Learning-Modell mit Prüfpunkten-Notizbuch

Notebook abrufen

Verwenden der Benutzeroberfläche zum Untersuchen der Modellleistung und Registrieren eines Modells

Nach dem Ausführen des Notizbuchs können Sie die gespeicherten Prüfpunktmodelle in der Benutzeroberfläche für MLflow-Experimente anzeigen. Ein Link zum Experiment wird in der Ausgabe der Notizbuchzelle angezeigt, oder führen Sie die folgenden Schritte aus:

1. Klicken Sie auf "Experimente" in der Arbeitsbereich-Randleiste.

2. Suchen Sie Ihr Experiment in der Experimentliste. Sie können das Kontrollkästchen "Nur meine Experimente " aktivieren oder das Suchfeld " Filterexperimente " verwenden, um die Liste der Experimente zu filtern.

3. Klicken Sie auf den Namen Ihres Experiments. Die Seite Ausführungen wird geöffnet. Das Experiment enthält einen MLflow-Lauf.

   

4. Klicken Sie auf die Registerkarte "Modelle ". Die einzelnen Prüfpunktmodelle werden auf diesem Bildschirm nachverfolgt. Für jeden Prüfpunkt können Sie die Genauigkeit des Modells zusammen mit allen Parametern und Metadaten anzeigen.

   

Im Beispielnotizbuch haben Sie das leistungsstärkste Modell im Unity-Katalog registriert. Sie können ein Modell auch über die Benutzeroberfläche registrieren. Führen Sie dazu die folgenden Schritte aus:

1. Klicken Sie auf der Registerkarte "Modelle " auf den Namen des Zu registrierenden Modells.

2. Klicken Sie auf der Seite mit den Modelldetails in der oberen rechten Ecke auf " Modell registrieren".

   Tipp

   Es kann einige Minuten dauern, bis ein Modell nach der Registrierung in der Benutzeroberfläche angezeigt wird. Drücken Sie das Registermodell nicht mehrmals, andernfalls registrieren Sie doppelte Modelle.

   

3. Wählen Sie Unity-Katalog und entweder einen vorhandenen Modellnamen aus dem Dropdownmenü aus, oder geben Sie einen neuen Namen ein.

   

4. Klicken Sie auf Registrieren.

Verwenden der API zum Bewerten von Prüfpunktmodellen

Der folgende Code zeigt, wie Die Prüfpunktmodelle nach Genauigkeit bewertet werden. Weitere Informationen zum Durchsuchen protokollierter Modelle mithilfe der API finden Sie unter "Protokollierte Modelle suchen und filtern".

ranked_checkpoints = mlflow.search_logged_models(
  output_format="list",
  order_by=[{"field_name": "metrics.accuracy", "ascending": False}]
)

best_checkpoint: mlflow.entities.LoggedModel = ranked_checkpoints[0]
print(best_checkpoint.metrics[0])

<Metric:
  dataset_digest='9951783d',
  dataset_name='train',
  key='accuracy',
  model_id='m-bba8fa52b6a6499281c43ef17fcdac84',
  run_id='394928abe6fc4787aaf4e666ac89dc8a',
  step=90,
  timestamp=1730828771880,
  value=0.9553571428571429
>

worst_checkpoint: mlflow.entities.LoggedModel = ranked_checkpoints[-1]
print(worst_checkpoint.metrics[0])

<Metric:
  dataset_digest='9951783d',
  dataset_name='train',
  key='accuracy',
  model_id='m-88885bc26de7492f908069cfe15a1499',
  run_id='394928abe6fc4787aaf4e666ac89dc8a',
  step=0,
  timestamp=1730828730040,
  value=0.35714285714285715

Was ist der Unterschied zwischen der Registerkarte " Modelle " auf der MLflow-Experimentseite und der Modellversionsseite im Katalog-Explorer?

Auf der Registerkarte " Modelle " der Experimentseite und auf der Modellversionsseite im Katalog-Explorer werden ähnliche Informationen zum Modell angezeigt. Die beiden Ansichten weisen unterschiedliche Rollen im Modellentwicklungs- und Bereitstellungslebenszyklus auf.

• Auf der Registerkarte " Modelle " der Experimentseite werden die Ergebnisse protokollierter Modelle von einem Experiment auf einer einzelnen Seite dargestellt. Auf der Registerkarte "Diagramme" auf dieser Seite finden Sie Visualisierungen, mit denen Sie Modelle vergleichen und die Modellversionen auswählen können, die für die mögliche Bereitstellung beim Unity-Katalog registriert werden sollen.
• Im Katalog-Explorer bietet die Modellversionsseite eine Übersicht über alle Modellleistungs- und Auswertungsergebnisse. Auf dieser Seite werden Modellparameter, Metriken und Ablaufverfolgungen in allen verknüpften Umgebungen angezeigt, einschließlich verschiedener Arbeitsbereiche, Endpunkte und Experimente. Dies ist nützlich für die Überwachung und Bereitstellung und eignet sich besonders gut für Bereitstellungsaufträge. Die Auswertungsaufgabe in einem Bereitstellungsauftrag erstellt zusätzliche Metriken, die auf dieser Seite angezeigt werden. Der Genehmigende für den Auftrag kann dann diese Seite überprüfen, um zu prüfen, ob die Modellversion für die Bereitstellung genehmigt werden soll.

Nächste Schritte

Weitere Informationen zur in MLflow 3 eingeführten LoggedModel-Nachverfolgung finden Sie im folgenden Artikel:

• Nachverfolgen und Vergleichen von Modellen mit protokollierten MLflow-Modellen.

Weitere Informationen zur Verwendung von MLflow 3 mit herkömmlichen ML-Workflows finden Sie im folgenden Artikel:

• MLflow 3 herkömmlicher ML-Workflow.