Przepływ uczenia maszynowego i usługa Azure Machine Learning

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure w wersji 2 (current)Zestaw PYTHON SDK azure-ai-ml v2 (bieżąca)

W tym artykule opisano możliwości platformy MLflow typu open source, która zarządza pełnym cyklem życia uczenia maszynowego. Platforma MLflow używa spójnego zestawu narzędzi do trenowania i udostępniania modeli na różnych platformach. Użyj platformy MLflow niezależnie od tego, czy eksperymenty są uruchamiane lokalnie, na zdalnym obiekcie docelowym obliczeniowym, maszynie wirtualnej, czy w wystąpieniu obliczeniowym usługi Azure Machine Learning.

Obszary robocze usługi Azure Machine Learning są zgodne z platformą MLflow, dlatego używasz obszaru roboczego usługi Azure Machine Learning w taki sam sposób, jak w przypadku korzystania z serwera MLflow. Ta zgodność zapewnia następujące korzyści:

• Usługa Azure Machine Learning nie hostuje wystąpień serwera MLflow, ale korzysta bezpośrednio z interfejsów API platformy MLflow.
• Użyj obszaru roboczego usługi Azure Machine Learning jako serwera śledzenia dla dowolnego kodu MLflow, niezależnie od tego, czy działa on w usłudze Azure Machine Learning. Wystarczy skonfigurować rozwiązanie MLflow, aby wskazywał obszar roboczy, w którym odbywa się śledzenie.
• Uruchom dowolną procedurę szkoleniową, która używa biblioteki MLflow w usłudze Azure Machine Learning bez wprowadzania zmian.

Co to jest śledzenie

Podczas pracy z zadaniami usługa Azure Machine Learning automatycznie śledzi informacje o eksperymentach, takich jak kod, środowisko i dane wejściowe i wyjściowe. Jednak modele, parametry i metryki są specyficzne dla każdego scenariusza, dlatego konstruktorzy modeli muszą skonfigurować swoje śledzenie.

Zapisane metadane śledzenia różnią się w zależności od eksperymentu i mogą obejmować:

• Code
• Szczegóły środowiska, takie jak wersja systemu operacyjnego i pakiety języka Python
• Dane wejściowe
• Konfiguracje parametrów
• Modele
• Metryki oceny
• Wizualizacje ewaluacyjne, takie jak macierze pomyłek i wykresy ważności
• Wyniki oceny, w tym niektóre przewidywania oceny

Zalety eksperymentów śledzenia

Niezależnie od tego, czy trenujesz modele z zadaniami w usłudze Azure Machine Learning, czy interaktywnie w notesach, śledzenie eksperymentów ułatwia:

• Organizuj wszystkie eksperymenty uczenia maszynowego w jednym miejscu. Następnie wyszukaj i przefiltruj eksperymenty, a następnie przejdź do szczegółów dotyczących poprzednich eksperymentów.
• Porównanie eksperymentów, analizowanie wyników i debugowanie trenowania modelu.
• Odtwórz lub ponownie uruchom eksperymenty, aby zweryfikować wyniki.
• Współpracuj łatwiej, ponieważ widzisz, co robią inni koledzy z zespołu, udostępniaj wyniki eksperymentów i uzyskujesz dostęp do danych eksperymentu programowo.

Śledzenie za pomocą biblioteki MLflow

Obszary robocze usługi Azure Machine Learning są zgodne z platformą MLflow. Ta zgodność oznacza, że używasz biblioteki MLflow do śledzenia przebiegów, metryk, parametrów i artefaktów w obszarach roboczych bez konieczności zmieniania procedur trenowania ani dodawania składni specyficznej dla chmury. Aby dowiedzieć się, jak używać biblioteki MLflow do śledzenia eksperymentów i przebiegów w obszarach roboczych usługi Azure Machine Learning, zobacz Śledzenie eksperymentów i modeli za pomocą biblioteki MLflow.

Usługa Azure Machine Learning używa śledzenia MLflow do rejestrowania metryk i przechowywania artefaktów dla eksperymentów. Po nawiązaniu połączenia z usługą Azure Machine Learning wszystkie dane śledzenia MLflow są widoczne w obszarze roboczym, którego używasz.

Aby dowiedzieć się, jak włączyć rejestrowanie w celu monitorowania metryk uruchamiania w czasie rzeczywistym za pomocą biblioteki MLflow, zobacz Metryki dzienników, parametry i pliki za pomocą biblioteki MLflow. Wykonujesz również zapytania i porównujesz eksperymenty i przebiegi za pomocą biblioteki MLflow.

Rozwiązanie MLflow w usłudze Azure Machine Learning umożliwia scentralizowanie śledzenia. Połącz platformę MLflow z obszarami roboczymi usługi Azure Machine Learning nawet wtedy, gdy pracujesz lokalnie lub w innej chmurze. Obszar roboczy usługi Azure Machine Learning zapewnia scentralizowaną, bezpieczną i skalowalną lokalizację do przechowywania metryk trenowania i modeli.

Rozwiązanie MLflow w usłudze Azure Machine Learning umożliwia:

• Śledzenie eksperymentów i modeli uczenia maszynowego działających lokalnie lub w chmurze.
• Śledzenie eksperymentów uczenia maszynowego w usłudze Azure Databricks.
• Śledzenie eksperymentów uczenia maszynowego w usłudze Azure Synapse Analytics.

Śledzenie za pomocą biblioteki MLflow w języku R

Obsługa platformy MLflow w języku R ma następujące ograniczenia:

• Śledzenie platformy MLflow jest ograniczone do śledzenia metryk eksperymentów, parametrów i modeli w zadaniach usługi Azure Machine Learning.
• Interaktywne szkolenie w programie RStudio, Posit (dawniej RStudio Workbench) lub notesach Jupyter z jądrami języka R nie jest obsługiwane.
• Zarządzanie modelami i rejestracja nie są obsługiwane. Użyj interfejsu wiersza polecenia usługi Azure Machine Learning lub usługi Azure Machine Learning Studio do rejestracji modeli i zarządzania nimi.

Przykłady użycia klienta śledzenia MLflow z modelami języka R w usłudze Azure Machine Learning można znaleźć w temacie Trenowanie modeli języka R przy użyciu interfejsu wiersza polecenia usługi Azure Machine Learning (wersja 2).

Śledzenie za pomocą biblioteki MLflow w języku Java

Obsługa biblioteki MLflow w języku Java ma następujące ograniczenia:

• Śledzenie platformy MLflow jest ograniczone do śledzenia metryk i parametrów eksperymentu w zadaniach usługi Azure Machine Learning.
• Nie można śledzić artefaktów i modeli. Zamiast tego użyj mlflow.save_model metody z folderem outputs w zadaniach, aby zapisać modele lub artefakty, które chcesz przechwycić.

Aby zapoznać się z przykładem języka Java, który używa klienta śledzenia MLflow z serwerem śledzenia usługi Azure Machine Learning, zobacz azuremlflow-java.

Przykładowe notesy do śledzenia MLflow

• Trenowanie i śledzenie klasyfikatora XGBoost za pomocą biblioteki MLflow pokazuje, jak używać biblioteki MLflow do śledzenia eksperymentów, rejestrowania modeli oraz łączenia różnych wersji w potoki.
• Trenowanie i śledzenie klasyfikatora XGBoost za pomocą biblioteki MLflow przy użyciu uwierzytelniania jednostki usługi pokazuje, jak używać biblioteki MLflow do śledzenia eksperymentów z zasobów obliczeniowych uruchomionych poza usługą Azure Machine Learning. W przykładzie pokazano, jak uwierzytelniać się w usługach Azure Machine Learning przy użyciu jednostki usługi.
• Optymalizacja hiperparametrów przy użyciu funkcji HyperOpt i zagnieżdżonych przebiegów w MLflow pokazuje, jak korzystać z podrzędnych przebiegów do optymalizacji hiperparametrów modeli przy użyciu popularnej biblioteki HyperOpt. W przykładzie pokazano, jak przesyłać metryki, parametry i artefakty z przebiegów podrzędnych do przebiegów nadrzędnych.
• Rejestrowanie modeli za pomocą biblioteki MLflow pokazuje, jak używać koncepcji modeli zamiast artefaktów za pomocą biblioteki MLflow. W przykładzie pokazano również, jak tworzyć modele niestandardowe.
• Zarządzanie przebiegami i eksperymentami za pomocą biblioteki MLflow pokazuje, jak używać biblioteki MLflow do wykonywania zapytań dotyczących eksperymentów, przebiegów, metryk, parametrów i artefaktów z usługi Azure Machine Learning.

Rejestracja modelu za pomocą biblioteki MLflow

Usługa Azure Machine Learning obsługuje rozwiązanie MLflow do zarządzania modelami. Jeśli znasz klienta MLflow, możesz użyć go do zarządzania całym cyklem życia modelu. Aby dowiedzieć się więcej na temat zarządzania modelami za pomocą interfejsu API platformy MLflow w usłudze Azure Machine Learning, zobacz Zarządzanie rejestrami modeli w usłudze Azure Machine Learning przy użyciu biblioteki MLflow.

Przykładowy notes dotyczący rejestracji modelu MLflow

Zarządzanie modelami za pomocą biblioteki MLflow pokazuje, jak zarządzać modelami w rejestrach.

Wdrażanie modelu za pomocą biblioteki MLflow

Wdróż modele MLflow w usłudze Azure Machine Learning, aby uzyskać ulepszone środowisko. Usługa Azure Machine Learning obsługuje wdrażanie modeli MLflow na punkty końcowe zarówno w trybie rzeczywistym, jak i wsadowym, bez potrzeby określania środowiska ani skryptu oceniania.

Zestaw MLflow SDK, interfejs wiersza polecenia usługi Azure Machine Learning, zestaw AZURE Machine Learning SDK dla języka Python i usługa Azure Machine Learning Studio obsługują wdrażanie modelu MLflow. Aby uzyskać więcej informacji na temat wdrażania modeli MLflow w usłudze Azure Machine Learning dla wnioskowania w czasie rzeczywistym i wsadowego, zobacz Wytyczne dotyczące wdrażania modeli MLflow.

Przykładowe notesy dotyczące wdrażania modelu MLflow

• Wdrażanie platformy MLflow w punktach końcowych online pokazuje, jak wdrożyć modele MLflow w punktach końcowych online przy użyciu zestawu MLflow SDK.
• Postępowe wdrażanie wdrożeń platformy MLflow pokazuje, jak wdrażać modele MLflow w punktach końcowych online przy użyciu zestawu MLflow SDK z postępowym wdrażaniem modelu. W przykładzie pokazano również, jak wdrożyć wiele wersji modelu w tym samym punkcie końcowym.
• Wdrażanie modeli MLflow w starszych usługach internetowych pokazuje, jak wdrażać modele MLflow w starszych usługach internetowych (Azure Container Instances lub Azure Kubernetes Service w wersji 1) przy użyciu zestawu MLflow SDK.
• Trenowanie modeli w usłudze Azure Databricks i wdrażanie ich w usłudze Azure Machine Learning pokazuje, jak trenować modele w usłudze Azure Databricks i wdrażać je w usłudze Azure Machine Learning. W tym przykładzie omówiono również śledzenie eksperymentów z wystąpieniem platformy MLflow w usłudze Azure Databricks.

Trenowanie za pomocą projektów MLflow (wersja zapoznawcza)

Przesyłanie zadań szkoleniowych do usługi Azure Machine Learning przy użyciu projektów MLflow. Przesyłanie zadań lokalnie za pomocą śledzenia usługi Azure Machine Learning lub migrowanie zadań do chmury przy użyciu zasobów obliczeniowych usługi Azure Machine Learning.

Dowiedz się, jak przesyłać zadania treningowe korzystające z projektów MLflow do obszarów roboczych Azure Machine Learning w celu śledzenia w Trenowanie za pomocą projektów MLflow w Azure Machine Learning (wersja zapoznawcza).

Przykładowe notesy dla projektów MLflow

• Szkolenie z użyciem projektów MLflow na lokalnych zasobach obliczeniowych
• Trenowanie za pomocą projektów MLflow w obliczeniach usługi Azure Machine Learning

MLflow a możliwości narzędzi klienckich usługi Azure Machine Learning

W poniższej tabeli przedstawiono operacje cyklu życia uczenia maszynowego, które można wykonać za pomocą zestawu MLflow SDK i narzędzi klienckich usługi Azure Machine Learning.

¹ Aby uzyskać więcej informacji, zobacz Zarządzanie rejestrami modeli w usłudze Azure Machine Learning przy użyciu biblioteki MLflow.

² Aby uzyskać alternatywę, zobacz Wdrażanie i uruchamianie modeli MLflow w zadaniach platformy Spark.

Powiązana zawartość

• Konfigurowanie platformy MLflow dla usługi Azure Machine Learning
• Śledzenie eksperymentów i modeli uczenia maszynowego za pomocą biblioteki MLflow
• Wskazówki dotyczące wdrażania modeli MLflow