MLflow en Azure Machine Learning

VAN TOEPASSING OP:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)

In dit artikel worden de mogelijkheden van MLflow beschreven, een opensource-framework waarmee de volledige levenscyclus van machine learning wordt beheerd. MLflow maakt gebruik van een consistente set hulpprogramma's voor het trainen en bedienen van modellen op verschillende platforms. Gebruik MLflow, ongeacht of uw experimenten lokaal worden uitgevoerd, op een extern rekendoel, een virtuele machine of een Azure Machine Learning-rekenproces.

Azure Machine Learning-werkruimten zijn compatibel met MLflow, dus u gebruikt een Azure Machine Learning-werkruimte op dezelfde manier als u een MLflow-server gebruikt. Deze compatibiliteit biedt de volgende voordelen:

• Azure Machine Learning host geen MLflow-serverexemplaren, maar maakt rechtstreeks gebruik van de MLflow-API's.
• Gebruik een Azure Machine Learning-werkruimte als uw traceringsserver voor MLflow-code, ongeacht of deze wordt uitgevoerd in Azure Machine Learning. Configureer MLflow om te verwijzen naar de werkruimte waar het bijhouden plaatsvindt.
• Voer een trainingsroutine uit die gebruikmaakt van MLflow in Azure Machine Learning zonder wijzigingen aan te brengen.

Wat is bijhouden

Wanneer u met taken werkt, wordt in Azure Machine Learning automatisch informatie bijgehouden over experimenten, zoals code, omgeving en invoer- en uitvoergegevens. Maar modellen, parameters en metrische gegevens zijn specifiek voor elk scenario, dus modelbouwers moeten hun tracering instellen.

De opgeslagen metagegevens voor bijhouden variëren per experiment en kunnen het volgende omvatten:

• Code
• Omgevingsdetails, zoals versie van het besturingssysteem en Python-pakketten
• Invoergegevens
• Parameterconfiguraties
• Modellen
• Metrische evaluatiegegevens
• Evaluatievisualisaties zoals verwarringsmatrices en urgentieplots
• Evaluatieresultaten, waaronder enkele evaluatievoorspellingen

Voordelen van traceringsexperimenten

Of u nu modellen traint met taken in Azure Machine Learning of interactief in notebooks, het bijhouden van experimenten helpt u:

• Organiseer al uw machine learning-experimenten op één plek. Zoek en filter experimenten en zoom vervolgens in om details over eerdere experimenten te bekijken.
• Vergelijk experimenten, analyseer resultaten en foutopsporingsmodeltraining.
• Experimenten reproduceren of opnieuw uitvoeren om resultaten te valideren.
• Werk gemakkelijker samen, omdat u ziet wat andere teamleden doen, experimentresultaten delen en programmatisch toegang krijgen tot experimentgegevens.

Bijhouden met MLflow

Azure Machine Learning-werkruimten zijn compatibel met MLflow. Deze compatibiliteit betekent dat u MLflow gebruikt om uitvoeringen, metrische gegevens, parameters en artefacten in werkruimten bij te houden zonder uw trainingsroutines te wijzigen of cloudspecifieke syntaxis toe te voegen. Zie Experimenten en modellen bijhouden met MLflow voor meer informatie over het gebruik van MLflow voor het bijhouden van experimenten en uitvoeringen in Azure Machine Learning-werkruimten.

Azure Machine Learning maakt gebruik van MLflow-tracering om metrische gegevens te registreren en artefacten op te slaan voor uw experimenten. Wanneer u verbinding hebt met Azure Machine Learning, wordt alle MLflow-tracering weergegeven in de werkruimte die u gebruikt.

Zie met MLflow voor meer informatie over het inschakelen van logboekregistratie voor het bewaken van metrische gegevens van realtime uitvoeringen met MLflow. U voert ook query's uit en vergelijkt experimenten en uitvoeringen met MLflow.

MLflow in Azure Machine Learning biedt een manier om tracering te centraliseren. Verbind MLflow met Azure Machine Learning-werkruimten, zelfs wanneer u lokaal of in een andere cloud werkt. De Azure Machine Learning-werkruimte biedt een gecentraliseerde, veilige en schaalbare locatie voor het opslaan van metrische gegevens en modellen voor training.

Met MLflow in Azure Machine Learning kunt u het volgende doen:

• Volg machine learning-experimenten en -modellen die lokaal of in de cloud worden uitgevoerd.
• Azure Databricks machine learning-experimenten bijhouden.
• Machine learning-experimenten van Azure Synapse Analytics bijhouden.

Bijhouden met MLflow in R

MLflow-ondersteuning in R heeft deze beperkingen:

• MLflow-tracering is beperkt tot het bijhouden van metrische experimentgegevens, parameters en modellen in Azure Machine Learning-taken.
• Interactieve training over RStudio, Posit (voorheen RStudio Workbench) of Jupyter-notebooks met R-kernels wordt niet ondersteund.
• Modelbeheer en -registratie worden niet ondersteund. Gebruik de Azure Machine Learning CLI of Azure Machine Learning-studio voor modelregistratie en -beheer.

Zie R-modellen trainen met behulp van de Azure Machine Learning CLI (v2) voor voorbeelden van het gebruik van de MLflow-traceringsclient met R-modellen in Azure Machine Learning.

Bijhouden met MLflow in Java

MLflow-ondersteuning in Java heeft deze beperkingen:

• MLflow-tracering is beperkt tot het bijhouden van metrische gegevens en parameters voor experimenten in Azure Machine Learning-taken.
• Artefacten en modellen kunnen niet worden bijgehouden. Gebruik in plaats daarvan de mlflow.save_model methode met de outputs map in taken om modellen of artefacten op te slaan die u wilt vastleggen.

Zie azuremlflow-java voor een Java-voorbeeld dat gebruikmaakt van de MLflow-traceringsclient met de Azure Machine Learning-traceringsserver.

Voorbeeldnotebooks voor MLflow-tracering

• Het trainen en volgen van een XGBoost-classificator met MLflow laat zien hoe u MLflow gebruikt om experimenten te monitoren, modellen te loggen en meerdere smaken te combineren tot pijplijnen.
• Het trainen en bijhouden van een XGBoost-classificatie met MLflow met behulp van service-principalverificatie laat zien hoe u MLflow gebruikt om experimenten bij te houden van een berekening die buiten Azure Machine Learning wordt uitgevoerd. In het voorbeeld ziet u hoe u zich verifieert bij Azure Machine Learning-services met behulp van een service-principal.
• Hyperparameteroptimalisatie met HyperOpt en geneste uitvoeringen in MLflow laat zien hoe u onderliggende uitvoeringen gebruikt om hyperparameteroptimalisatie voor modellen uit te voeren met behulp van de populaire HyperOpt-bibliotheek. In het voorbeeld ziet u hoe u metrische gegevens, parameters en artefacten overbrengt van onderliggende uitvoeringen naar bovenliggende uitvoeringen.
• Het vastleggen van modellen met MLflow laat zien hoe u het concept van modellen gebruikt in plaats van artefacten met MLflow. In het voorbeeld ziet u ook hoe u aangepaste modellen maakt.
• Uitvoeringen en experimenten beheren met MLflow laat zien hoe u MLflow gebruikt om experimenten, uitvoeringen, metrische gegevens, parameters en artefacten uit Azure Machine Learning op te vragen.

Modelregistratie met MLflow

Azure Machine Learning ondersteunt MLflow voor modelbeheer. Als u bekend bent met de MLflow-client, kunt u deze gebruiken om de volledige levenscyclus van het model te beheren. Zie Modelregisters beheren in Azure Machine Learning met MLflow met MLflow voor meer informatie over het beheren van modellen met de MLflow-API.

Voorbeeld van notebook voor MLflow-modelregistratie

Modelbeheer met MLflow laat zien hoe u modellen in registers beheert.

Modelimplementatie met MLflow

Implementeer MLflow-modellen in Azure Machine Learning om een verbeterde ervaring te krijgen. Azure Machine Learning biedt ondersteuning voor het implementeren van MLflow-modellen voor zowel realtime- als batcheindpunten zonder een omgeving of een scorescript op te geven.

De MLflow SDK, Azure Machine Learning CLI, Azure Machine Learning SDK voor Python en Azure Machine Learning-studio alle ondersteuning voor de implementatie van MLflow-modellen. Zie Richtlijnen voor het implementeren van MLflow-modellen in Azure Machine Learning voor zowel realtime als batchdeductie voor meer informatie over het implementeren van MLflow-modellen.

Voorbeeldnotebooks voor MLflow-modelimplementatie

• Als u MLflow implementeert op online-eindpunten , ziet u hoe u MLflow-modellen implementeert op online-eindpunten met behulp van de MLflow SDK.
• Progressieve implementatie van MLflow-implementaties laat zien hoe u MLflow-modellen implementeert op online-eindpunten met behulp van de MLflow-SDK met progressieve modelimplementatie. In het voorbeeld ziet u ook hoe u meerdere versies van een model implementeert op hetzelfde eindpunt.
• Als u MLflow-modellen implementeert in verouderde webservices , ziet u hoe u MLflow-modellen implementeert in verouderde webservices (Azure Container Instances of Azure Kubernetes Service v1) met behulp van de MLflow SDK.
• Modellen trainen in Azure Databricks en deze implementeren in Azure Machine Learning laat zien hoe u modellen traint in Azure Databricks en implementeert in Azure Machine Learning. In het voorbeeld worden ook traceringsexperimenten behandeld met het MLflow-exemplaar in Azure Databricks.

Training met MLflow Projects (preview)

Verzend trainingstaken naar Azure Machine Learning met behulp van MLflow Projects. Verzend taken lokaal met Azure Machine Learning-tracering of migreer uw taken naar de cloud met behulp van Azure Machine Learning Compute.

Leer hoe u trainingstaken verzendt die gebruikmaken van MLflow Projects naar Azure Machine Learning-werkruimten voor het bijhouden in Train with MLflow Projects in Azure Machine Learning (preview).

Voorbeeldnotebooks voor MLflow-projecten

• Trainen met MLflow Projects op lokale compute
• Trainen met MLflow Projects op Azure Machine Learning Compute

Mogelijkheden voor MLflow versus Azure Machine Learning-clienthulpprogramma's

In de volgende tabel ziet u bewerkingen voor de levenscyclus van machine learning die u kunt uitvoeren met de MLflow SDK en azure Machine Learning-clienthulpprogramma's.

¹ Zie Modelregisters beheren in Azure Machine Learning met MLflow voor meer informatie.

² Zie MLflow-modellen implementeren en uitvoeren in Spark-taken voor een alternatief.

Gerelateerde inhoud

• MLflow configureren voor Azure Machine Learning
• ML-experimenten en -modellen bijhouden met MLflow
• Richtlijnen voor het implementeren van MLflow-modellen