Qu'est-ce que Azure Machine Learning ?

Azure Machine Learning est un service cloud qui accélère et gère le cycle de vie des projets d’apprentissage automatique (ML). Les professionnels du ML, les scientifiques des données et les ingénieurs l'utilisent dans leurs flux de travail quotidiens pour former et déployer des modèles et gérer les opérations d'apprentissage automatique (MLOps).

Vous pouvez créer un modèle dans Machine Learning ou utiliser un modèle créé à partir d’une plateforme open source, telle que PyTorch, TensorFlow ou scikit-learn. Les outils MLOps vous permettent d’effectuer un monitoring des modèles, de les recycler et de les redéployer.

La fonction d’Azure Machine Learning

Le Machine Learning est destiné aux individus et aux équipes qui implémentent des opérations d’apprentissage automatique au sein de leur organisation pour mettre en production des modèles de ML dans un environnement de production sécurisé et auditable.

Les scientifiques des données et les ingénieurs ML peuvent utiliser des outils pour accélérer et automatiser leurs flux de travail quotidiens. Les développeurs d’applications peuvent utiliser des outils pour intégrer des modèles dans des applications ou des services. Les développeurs de plateforme peuvent utiliser un ensemble robuste d’outils, soutenus par des API Azure Resource Manager durables, pour créer des outils de ML avancés.

Les entreprises travaillant dans le cloud Microsoft Azure peuvent utiliser le contrôle d’accès en fonction du rôle et de la sécurité familière pour l’infrastructure. Il est possible de configurer un projet de façon à refuser l’accès aux données protégées et à certaines opérations.

Productivité pour tous les membres de l’équipe

Les projets ML nécessitent souvent une équipe dotée de compétences variées pour être construits et maintenus. L'apprentissage automatique dispose d'outils qui vous permettent de :

• Collaborer avec votre équipe via des notebooks partagés, des ressources de calcul, des calculs serverless, des données et des environnements

• Développer des modèles d'équité et d'explicabilité, de suivi et d'auditabilité pour répondre aux exigences de conformité en matière de lignée et d'audit

• Déployer rapidement et facilement des modèles ML à grande échelle, et les gérer efficacement avec MLOps

• Exécuter des charges de travail Machine Learning n’importe où avec une gouvernance, une sécurité et une conformité intégrées

Outils de plateforme inter-compatibles répondant à vos besoins

Tout membre d’une équipe ML peut utiliser ses outils préférés pour accomplir le travail. Que vous exécutiez des expériences rapides, que vous ajustiez des hyperparamètres, que vous créiez des pipelines ou que vous gériez des inférences, vous pouvez utiliser des interfaces familières, notamment :

• Azure Machine Learning Studio
• Kit de développement logiciel (SDK) Python (v2)
• Azure CLI (v2)
• API REST Azure Resource Manager

Au fur et à mesure que vous affinez le modèle et collaborez avec d’autres personnes tout au long du reste du cycle de développement de Machine Learning, vous pouvez partager et rechercher des ressources, des ressources et des métriques pour vos projets sur l’interface utilisateur de Machine Learning Studio.

Studio

Machine Learning Studio propose plusieurs expériences de création en fonction du type de projet et du niveau de votre expérience ML passée, sans que vous ayez besoin d'installer quoi que ce soit.

• Notebooks : écrivez et exécutez votre propre code dans des serveurs Jupyter Notebook managés qui sont directement intégrés dans le studio. Vous pouvez aussi ouvrir les notebooks dans VS Code, sur le web ou sur votre bureau.

• Visualiser les métriques d’exécution : analysez et optimisez vos expériences avec la visualisation.

  

• Concepteur d’Azure Machine Learning : utilisez le concepteur pour effectuer l’apprentissage et déployer des modèles ML sans écrire de code. Faites un glisser-déplacer des jeux de données et des composants pour créer des pipelines ML.

• Interface utilisateur de Machine Learning automatisé : découvrez comment créer des expériences ML automatisées avec une interface facile à utiliser.

• Étiquetage des données : utilisez l’étiquetage des données Machine Learning pour coordonner efficacement l’étiquetage d’images ou les projets d’étiquetage de texte.

Utiliser des grands modèles de langage (LLM) et l’IA générative

Azure Machine Learning inclut des outils pour vous aider à créer des applications d’IA générative alimentées basées sur de grands modèles de langage (LLM). La solution comprend un catalogue de modèles, un flux de prompts et une suite d’outils pour simplifier le cycle de développement des applications d’IA.

Azure Machine Learning Studio et Microsoft Foundry vous permettent de travailler avec des LLMs. Utilisez ce guide pour déterminer quel studio vous devez utiliser.

Catalogue de modèles

Le catalogue de modèles dans Azure Machine Learning studio est le hub qui permet de découvrir et d’utiliser un large choix de modèles pour créer des applications d’IA générative. Le catalogue de modèles comprend des centaines de modèles provenant de fournisseurs de modèles tels que le service Azure OpenAI, Mistral, Meta, Cohere, NVIDIA et Hugging Face, y compris des modèles formés par Microsoft. Les modèles provenant de fournisseurs autres que Microsoft sont des produits non-Microsoft, tels que définis dans les conditions du produit de Microsoft, et soumis aux conditions fournies avec le modèle.

Flux rapide

Le flux d’invite Azure Machine Learning est un outil de développement conçu pour simplifier l’ensemble du cycle de développement des applications IA avec des modèles LLM (Large Language Models). Le flux rapide fournit une solution complète qui simplifie le processus de prototypage, d’expérimentation, d’itération et de déploiement de vos applications IA.

Préparation et sécurité de l'entreprise

Le Machine Learning s’intègre à la plateforme cloud Azure pour ajouter la sécurité aux projets ML.

Les intégrations de sécurité sont les suivantes :

• Réseaux virtuels Azure avec groupes de sécurité réseau
• Azure Key Vault, où vous pouvez enregistrer des secrets de sécurité, tels que les informations d'accès aux comptes de stockage
• Azure Container Registry configuré derrière un réseau virtuel

Pour plus d’informations, consultez le Tutoriel : Configurer un espace de travail sécurisé.

Intégrations Azure pour des solutions complètes

D’autres intégrations avec les services Azure prennent en charge un projet ML de bout en bout. Ils comprennent :

• Azure Synapse Analytics, pour traiter et diffuser des données avec Spark
• Azure Arc pour exécuter des services Azure dans un environnement Kubernetes
• Options de stockage et de base de données, telles que Azure SQL Database et Azure Blob Storage
• Azure App Service, pour déployer et gérer des applications optimisées par ML
• Microsoft Purview, pour découvrir et cataloguer les ressources de données dans toute votre organisation

Flux de travail des projets de Machine Learning

En règle générale, les modèles sont développés dans le cadre d’un projet avec un objectif et des buts. Les projets impliquent souvent plusieurs personnes. Lorsque vous expérimentez des données, des algorithmes et des modèles, le développement est itératif.

Cycle de vie des projets

Le cycle de vie du projet peut varier selon le projet, mais il ressemble souvent à ce diagramme.

Un espace de travail organise un projet et permet la collaboration de nombreux utilisateurs vers un objectif commun. Les utilisateurs d’un espace de travail peuvent facilement partager les résultats de leurs exécutions à partir de l’expérimentation dans l’interface utilisateur studio. Ils peuvent également utiliser des ressources avec version pour des travaux tels que des environnements et des références de stockage.

Pour plus d’informations, consultez Gestion des espaces de travail Azure Machine Learning.

Lorsqu’un projet est prêt pour l’opérationnalisation, le travail des utilisateurs peut être automatisé dans un pipeline ML et déclenché selon une planification ou par une requête HTTPS.

Vous pouvez déployer des modèles sur la solution d’inférence managée, à la fois pour les déploiements en temps réel et par lots, en faisant abstraction de la gestion de l’infrastructure généralement requise pour le déploiement de modèles.

Entraîner des modèles

Dans Azure Machine Learning, vous pouvez exécuter votre script d’apprentissage dans le cloud ou créer un modèle à partir de zéro. Les clients apportent souvent des modèles qu’ils ont créés et formés dans des infrastructures open source pour pouvoir les opérationnaliser dans le cloud.

Ouverture et interopérabilité

Les scientifiques des données peuvent utiliser des modèles Azure Machine Learning qu’ils ont créés dans des frameworks Python courants :

• PyTorch
• TensorFlow
• scikit-learn
• XGBoost
• LightGBM

D’autres langages et infrastructures sont également pris en charge :

• R
• .NET

Pour plus d’informations, consultez Intégration open source à Azure Machine Learning.

Caractérisation automatisée et sélection d’algorithmes

Dans le ML classique, les scientifiques des données utilisent l'expérience antérieure et l'intuition pour sélectionner la bonne caractérisation des données et l'algorithme pour la formation dans un processus répétitif et chronophage. Le ML automatisé (AutoML) accélère ce processus. Vous pouvez l’utiliser via l’interface utilisateur de Machine Learning studio ou le Kit de développement logiciel (SDK) Python.

Pour plus d’informations, consultez Qu’est-ce que le Machine Learning automatisé ?.

Optimisation des hyperparamètres

L’optimisation des hyperparamètres, ou réglage des hyperparamètres, peut représenter une tâche fastidieuse. Le Machine Learning peut automatiser cette tâche pour des commandes paramétrables arbitraires avec peu de modification de votre définition de travail. Les résultats sont visualisés dans le studio.

Pour plus d’informations, consultez Régler les hyperparamètres.

Apprentissage distribué multinœud

L'efficacité de la formation pour les tâches de formation en apprentissage profond et parfois en apprentissage automatique classique peut être considérablement améliorée grâce à une formation distribuée multi-nœuds. Les clusters de calcul Azure Machine Learning et le calcul serverless offrent les dernières options GPU.

Pris en charge via Azure Machine Learning Kubernetes, les clusters de calcul Azure Machine Learning et le calcul serverless :

• PyTorch
• TensorFlow
• MPI

Vous pouvez utiliser la distribution MPI pour Horovod ou une logique multi-nœuds personnalisée. Apache Spark est pris en charge via le calcul Spark serverless et le pool Spark Synapse attaché qui utilise des clusters Spark Azure Synapse Analytics.

Pour plus d’informations, consultez Formation distribuée avec Azure Machine Learning.

Parallélisme embarrassant de l’apprentissage

La mise à l’échelle d’un projet ML peut nécessiter une mise à l’échelle au parallélisme embarrassant de l’entraînement du modèle. Ce modèle est courant pour les scénarios tels que la prévision de la demande, où un modèle peut être formé pour de nombreux magasins.

Déployer des modèles

Pour mettre un modèle en production, vous déployez le modèle. Les points de terminaison gérés d’Azure Machine Learning simplifient la création de l’infrastructure nécessaire au scoring (inférence) des modèles par lots ou en temps réel (en ligne).

Scoring en temps réel et par lots (inférence)

Le scoring par lots, ou inférence par lots, implique d’appeler un point de terminaison avec une référence à des données. Le point de terminaison de traitement par lots exécute les tâches de manière asynchrone pour traiter les données en parallèle sur les clusters de calcul et les stocker en vue d’une analyse plus poussée.

Le scoring en temps réel,ou l’inférence en ligne, impliquent l’appel d’un point de terminaison avec un ou plusieurs modèles de déploiement et la réception d’une réponse en temps quasi réel via HTTPS. Le trafic peut être divisé entre plusieurs déploiements, ce qui permet de tester de nouvelles versions de modèle en détournant une certaine quantité de trafic initialement et en l’augmentant, après l’établissement de la confiance, dans le nouveau modèle.

Pour plus d'informations, consultez les pages suivantes :

• Déploiement d’un modèle avec un point de terminaison géré en temps réel
• Utilisation de points de terminaison de traitement par lots pour le scoring par lots

MLOps : le DevOps pour le Machine Learning

L’outil DevOps pour les modèles ML, souvent appelé opérations d’apprentissage automatique, est un processus de développement de modèles pour la production. Le cycle de vie d’un modèle, de l’apprentissage au déploiement, doit être, sinon reproductible, du moins auditable.

Cycle de vie des modèles ML

Cf. MLOps dans Azure Machine Learning.

Intégrations permettant les MLOps

Le Machine Learning est conçu avec le cycle de vie du modèle à l’esprit. Vous pouvez auditer ce cycle de vie jusqu’au niveau d’une validation et d’un environnement spécifiques.

Voici quelques-unes des fonctionnalités clés permettant le MLOps :

• Intégration Git
• Intégration de MLflow
• Planification des pipelines Machine Learning
• Intégration d’Azure Event Grid pour les déclencheurs personnalisés
• Facilité d'utilisation avec des outils CI/CD comme GitHub Actions ou Azure DevOps

Le Machine Learning inclut également des fonctionnalités de supervision et d’audit :

• Artefacts de tâches, par exemple instantanés de code, journaux et autres sorties
• Traçabilité entre les tâches et les ressources, notamment les conteneurs, les données et les ressources de calcul

Si vous utilisez Apache Airflow, le package airflow-provider-azure-machinelearning est un fournisseur qui vous permet de soumettre des workflows à Azure Machine Learning à partir d’Apache Airflow.

Contenu connexe

Commencez à utiliser Azure Machine Learning :

• Configuration d’un espace de travail Azure Machine Learning
• Tutoriel : Création d’un premier projet de Machine Learning
• Exécuter des travaux de formation