Partager via

Qu’est-ce que Windows ML ?

Windows Machine Learning (ML) permet aux développeurs C#, C++ et Python d’exécuter localement des modèles ONNX AI sur des PC Windows via le runtime ONNX, avec la gestion automatique du fournisseur d’exécution pour différents matériels (PROCESSEURs, GPU, NPU). OnNX Runtime peut être utilisé avec des modèles à partir de PyTorch, Tensorflow/Keras, TFLite, scikit-learn et d’autres frameworks.

Un diagramme illustrant un modèle ONNX passant par Windows ML pour atteindre ensuite des NPU, des GPU et des processeurs.

Si vous n’êtes pas déjà familiarisé avec le runtime ONNX, nous vous suggérons de lire les documents ONNX Runtime. En bref, Windows ML fournit une copie partagée à l’échelle windows du runtime ONNX, ainsi que la possibilité de télécharger dynamiquement des fournisseurs d’exécution (EPs).

Principaux avantages

  • Obtenir dynamiquement les derniers EPs - Télécharge et gère automatiquement les derniers fournisseurs d’exécution spécifiques au matériel
  • Runtime ONNX partagé : utilise le runtime à l’échelle du système au lieu de regrouper votre propre runtime, ce qui réduit la taille de l’application
  • Téléchargements/installations plus petits - Il n’est pas nécessaire de transporter des EPs volumineux et le runtime ONNX dans votre application
  • Prise en charge matérielle étendue : s’exécute sur des PC Windows (x64 et ARM64) et Windows Server avec n’importe quelle configuration matérielle

Configuration système requise

Qu’est-ce qu’un fournisseur d’exécution ?

Un fournisseur d’exécution (EP) est un composant qui permet des optimisations spécifiques au matériel pour les opérations machine learning (ML). Les fournisseurs d’exécution abstraitnt différents back-ends de calcul (PROCESSEUR, GPU, accélérateurs spécialisés) et fournissent une interface unifiée pour le partitionnement de graphe, l’inscription du noyau et l’exécution des opérateurs. Pour plus d’informations, consultez la documentation onNX Runtime.

Vous pouvez voir la liste des EPs pris en charge par Windows ML ici.

Fonctionnement

Windows ML inclut une copie du runtime ONNX et vous permet de télécharger dynamiquement des fournisseurs d’exécution spécifiques aux fournisseurs (EPs), afin que votre inférence de modèle puisse être optimisée sur la grande variété de processeurs, de GPU et de serveurs npus dans l’écosystème Windows.

Déploiement automatique

  1. Installation de l’application - Programme d’amorçage du Kit de développement logiciel (SDK) d’application Windows initialise Windows ML
  2. Détection matérielle - Le runtime identifie les processeurs disponibles
  3. Téléchargement EP - Télécharge automatiquement les fournisseurs d’exécution optimaux
  4. Prêt à s’exécuter - Votre application peut immédiatement utiliser des modèles IA

Cela élimine la nécessité de :

  • Fournisseurs d’exécution de bundles pour des fournisseurs de matériel spécifiques
  • Créer des builds d’application distinctes pour différents fournisseurs d’exécution
  • Gérer manuellement les mises à jour du fournisseur d’exécution

Note

Vous êtes toujours responsable de l’optimisation de vos modèles pour différents matériels. Windows ML gère la distribution du fournisseur d’exécution, et non l’optimisation du modèle. Pour plus d’informations sur l’optimisation, consultez AI Toolkit et les didacticiels sur le runtime ONNX .

Optimisation des performances

La dernière version de Windows ML fonctionne directement avec des fournisseurs d’exécution dédiés pour les GPU et les processeurs réseau, offrant des performances to-the-metal qui sont à l’aide de kits SDK dédiés du passé, tels que TensorRT pour RTX, AI Engine Direct et l’extension Intel pour PyTorch. Nous avons conçu Windows ML pour avoir des performances gpu et NPU de classe optimales, tout en conservant les avantages d’écriture une fois exécuté n’importe où que la solution directML précédente proposée.

Utilisation de fournisseurs d’exécution avec Windows ML

Le runtime Windows ML offre un moyen flexible d’accéder aux fournisseurs d’exécution machine learning (ML), qui peuvent optimiser l’inférence du modèle ML sur différentes configurations matérielles. Ces EPs sont distribués en tant que packages distincts qui peuvent être mis à jour indépendamment du système d’exploitation. Pour plus d’informations sur le téléchargement et l’inscription dynamiques d’EPs, consultez les fournisseurs d’exécution avec windows ML .

Conversion de modèles en ONNX

Vous pouvez convertir des modèles d’autres formats en ONNX afin de pouvoir les utiliser avec Windows ML. Pour en savoir plus, consultez les documents de Visual Studio Code AI Toolkit sur la conversion de modèles au format ONNX . Consultez également les didacticiels sur le runtime ONNX pour plus d’informations sur la conversion des modèles PyTorch, TensorFlow et Visage en ONNX.

Gestion des modèles

Windows ML fournit des options flexibles pour la gestion des modèles IA :

  • Catalogue de modèles - Télécharger dynamiquement des modèles à partir de catalogues en ligne sans regrouper de fichiers volumineux
  • Modèles locaux - Inclure des fichiers de modèle directement dans votre package d’application

Intégration à l’écosystème Windows AI

Windows ML sert de base pour la plateforme Windows AI plus large :

  • API Windows AI - Modèles intégrés pour les tâches courantes
  • Foundry Local - Modèles IA prêts à l’emploi
  • Modèles personnalisés - Accès direct aux API Windows ML pour les scénarios avancés

Formulation de commentaires

Vous avez trouvé un problème ou avez des suggestions ? Recherchez ou créez des problèmes sur Le Kit de développement logiciel (SDK) d’application Windows GitHub.

Étapes suivantes

  • Last updated on