Qu’est-ce que Microsoft Foundry on Windows?

Microsoft Foundry on Windows fournit un certain nombre de fonctionnalités soutenues par l’IA et APIs pour les PC Copilot+ qui s’exécutent localement et en arrière-plan à tout moment.

Microsoft Foundry on Windows inclut plusieurs composants qui prennent en charge des expériences IA uniques :

1. Windows AI APIs: utilisez l’IA windows intégrée pour intégrer des services IA APIs à vos applications Windows. Il APIs s’agit notamment des éléments suivants :

   • Phi Silicon : modèle de langage local prêt à l’emploi.
   • Personnalisation du modèle de langage : personnaliser le modèle Phi Silica avec l'adaptation de rang faible (LoRA).
   • Imagerie : Mettez à l’échelle et aiguisez une image (Résolution super d’image), générez du texte qui décrit une image (Description de l’image), identifiez les objets dans une image (Segmentation d’image), supprimez les objets d’une image (Effacement d’objet) et générez des images à partir du texte d’invite (Génération d’images).
   • Video Super Resolution (VSR) : haut niveau de flux vidéo à faible résolution.
   • Intelligence de texte : détectez et extrayez le texte dans des images et convertissez-le en flux de caractères lisibles par machine (Text Recognition), formatez la réponse d'invite sous forme de tableau structuré, résumez le texte d'invite et réécrivez le texte d'invite pour optimiser la clarté, la lisibilité ainsi que le ton (ou style).
   • Recherche de contenu d’application : indexer le contenu dans l’application pour le rendre accessible à la recherche par mot clé ou sémantique, et créer un pipeline de génération augmentée de récupération locale (RAG) et une base de connaissances sur appareil pour un modèle de grande langue local ou cloud (LLM).

2. Foundry Local : modèles OSS populaires que vous pouvez tirer parti et extraire dans votre application

3. Windows ML : permet l’inférence IA avec votre propre modèle ONNX

4. Outils de développement : outils tels que Visual Studio AI Toolkit et AI Dev Gallery qui vous aideront à créer des fonctionnalités d’IA réussies

Comment utiliser l’IA dans votre application Windows ?

Voici quelques façons dont les applications Windows peuvent tirer parti des modèles Machine Learning (ML) pour améliorer leurs fonctionnalités et leur expérience utilisateur avec l’IA, notamment :

• Les applications peuvent utiliser des modèles d’IA Générative pour comprendre les rubriques complexes pour résumer, réécrire, créer un rapport ou développer.
• Les applications peuvent utiliser des modèles qui transforment du contenu de forme libre en un format structuré que votre application peut comprendre.
• Les applications peuvent utiliser des modèles de recherche sémantique qui permettent aux utilisateurs de rechercher du contenu en signification et de trouver rapidement du contenu associé.
• Les applications peuvent utiliser des modèles de traitement du langage naturel pour raisonner sur les exigences complexes du langage naturel, et planifier et exécuter des actions pour accomplir la demande de l’utilisateur.
• Les applications peuvent utiliser des modèles de manipulation d’images pour modifier intelligemment des images, effacer ou ajouter des sujets, une mise à l’échelle ou générer du nouveau contenu.
• Les applications peuvent utiliser des modèles de diagnostic prédictifs pour identifier et prédire les problèmes et guider l’utilisateur ou le faire pour eux.

Utilisation de Windows AI APIs plutôt que d’apporter vos propres modèles

Utiliser Windows AI APIs

Lorsqu’un modèle IA local est la bonne solution, vous pouvez utiliser Windows AI APIs pour intégrer des services IA pour les utilisateurs sur des PC Copilot+. Celles-ci APIs sont intégrées à votre PC et permettent des fonctionnalités uniques basées sur l’IA avec relativement peu de surcharge.

Entraîner votre propre modèle

Si vous avez la possibilité d’entraîner votre propre modèle à l’aide de vos propres données privées avec des plateformes telles que TensorFlow ou PyTorch. Vous pouvez intégrer ce modèle personnalisé à votre application Windows en l’exécutant localement sur le matériel de l’appareil à l’aide de ONNX Runtime et de AI Toolkit pour Visual Studio Code.

AI Toolkit pour Visual Studio Code est une extension VS Code qui vous permet de télécharger et d’exécuter des modèles IA localement, notamment l’accès à l’accélération matérielle pour améliorer les performances et l’échelle via DirectML. L’IA Tookit peut également vous aider à :

• Test de modèles dans un terrain de jeu intuitif ou dans votre application avec une API REST.
• Réglage précis de votre modèle IA, localement ou dans le cloud (sur une machine virtuelle) pour créer de nouvelles compétences, améliorer la fiabilité des réponses, définir le ton et le format de la réponse.
• Réglage des modèles populaires de langues à faibles ressources (SLMs), comme Phi-3 et Mistral.
• Déployez votre fonctionnalité IA dans le cloud ou avec une application qui s’exécute sur un appareil.
• Tirez parti de l’accélération matérielle pour améliorer les performances avec les fonctionnalités IA à l’aide de DirectML. DirectML est une API de bas niveau qui permet à votre matériel d’appareil Windows d’accélérer les performances des modèles ML à l’aide du GPU d’appareil ou du NPU. L’appairage de DirectML avec le ONNX Runtime est généralement le moyen le plus simple pour les développeurs d’apporter l’IA accélérée matériellement à leurs utilisateurs à grande échelle. En savoir plus : Vue d’ensemble de DirectML.
• Quantifiez et validez un modèle pour une utilisation sur NPU en utilisant les capacités de conversion de modèle.

Vous pouvez également examiner ces concepts de réglage de modèle pour ajuster un modèle préentraîné afin de mieux adapter vos données.

Utilisation de modèles IA cloud

Si l’utilisation de fonctionnalités IA locales n’est pas le bon chemin pour vous, l’utilisation de modèles et de ressources IA cloud peut être une solution.

Autres fonctionnalités IA

1. Actions d’application sur Windows : créez des actions pour votre application en activant des fonctionnalités IA nouvelles et uniques pour les consommateurs

Utiliser des pratiques d’IA responsable

Chaque fois que vous incorporez des fonctionnalités IA dans votre application Windows, nous vous recommandons vivement de suivre le guide pratique Développement d’applications et de fonctionnalités d’IA générative responsable sur Windows.