Automatiser les applications web et de bureau avec l’outil d’utilisation de l’ordinateur (version préliminaire)

[Cet article fait partie de la documentation en version préliminaire et peut faire l’objet de modifications.]

L’utilisation de l’ordinateur est un outil de Copilot Studio qui permet à votre assistant d’interagir avec un ordinateur Windows et d’y automatiser des tâches. Il fonctionne avec les sites Web et les applications de bureau en sélectionnant des boutons, en choisissant des menus et en saisissant du texte dans les champs à l’écran. Décrivez en langage naturel ce que vous souhaitez que l’usage de l’ordinateur accomplisse, et il exécute la tâche sur un ordinateur que vous avez configuré, en utilisant une souris et un clavier virtuels. Avec l’utilisation de l’ordinateur, les assistants peuvent effectuer des tâches même s’il n’existe aucune API pour se connecter directement au système. Si une personne peut utiliser une application ou un site web, l’outil d’utilisation de l’ordinateur le peut aussi. L’utilisation de l’ordinateur permet d’effectuer des tâches telles que la saisie de données automatisée, le traitement de factures et l’extraction de données.

L’utilisation de l’ordinateur est alimentée par des agents utilisant l’ordinateur (CUA), un modèle d’IA qui combine des capacités de vision avec un raisonnement avancé pour interagir avec les interfaces utilisateur graphiques (GUI). Parce qu’il est alimenté par l’IA, il s’adapte aux changements d’interface. Par exemple, lorsque les boutons ou les écrans changent, l’outil continue de fonctionner sans interrompre votre flux. C’est simple à utiliser. Décrivez simplement ce que vous voulez en langage naturel. Vous n’avez pas besoin d’écrire du code.

Regardez cette vidéo pour découvrir comment l’outil d’utilisation de l’ordinateur permet à un agent d’interagir avec une application web.

Conditions préalables

• La fonctionnalité est disponible pour les environnements où la région est définie sur États-Unis.

• Assurez-vous que votre assistant a activé l’orchestrateur génératif pour utiliser l’outil d’utilisation de l’ordinateur.

Ajouter l’outil d’utilisation de l’ordinateur à votre agent

Sur un nouvel assistant ou un assistant existant dans Copilot Studio, ajoutez l’utilisation de l’ordinateur en tant qu’outil en procédant comme suit :

1. Accédez à la section Outils de votre agent et sélectionnez Ajouter un outil.

2. Dans la boîte de dialogue Ajouter un outil, sélectionnez Nouvel outil.

3. Sélectionnez Utilisation de l’ordinateur.

4. Fournissez les instructions qui décrivent la tâche que l’outil doit effectuer sur l’ordinateur. Quelques modèles d’instructions vous sont fournis pour démarrer. Pour en savoir plus sur la meilleure façon de rédiger des instructions pour l’utilisation de l’ordinateur, consultez Bonnes pratiques en matière de rédaction d’instructions pour l’utilisation de l’ordinateur de l’ordinateur.

5. Choisissez l’appareil sur lequel l’utilisation de l’ordinateur est exécuté. Vous pouvez utiliser le navigateur hébergé, un ordinateur prêt à l’emploi pour automatiser des tâches sur des sites web publics ou sélectionner un ordinateur Windows que vous pouvez configurer l’utilisation de l’ordinateur. Pour en savoir plus, consultez Configurer l’emplacement d’exécution de l’utilisation de l’ordinateur.

6. Sélectionnez Ajouter et configurer.

   • Sur la page de configuration, configurez ces trois champs :

     • Nom : entrez le nom d’affichage de l’outil d’utilisation de l’ordinateur. Ce nom vous aide à le différencier des autres outils que vous ajoutez à votre agent.
     • Description : entrez une brève description de ce que fait cet outil et quand l’utiliser. Ce texte permet à votre agent de savoir quand utiliser cet outil.
     • Instructions : répertoriez les étapes que l’outil doit effectuer, y compris les URL et les noms d’application. Pour obtenir des astuces, voir Pratiques recommandées pour obtenir des instructions pour l’outil d’utilisation de l’ordinateur.

7. Passez en revue ces autres champs et paramètres sur la page de configuration qui pourraient être pertinents :

   • Entrées : utilisez les entrées pour définir des valeurs dynamiques qui changent chaque fois que l’outil d’utilisation de l’ordinateur s’exécute. Par exemple, si vous souhaitez remplir un formulaire avec une valeur différente à chaque exécution, créez une entrée pour ce champ. Au moment de l’exécution, l’utilisation de l’ordinateur combine vos instructions avec les valeurs d’entrée pour terminer la tâche.

   • Appareil : sélectionnez l’ordinateur cible utilisé par l’assistant pour exécuter l’utilisation de l’ordinateur. Consultez Configurer l’emplacement d’exécution de l’utilisation de l’ordinateur pour plus d’informations sur le choix du type d’ordinateur approprié en fonction de vos besoins.

     • Utilisez Actualiser pour mettre à jour la liste des appareils.
     • Choisissez Gérer les appareils pour ouvrir la page de gestion des appareils dans le portail Power Automate.
     • Sélectionnez Afficher les détails de l’appareil pour ouvrir la page des détails de l’appareil dans le portail Power Automate.

   • Connexion : la connexion utilisée pour cet outil. Mettez à jour ou créez une connexion pour modifier les informations d’identification utilisées.

   • Informations d’identification à utiliser : spécifiez comment l’ordinateur s’authentifie pendant l’exécution :

     • Identifiants fournis par le créateur (par défaut) : Cette option utilise les identifiants du fabricant et convient aux agents autonomes.

     Avertissement

     Si vous partagez un agent avec ce paramètre, toute personne qui l’utilise peut agir avec l’accès de l’auteur original sur la machine configurée.

     • Informations d’identification de l’utilisateur final : cette option utilise les informations d’identification de la personne qui interagit avec l’assistant. Chaque utilisateur doit disposer des informations d’identification d’accès à la machine.

   • Supervision humaine : spécifiez qui doit être contacté par courrier électronique (Outlook) si l’assistant utilisant l’outil d’utilisation de l’ordinateur détecte des instructions potentiellement nuisibles susceptibles de modifier le comportement du modèle. Chaque exécution d’assistant et son activité sont associées à l’utilisateur qui l’a déclenchée. Si vous choisissez un évaluateur autre que la personne qui gère l’agent d’utilisation informatique, il est probable qu’il ne voie pas l’activité car il n’a pas lancé la course. Par conséquent, il ne pourra ni vérifier correctement la requête ni y donner suite. Vérifiez également que le destinataire est autorisé et dispose du contexte nécessaire pour gérer ces requêtes. La limite de temps de réponse définit la durée pendant laquelle la requête reste active. Après cette période, la requête expire et l’exécution de l’outil d’utilisation de l’ordinateur s’arrête si aucune réponse n’est reçue. Pour plus d’informations, consultez Supervision humaine.

   • Informations d’identification stockées : définissez les informations d’identification utilisées par l’ordinateur pour se connecter aux sites web et aux applications. Pendant l’exécution, si une invite de connexion s’affiche, l’ordinateur utilise en toute sécurité les informations d’identification que vous avez définies dans cette section pour ce site ou cette application. Les valeurs de mot de passe de ces identifiants sont soit stockées dans le stockage interne de Power Platform (aucune configuration requise), soit dans un Azure Key Vault que vous fournissez. Découvrez comment créer un Azure Key Vault dans Créer un coffre de clés à l’aide du portail Azure.

     • Option de stockage interne : Avec cette option, vous pouvez configurer les identifiants dans l’outil sans aucune préconfiguration. Les secrets sont chiffrés et stockés en interne dans la Power Platform. Pour chaque diplôme, fournissez les informations suivantes :

       • Type : choisissez entre l’application Site web et l’application de bureau selon la surface que vous souhaitez utiliser pour cette certification
       • Nom d’utilisateur : le nom d’utilisateur que vous utilisez pour vous connecter au site ou à l’application cible.
       • Mot de passe : la valeur de mot de passe utilisée pour se connecter au site ou à l’application cible.

       Note

       Les champs de mot de passe sont pris en charge sur tous les sites web et la plupart des applications Windows (WinForms, WPF, UWP, WinUI, Win32), qui couvrent la plupart des scénarios clients. Certains types d’applications, tels que Electron, Java, Unity, les jeux, les interfaces de ligne de commande, Citrix ou d’autres environnements virtualisés, peuvent ne pas être pris en charge.

       • Nom du domaine de connexion ou de l’application de bureau : le domaine ou le nom de l’application où vous entrez les identifiants (par exemple, login.microsoft.com ou Excel). Pour le domaine de connexion, assurez-vous de vérifier ce domaine, car il peut différer de l’URL principale du site.

     • Option Azure Key Vault : Avec cette option, vous pouvez configurer les identifiants dans l’outil en entrant d’abord l’identifiant d’abonnement, le nom du groupe de ressources et le nom du Key Vault. Toutes ces informations sont disponibles sur la page Vue d’ensemble de votre coffre de clés.

       • Pour utiliser des secrets Azure Key Vault avec Power Platform :

         • L’abonnement Azure qui possède le vault doit avoir enregistré le fournisseur de ressources PowerPlatform .
         • L’utilisateur qui crée la variable d’environnement doit disposer des autorisations d’accès appropriées à la ressource Azure Key Vault.

       • Si ce n’est pas déjà fait, suivez les étapes de Configurer Azure Key Vault puis fournissez les détails suivants :

         • Nom d’utilisateur : le nom d’utilisateur que vous utilisez pour vous connecter au site ou à l’application cible.
         • Nom du secret Azure : nom du secret dans le coffre de clés qui stocke le mot de passe du site web ou de l’application.

         Note

         Les champs de mot de passe sont pris en charge sur tous les sites web et la plupart des applications Windows (WinForms, WPF, UWP, WinUI, Win32), qui couvrent la plupart des scénarios clients. Certains types d’applications, tels que Electron, Java, Unity, les jeux, les interfaces de ligne de commande, Citrix ou d’autres environnements virtualisés, peuvent ne pas être pris en charge.

         • Nom du domaine de connexion ou de l’application de bureau : le domaine ou le nom de l’application où vous entrez les identifiants (par exemple, login.microsoft.com ou Excel). Pour le domaine de connexion, assurez-vous de vérifier ce domaine, car il peut différer de l’URL principale du site.

   • Contrôle d’accès : par défaut, l’utilisation de l’ordinateur peut fonctionner sur n’importe quel site web ou application. Si vous souhaitez restreindre cet accès, activez le contrôle d’accès pour définir les URL et les applications de bureau spécifiques auxquelles l’utilisation de l’ordinateur utilise doit se limiter. Vous pouvez configurer à la fois des sites web et des applications :

     • Sites web : entrez l’adresse du site web principal (par exemple, exemple.com). Toutes les pages de ce site web sont incluses automatiquement. Vous pouvez également utiliser des caractères génériques (*) pour les sous-domaines.
       • Exemples : www.contoso.com, *.contoso.com, contoso.com
     • Applications de bureau : entrez le nom du produit d’application ou le nom du processus. Pour le trouver, appuyez sur Ctrl+Maj+Échap pour ouvrir le Gestionnaire des tâches. Vérifiez ensuite l’onglet Processus.
       • Exemples : Microsoft Edge, msedge, Notepad.

     Note

     Le contrôle d’accès empêche uniquement le modèle d’effectuer des actions sur des sites web ou des applications qui ne figurent pas sur la liste d’autorisation. Il n’empêche pas le modèle de les ouvrir. Par exemple, si seuls microsoft.com et Microsoft Edge figurent sur la liste d’autorisation, le modèle peut néanmoins utiliser la barre de recherche d’Edge pour ouvrir Bing. Toutefois, une fois Bing ouvert, toute tentative d’interaction échoue, car il ne figure pas dans la liste d’autorisation.

8. Cliquez sur Enregistrer.

Tester l’outil d’utilisation de l’ordinateur

Le test de l’outil d’utilisation de l’ordinateur est une étape clé du parcours de création. Après avoir entré un nom, une description et des instructions et enregistré l’outil, sélectionnez Tester pour démarrer l’expérience de test.

Après une courte période de chargement, l’expérience de test s’affiche :

• Le panneau de gauche affiche vos instructions ainsi qu’un journal étape par étape des raisonnements et actions de l’outil.
• Le volet de droite affiche un aperçu des actions sur la machine que vous avez configurée pour l’utilisation de l’ordinateur.

Une fois la tâche terminée, le message Test terminé s’affiche. Pendant que le test est en cours, vous pouvez sélectionner Arrêter le test pour arrêter immédiatement toutes les actions sur la machine.

Si le résultat n’est pas celui que vous attendez, accédez à la page de configuration et affinez vos instructions. Ajoutez plus de détails pour améliorer la précision. Pour obtenir des instructions, consultez Pratiques recommandées pour rédiger des instructions efficaces.

Publier un agent avec l’outil d’utilisation de l’ordinateur

Configurez l’utilisation de l’ordinateur, puis publiez votre agent. Le mode de fonctionnement de votre agent dépend du scénario. Il peut être autonome ou conversationnel :

• Les agents autonomes s’exécutent automatiquement et effectuent des tâches en arrière-plan.
• Les assistants conversationnels permettent aux utilisateurs d’interagir via des canaux tels que Microsoft Teams.

L’outil d’utilisation de l’ordinateur fonctionne mieux pour les agents autonomes, qui effectuent des tâches en arrière-plan sans interaction de l’utilisateur.

Vous pouvez également utiliser l’utilisation de l’ordinateur dans des expériences conversationnelles, mais gardez les points suivants à l’esprit :

• Si vous sélectionnez Authentification de l’utilisateur comme paramètre d’authentification, chaque utilisateur interagissant avec l’agent dans une conversation a besoin d’informations d’identification valides pour la machine utilisée par l’outil d’utilisation de l’ordinateur.
• Lorsque l’outil s’exécute, il partage des messages de raisonnement et des captures d’écran de l’activité de la machine dans le chat.

Meilleures pratiques

Pour rester productif et en sécurité dans les environnements numériques actuels, suivez les bonnes pratiques relatives à l’outil d’utilisation de l’ordinateur, en particulier lors de la rédaction d’instructions claires et de la sécurisation des appareils.

Bonnes pratiques pour la sécurisation des machines

Lors de la configuration des appareils en vue d’exploiter l’outil d’utilisation de l’ordinateur, qui permet à l’IA d’exécuter des tâches en langage naturel, tenez compte des recommandations de sécurité suivantes :

Meilleures pratiques pour les instructions d’utilisation de l’ordinateur

Les instructions que vous écrivez déterminent le bon fonctionnement de l’utilisation de l’ordinateur. Des instructions spécifiques et détaillées aident l’outil d’utilisation de l’ordinateur à accomplir les tâches avec précision. C’est comme si vous expliquiez une tâche à un collègue. Des conseils clairs, étape par étape, garantissent le succès.

Conseils pour rédiger des instructions efficaces :

• Soyez précis sur les sites Web et les applications. Incluez toujours l’URL complète de tout site Web et le nom exact de toute application que l’outil doit utiliser. Exemple : ouvrez https://www.microsoft.com et allez dans « Actualités de l’entreprise ».

• Énoncez clairement les actions pertinentes. Si vous voulez que quelque chose soit fait, dis-le explicitement — surtout des actions comme soumettre un formulaire ou envoyer un e-mail. Exemple : Une fois le formulaire rempli, sélectionnez Envoyer. Pas besoin de demander la permission.

• Décomposez les interactions complexes. Pour les zones où l’interface utilisateur peut être plus complexe à naviguer, expliquez chaque étape en détail. Exemple : Sélectionnez l’icône Plus en haut à droite. Un menu déroulant apparaît. Une fois ouvert, sélectionnez le dernier élément de la liste.

• Utilisez le formatage étape par étape pour les tâches plus longues. Les instructions longues sont plus faciles à suivre lorsque vous les mettez en forme sous forme de liste.

Exemples d’instructions

Explorez ces exemples d’instructions pour essayer l’utilisation de l’ordinateur ou utilisez-les comme référence pour écrire les vôtres.

Meilleures pratiques pour l’extraction des données

Vous pouvez utiliser l’ordinateur pour extraire des données de sites web ou d’applications, puis transmettre ces données à votre agent ou à d’autres outils de l’agent. Pour cela, il suffit de décrire directement les informations que vous souhaitez extraire dans les instructions pour l’utilisation de l’ordinateur.

Si vous souhaitez utiliser les données extraites avec un autre outil (par exemple, en les envoyant par email), spécifiez ce besoin dans les instructions de l’agent et assurez-vous que les deux outils sont ajoutés à l’agent.

Exemple : utiliser l’ordinateur pour extraire les informations clients du tableau de bord du portefeuille financier et envoyer par email les données extraites. Dans ce cas, votre agent doit inclure à la fois l’outil d’utilisation informatique et l’outil d’e-mail.

Extraire les valeurs sous forme de texte

Vous pouvez demander à l’ordinateur d’extraire des valeurs spécifiques et de les retourner en texte brut. Par exemple, l’invite suivante extrait le gestionnaire de portefeuille et la valeur du portefeuille pour le client, Fourth Coffee :

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

L’agent renvoie uniquement les deux valeurs demandées sous forme de texte.

Extraire les valeurs sous forme de JSON

Vous pouvez également demander à l’ordinateur de retourner les informations extraites au format JSON. Ce format est utile lorsque vous souhaitez transmettre des données structurées à un autre outil. L’exemple suivant extrait toutes les lignes de portefeuille liées à Contoso et les renvoie en format JSON correctement formaté :

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Cette approche garantit que la sortie est structurée.

Gestion des licences

Bien que l’utilisation de l’ordinateur soit en version préliminaire, elle est facturée à l’aide de la fonctionnalité d’action Assistant avec un taux de facturation de cinq crédits Copilot. Pour plus d’informations, consultez Tarification et gestion de la facturation de Microsoft Copilot Studio.

Chaque exécution d’utilisation de l’ordinateur peut effectuer plusieurs actions, et chaque action coûte cinq crédits Copilot.

Par exemple, si vous configurez l’utilisation d’un ordinateur pour remplir un formulaire de feuille de temps basé sur le Web, il effectue les actions suivantes chaque fois qu’il est déclenché :

1. Lancez le navigateur.

2. Accédez au portail Web des feuilles de temps.

3. Sélectionnez Créer une feuille de temps.

4. Remplissez le champ du formulaire Heure de début.

5. Renseignez le champ du formulaire Heure de fin.

6. Remplissez le champ du formulaire Code projet.

7. Cliquez sur le bouton Soumettre.

Dans cet exemple, l’ordinateur exécute sept actions, consommant un total de 35 messages.

Partager vos commentaires

Avez-vous des retours sur l’utilisation de l’ordinateur ? Faites-nous en part à l’adresse computeruse-feedback@microsoft.com.

Informations associées

FAQ sur l’outil d’utilisation de l’ordinateur