Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Azure DevOps Services | Azure DevOps Server | Azure DevOps Server 2022
Automatisez les cas de test dans vos plans de test et exécutez-les directement à partir de Azure Test Plans . Les tests automatisés vous offrent les avantages suivants :
- Un processus convivial pour les testeurs qui ne sont pas forcément familiarisés avec l’exécution de tests dans les workflows Génération ou Mise en production.
- La possibilité d’exécuter des tests sélectionnés à la demande, plutôt que des tests planifiés dans les workflows de build ou de mise en production où tous les tests répondant aux critères de filtre sont exécutés.
- La possibilité de réexécuter quelques tests qui ont échoué en raison de problèmes d’infrastructure de test, ou vous disposez d’une nouvelle build qui inclut des correctifs pour les tests ayant échoué.
Prerequisites
| Catégorie | Spécifications |
|---|---|
| Niveaux d’accès | - Au moins un accès de base (Basic), avec des autorisations permettant d’afficher les éléments de travail sous le chemin d’accès de la zone correspondante (Area Path). - Pour ajouter des plans de test et des suites de tests, supprimer des artefacts de test et définir des configurations de test : accès Basique + Plans de test. Ou, l’un des abonnements Visual Studio suivants : - Entreprise - Test professionnel - Plateformes MSDN |
| Autorisations | - Pour ajouter ou modifier des plans de test, des ensembles de tests, des cas de test ou d’autres types d’éléments de travail liés aux tests : l’ensemble d’autorisations Modifier les éléments de travail dans ce nœud (Edit work items in this node) réglé sur Autoriser (Allow) sous le chemin Area Path correspondant. - Pour modifier les propriétés d’un plan de test telles que les paramètres de build et de test : l’ensemble d’autorisations Gérer les plans de test (Manage test plans) réglé sur Autoriser (Allow) sous le chemin Area Path correspondant. - pour créer et supprimer des suites de tests, ajouter et supprimer des cas de test des suites de tests, modifier les configurations de test associées aux suites de tests, et réorganiser une hiérarchie de suites de tests (déplacer une suite de tests) : Gérer les suites de tests jeu d’autorisations réglé sur Autoriser sous le chemin d’accès de zone correspondant . - Autorisations pour créer et gérer des versions, modifier un environnement de mise en production et gérer le déploiement. Pour plus d’informations, consultez Autorisations de mise en production |
| Outils et configurations | - Un plan de test qui contient vos tests automatisés associés aux méthodes de test automatisées à l’aide de Visual Studio 2017 ou Visual Studio 2015 ou version antérieure. - Un pipeline de build qui génère des builds contenant les fichiers binaires de test. - Application à tester. Vous pouvez déployer l’application dans le cadre du workflow de génération et de mise en production et l’utiliser également pour les tests à la demande. |
Configurer votre environnement
Sur la page Plans de test, sélectionnez votre plan de test, ouvrez le menu contextuel et sélectionnez Paramètres du plan de test.
Dans la boîte de dialogue Paramètres du plan de test, sélectionnez le pipeline de build qui génère des builds qui contiennent les fichiers binaires de test (les pipelines de build Classic et YAML sont pris en charge). Vous pouvez ensuite sélectionner un numéro de build spécifique à tester, ou laisser le système utiliser automatiquement la dernière build lors de l’exécution des tests.
Vous avez besoin d’un pipeline de mise en production créé à partir du modèle Exécuter des tests automatisés à partir du gestionnaire de test pour exécuter les tests à partir des plans de test dans Azure Test Plans. Si vous avez un pipeline de mise en production existant créé à l’aide de ce modèle, sélectionnez-le, puis sélectionnez l’étape existante dans le pipeline de mise en production pour l’exécution de test (les pipelines de mise en production Classic et YAML sont pris en charge). Sinon, cliquez sur Créer nouveau dans la boîte de dialogue pour créer un pipeline de mise en production qui contiendra une étape unique avec la tâche de test Visual Studio Test déjà ajoutée.
Attribuez des noms explicites au pipeline de mise en production et à l’étape en fonction des besoins.
Si Visual Studio est déjà installé sur l’ordinateur de l’agent, ignorez cette étape. Dans le cas contraire, ajoutez la tâche Programme d’installation de Visual Studio Test Platform à la définition du pipeline.
Ajoutez la tâche de test Visual Studio au pipeline de mise en production et configurez-la comme suit :
Vérifiez que vous utilisez la version 3 de la tâche de test Visual Studio.
Vérifiez que l’option Sélectionner les tests à l’aide de est définie sur Exécution de tests. Que signifie ce paramètre ?
Pour vsTestVersion, sélectionnez toolsInstaller.
Si vous avez des tests UI qui s’exécutent sur des navigateurs physiques ou sur des clients lourds, assurez-vous que l’agent est configuré de sorte à s’exécuter en tant que processus interactif avec la connexion automatique activée. Vous devez configurer un agent pour qu’il s’exécute de manière interactive avant de placer en file d’attente la génération ou la mise en production. La case Le mélange de test contient des tests d’interface utilisateur ne configure pas automatiquement l’agent en mode interactif. Elle sert uniquement de rappel pour configurer correctement l’agent afin d’éviter les échecs.
Si vous exécutez des tests d’UI sur un navigateur sans interface utilisateur, il n’est pas nécessaire de configurer le mode interactif.
Sélectionnez le mode de provisionnement de la plateforme de test, ainsi que la version de Visual Studio ou l’emplacement de la plateforme de test installée sur les appareils de test.
Si vos tests ont besoin de paramètres d’entrée tels que des URL d’application ou des chaînes de connexion de base de données, sélectionnez le fichier de paramètres approprié dans les artefacts de build. Vous pouvez utiliser les tâches Publier des artefacts de build dans votre pipeline de génération pour publier le fichier de paramètres dans un emplacement de référentiel si ce fichier n’est pas inclus dans les artefacts. Dans l’exemple suivant, l’URL de l’application est exposée dans le fichier de paramètres d’exécution et est remplacée pour définir une URL de préproduction à l’aide du paramètre Remplacer les paramètres d’exécution des tests.
Pour plus d’informations sur les paramètres d’option de la tâche de test Visual Studio, consultez Tâche de test Visual Studio.
Choisissez l’élément de travail Agent et vérifiez que la file d’attente de déploiement est définie sur celle contenant les machines sur lesquelles vous souhaitez exécuter les tests. Si vos tests requièrent des machines spéciales du pool d’agents, vous pouvez ajouter des demandes qui seront sélectionnées au moment de l’exécution.
Vous pouvez réduire la durée des tests en répartissant les tests entre plusieurs agents en définissant le paramètre Parallélisme sur Exécutions multiples et en spécifiant le nombre d’agents.
Note
Si vous exécutez des tests d’UI tels que CodeUI ou Selenium sur des navigateurs physiques tels que Internet Explorer, Firefox ou Chrome, l’agent sur les machines doit être exécuté en mode interactif et non en tant que service. En savoir plus.
Sur la page Pipeline du pipeline de mise en production, vérifiez que le pipeline de génération contenant les binaires de test est lié à ce pipeline de mise en production en tant que source d’artefact.
Enregistrez le pipeline de mise en production.
Si vous avez choisi Créer nouveau dans la boîte de dialogue Paramètres du plan de test à l’étape 2 de cet exemple, revenez à la page du navigateur qui contient vos paramètres de plan de test. Dans la boîte de dialogue Paramètres du plan de test, sélectionnez le pipeline de mise en production et la phase que vous avez enregistrés.
Exécuter les tests automatisés
Dans le portail web Test Plans, ouvrez le plan de test et sélectionnez une suite de tests qui contient les tests automatisés.
Sélectionnez les cas de test que vous souhaitez exécuter, puis cliquez sur Exécuter pour l’application web.
Les fichiers binaires de test pour ces tests doivent être disponibles dans les artefacts de build générés par votre pipeline de build.
Le système vérifie que seuls les tests automatisés sont sélectionnés (les tests manuels sont ignorés), valide l’étape pour s’assurer que la tâche Visual Studio Test est présente et dispose de paramètres valides, vérifie l’autorisation de l’utilisateur à créer une mise en production pour le pipeline de mise en production sélectionné, crée une exécution de test, puis déclenche la création d’une mise en production pour la phase sélectionnée.
Sélectionnez Afficher l’exécution du test pour afficher la progression du test et analyser les tests en échec. Les résultats des tests ont les informations pertinentes pour le débogage des tests ayant échoué, comme le message d’erreur, le suivi de la pile, les journaux de console et les pièces jointes.
Une fois l’exécution du test terminée, la page Exécutions du Azure Test Plans affiche les résultats du test. La page Résumé de l’exécution affiche une vue d’ensemble de l’exécution.
Il existe un lien vers la Version utilisée pour exécuter les tests, ce qui permet d’identifier plus rapidement quelle mise en production a été utilisée lors de l’exécution des tests si vous devez revenir plus tard afin d’analyser les résultats. Utilisez également ce lien si vous souhaitez ouvrir la version pour afficher les journaux de publication.
Note
Il n’est pas possible d’ajouter manuellement des pièces jointes aux résultats de tests automatisés.
La page Résultats des tests répertorie les résultats de chaque test de la série de tests. Sélectionnez un test pour afficher les informations de débogage des tests ayant échoué, telles que le message d’erreur, le suivi de la pile, les journaux de console et les pièces jointes.
Dans Plans de test, allez à la page Exécutions où vous trouverez un aperçu de toutes vos exécutions de test. À partir de là, vous pouvez ouvrir la vue détaillée de chaque exécution de test.
Questions fréquentes (FAQ)
Consultez les questions fréquentes (FAQ) suivantes sur Azure Test Plans.
Q : De quelles autorisations ai-je besoin pour exécuter des tests automatisés à partir de Azure Test Plans ?
R : Être contributeur de projet ou disposer des autorisations suivantes :
- Créer des mises en production
- Gérer les mises en production
- Modifier la phase de mise en production
- Gérer le déploiement
Pour plus d’informations, consultez Autorisations de mise en production.
Q : Puis-je remplacer la génération ou l’ensemble de phases au niveau du plan de test pour une instance spécifique de l’exécution de tests ?
R : Oui, vous pouvez effectuer cette opération à l’aide de la commande Exécuter avec les options. Ouvrez le menu contextuel de la suite de tests dans la colonne de gauche, puis sélectionnez Exécuter avec les options.
Saisissez les valeurs suivantes dans la boîte de dialogue Exécuter avec options, puis cliquez sur OK :
- Type de test et exécuteur : sélectionnez Tests automatisés à l’aide de la phase de mise en production.
- Build : sélectionnez la build qui contient les fichiers binaires de test. Les résultats des tests sont associés à cette build.
- Pipeline de mise en production : sélectionnez un pipeline dans la liste des pipelines de mise en production qui peuvent consommer l’artefact de build sélectionné.
- Phase de mise en production : sélectionnez le nom de la phase configurée dans votre pipeline de mise en production.
Q : Pourquoi utiliser les phases de mise en production pour exécuter des tests ?
R : Azure Pipelines offre un flux de travail d’orchestration attrayant pour obtenir des fichiers binaires de test en tant qu’artefacts et exécuter des tests. Ce workflow reprend les mêmes concepts que ceux utilisés dans le workflow de test planifié, ce qui signifie que les utilisateurs qui exécutent des tests dans un workflow planifié n’auront aucun mal à s’y adapter, par exemple en clonant un pipeline de publication de test planifié existant.
Un autre avantage majeur est la disponibilité d’un ensemble complet de tâches dans le catalogue de tâches qui permettent d’effectuer une série d’activités avant et après l’exécution des tests. Par exemple, la préparation et le nettoyage des données de test, la création et le nettoyage des fichiers de configuration, etc.
Q : Comment fonctionne la sélection de « Exécution de test » dans la tâche de test Visual Studio version 2 ?
R : Le sous-système de gestion des tests utilise l’objet d’exécution des tests pour transmettre la liste des tests sélectionnés pour exécution. La tâche de test recherche l’identificateur de la série de tests, extrait les informations d’exécution de test telles que les noms du conteneur et des méthodes de test, exécute les tests, met à jour les résultats de la série de tests et définit les points de test associés aux résultats des tests dans la série de tests. Du point de vue de l’audit, la tâche Visual Studio fournit une trace des versions historiques et des identificateurs de série de tests aux tests qui ont été envoyés pour l’exécution de tests à la demande.
Q : L’agent doit-il s’exécuter en mode interactif ou en tant que service ?
R : Si vous exécutez des tests d’UI tels que des tests codés de l’interface utilisateur ou des tests Selenium, l’agent sur les machines de test doit être exécuté en mode interactif avec la connexion automatique activée, et non en tant que service, afin de permettre à l’agent de lancer un navigateur Web. Si vous utilisez un navigateur sans interface utilisateur comme PhantomJS, l’agent peut être exécuté en tant que service ou en mode interactif. Pour en savoir plus, consultez Agents de génération et de mise en production, Déployer un agent sous Windows et Pools d’agents.
Q : Où puis-je trouver une documentation détaillée sur l’exécution des tests Selenium ?
R : Consultez Prise en main des tests Selenium.
Q : Que se passe-t-il si je sélectionne plusieurs configurations pour le même test ?
R : Actuellement, le flux de travail à la demande ne tient pas compte de la configuration.
Q : Que se passe-t-il si je dois télécharger des fichiers binaires de produit et des fichiers binaires de test à partir de différentes builds ? Ou si j’ai besoin d’obtenir des artefacts à partir d’une source telle que Jenkins ?
R : La fonctionnalité actuelle est optimisée pour qu’une build d’équipe unique soit testée à la demande à l’aide d’un flux de travail Azure Pipelines. Nous évaluons la prise en charge des mises en production multi-artefacts, y compris les artefacts de pipelines autres qu’Azure tels que Jenkins, en fonction des commentaires des utilisateurs.
Q : J’ai déjà un pipeline de mise en production de test planifié. Puis-je réutiliser le même pipeline pour exécuter des tests à la demande ou dois-je en créer un nouveau ?
R : Nous vous recommandons d’utiliser un pipeline et une phase de mise en production distincts pour les tests automatisés à la demande à partir de Azure Test Plans pour les raisons suivantes :
Vous ne souhaitez peut-être pas déployer l’application chaque fois que vous souhaitez exécuter des tests à la demande. Les phases de test planifiées sont généralement configurées pour déployer le produit, puis exécuter des tests.
De nouvelles versions sont déclenchées pour chaque exécution à la demande. Si vous disposez de nombreux testeurs qui exécutent chaque jour des tests à la demande, votre pipeline de mise en production de tests planifiés pourrait être surchargé par les mises en production liées à ces tests, ce qui rendrait difficile l’identification des mises en production qui déclenchent le pipeline contenant les tests planifiés ainsi que le déploiement en production.
Vous pouvez configurer la tâche Visual Studio Test avec un identifiant d’exécution de test comme entrée afin de pouvoir retracer ce qui a déclenché la mise en production. Pour en savoir plus, consultez Comment fonctionne la sélection de « Exécution des tests (pour les exécutions à la demande) » dans la tâche Visual Studio Test ?.
Q : Puis-je déclencher ces exécutions et afficher les résultats dans Microsoft Test Manager ?
R : Non. Microsoft Test Manager ne prend pas en charge l’exécution de tests automatisés sur les builds Team Foundation. Il fonctionne uniquement dans l’interface web des pipelines Azure. Tous les nouveaux investissements dans le développement de produits manuels et automatisés se trouvent dans l’interface web. Aucun autre développement n’est prévu pour Microsoft Test Manager. Consultez Conseils sur l’utilisation de Microsoft Test Manager.
Q : J’ai plusieurs testeurs dans mon équipe. Peuvent-ils exécuter des tests à partir de différentes suites de tests ou plans de test en parallèle à l’aide du même pipeline de mise en production ?
R : Ils peuvent utiliser le même pipeline de mise en production pour déclencher plusieurs exécutions de tests en parallèle si :
Le pool d’agents associé à la phase a suffisamment d’agents pour répondre aux demandes parallèles. Si le nombre d’agents disponibles est insuffisant, les exécutions peuvent tout de même être déclenchées, mais elles sont placées en file d’attente jusqu’à ce que des agents soient disponibles.
Vous disposez de suffisamment de travaux pour activer les travaux parallèles. Pour en savoir plus, consultez Travaux parallèles dans les pipelines Azure ou Travaux parallèles dans TFS.
Les testeurs n’exécutent pas les mêmes tests en parallèle. Cela pourrait entraîner l’écrasement des résultats en fonction de l’ordre d’exécution.
Pour permettre à plusieurs exécutions de test différentes en parallèle, définissez l’option de déclencheur de phase Azure Pipelines pour le comportement lorsque plusieurs versions attendent d’être déployées comme suit :
Si votre application prend en charge les tests exécutés en parallèle à partir de différentes sources, définissez cette option sur Autoriser le déploiement de plusieurs versions en même temps.
Si votre application ne prend pas en charge les tests exécutés en parallèle depuis différentes sources, définissez cette option sur Autoriser un seul déploiement actif à la fois.
Q : Comment faire passer des paramètres à mon code de test à partir d’un pipeline de build ou de mise en production ?
R : Utilisez un fichier runsettings pour transmettre des valeurs en tant que paramètres à votre code de test. Par exemple, dans une version qui contient plusieurs étapes, vous pouvez passer l’URL d’application appropriée à chacune des tâches de test de chacune d’elles. Le fichier runsettings et les paramètres correspondants doivent être spécifiés dans la tâche de test Visual Studio.
Q : Quels sont les scénarios d’erreur ou problèmes classiques que je dois rechercher si mes tests ne s’exécutent pas ?
R : Vérifiez et résolvez les problèmes comme suit :
Le pipeline de mise en production et de préproduction dans lesquels je souhaite exécuter des tests ne s’affichent pas après avoir sélectionné la build.
- Assurez-vous que le pipeline de build qui génère la build est lié en tant qu’artefact principal dans l’onglet Artefacts du pipeline de mise en production.
Je reçois une erreur indiquant que je n’ai pas l’autorisation suffisante pour déclencher une mise en production.
- Configurez les autorisations Créer des versions et Gérer les déploiements pour l’utilisateur dans le menu Sécurité du pipeline de mise en production. Consultez Autorisations de mise en production.
Je reçois une erreur indiquant qu’aucun test automatisé n’a été trouvé.
- Vérifiez l’automatisation status des tests sélectionnés. Pour ce faire, utilisez l’élément de travail du cas de test, ou le lien Options des colonnes dans Azure Test Plans pour ajouter la colonne État de l’automatisation à la liste des tests. Pour en savoir plus, consultez la section des prérequis.
Mes tests n’ont pas été exécutés et je soupçonne que le pipeline de mise en production est incorrect.
- Utilisez le lien de la page Résumé de l’exécution pour accéder à la version instance utilisée pour exécuter les tests et afficher les journaux de publication.
Mes tests passent à l’état d’erreur ou restent « en cours » même après le déclenchement de la mise en production à l’étape.
- Vérifiez si la phase de mise en production que vous avez sélectionnée a la tâche et la version appropriées sélectionnées. Vous devez utiliser la version 2 ou ultérieure de la tâche de test Visual Studio . La version 1 de la tâche ainsi que la tâche Exécuter les tests fonctionnels ne sont pas prises en charge.