Freigeben über


Testen unterschiedlicher Konfigurationen

Azure DevOps Services | Azure DevOps Server | Azure DevOps Server 2022

Ihre Benutzer werden Ihre App wahrscheinlich auf einer Vielzahl von Konfigurationen installieren oder ausführen, z. B. auf verschiedenen Betriebssystemen, Webbrowsern und anderen Variationen. Sie sollten mindestens einige Ihrer Tests in Phasen ausführen, die über diese verschiedenen Konfigurationen verfügen.

Verwenden Sie Ihre Testpläne, um zu entscheiden, welche Tests Sie für welche Konfigurationen ausführen möchten. Sie müssen sicherstellen, dass Sie Ihre Phasen für die erforderlichen Konfigurationen eingerichtet haben, bevor Sie Ihre Tests ausführen.

Sie können eine schematische Matrix der Kombinationen erstellen, die Sie testen möchten:

Testmatrix von Browser- und Betriebssystemkonfigurationen

Danach können Sie:

Voraussetzungen

Kategorie Anforderung
Projektzugriff Projektmitglied.
Zugriffsebenen Hinzufügen von Testkonfigurationen: Die Berechtigung Testkonfigurationen verwalten auf Projektebene auf Zulassen festlegen. Standardmäßig wird diese Berechtigung Mitgliedern der Gruppen „Beitragende“ und „Projektadministratoren“ erteilt.

Weitere Informationen finden Sie unter Manueller Testzugriff und Berechtigungen.

Voraussetzungen für das TCM-Befehlszeilentool

Kategorie Anforderungen
Tools Visual Studio 2017 Professional oder frühere Version. Greifen Sie auf TCM zu, indem Sie die Eingabeaufforderung und die folgenden Verzeichnisse verwenden:
- %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
- Um einen TCM-Befehl auszuführen, geben Sie die Parameter /collection und /teamproject an, und /login nach Bedarf. Siehe auch die folgende Tabelle mit erforderlichen und optionalen Parametern.
Zugriffsebenen – Gültige Projektmitgliedschaft für ein oder mehrere Projekte, auf die Sie zugreifen möchten, und die erforderlichen Berechtigungen basierend auf den ausgeführten Befehlen. Weitere Informationen finden Sie unter Manueller Testzugriff und Berechtigungen.
– Gleiche Zugriffsebenen zum Hinzufügen von Testplänen und Testsammlungen zum Klonen oder Importieren von Testobjekten.
Parameter Beschreibung
/Sammlung:CollectionURL Erforderlich. Gibt den URI der Teamprojektsammlung an. Das Format für den URI ist wie folgt:
- Für Azure DevOps-Services: http://dev.azure.com/OrganizationName
- Für Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Wenn kein virtuelles Verzeichnis verwendet wird, ist das Format für den URI wie folgt:http://ServerName:Port/CollectionName
/teamproject:project Erforderlich. Der Name des Projekts, das die Testobjekte enthält, zu denen Sie automatisierte Tests klonen oder importieren möchten.
/login:username,[password] Optional. Gibt den Namen und das Kennwort eines gültigen Azure DevOps-Benutzers an, der über Berechtigungen zum Ausführen des Befehls verfügt. Verwenden Sie diese Option, wenn Ihre Windows-Anmeldeinformationen nicht über die entsprechenden Berechtigungen verfügen, oder Sie die Standardauthentifizierung verwenden oder keine Verbindung mit einer Domäne herstellen.

Anzeigen von Konfigurationen und Variablen

Häufig möchten Sie die Konfigurationen sehen, die bereits zum Ausführen Ihrer Tests verfügbar sind.

Sie können eine Liste der Testkonfigurationen und Konfigurationsvariablen auf der Seite Konfigurationen anzeigen.

Wählen Sie im Projekt im linken Navigationsbereich Testpläne>Konfigurationen aus. Hier sehen Sie alle Testkonfigurationen und -variablen, die derzeit für Ihre Testpläne verfügbar sind.

Screenshot von Abfrage-Editor, Abfragetestpläne.

Wählen Sie eine Konfiguration oder Variable aus, um weitere Informationen darüber im Fenster rechts anzuzeigen.

Erstellen von Konfigurationen und Variablen

Eine Testkonfiguration ist eine Kombination aus Konfigurationsvariablenwerten. Ihre Konfigurationsvariablen können z. B. Betriebssystem, Browser, CPU-Typ oder Datenbank sein. Eine Konfiguration kann „Windows 8 + 32-Bit-CPU“ oder „Windows 10 + 64-Bit-CPU“ sein.

Erstellen Sie zuerst die Konfigurationsvariablen. Kombinieren Sie dann mehrere Variablenwerte, um eine Konfiguration zu erstellen.

  1. Öffnen Sie die Seite Konfigurationen im Webportal Testpläne, wählen Sie das +-Symbol und dann Neue Konfigurationsvariable aus.

    Screenshot der Option „Neue Konfigurationsvariable“ im Menü „Neu“.

  2. Geben Sie einen Namen für die Variable ein, etwa Browser, sowie eine Beschreibung. Wählen Sie Neuen Wert hinzufügen aus, und fügen Sie dann einen Wert hinzu. Fügen Sie der Konfigurationsvariable beliebig viele Werte hinzu, und speichern Sie sie dann.

    Der Screenshot zeigt das Hinzufügen von Werten zu einer neuen Konfigurationsvariablen.

  3. Wiederholen Sie die Schritte zum Erstellen weiterer Konfigurationsvariablen, die Sie benötigen. Erstellen Sie beispielsweise eine Konfigurationsvariable mit dem Namen Betriebssystem mit den Namen jedes Betriebssystems, auf dem Sie testen möchten.

    Der Screenshot zeigt das Festlegen der Werte für eine Konfigurationsvariable des Betriebssystems.

  4. Wählen Sie das +-Symbol und dann Neue Testkonfiguration aus.

    Screenshot der Option „Neue Testkonfiguration“ im Menü „Neu“.

  5. Geben Sie einen Namen für die Testkonfiguration ein, und fügen Sie die von Ihnen erstellten Konfigurationsvariablen hinzu. Wählen Sie für jede Variable für diese Konfiguration einen Wert aus.

    Der Screenshot zeigt das Hinzufügen von Variablen zur neuen Testkonfiguration.

    Stellen Sie sicher, dass die Option Neuen Testplänen zuweisen aktiviert ist, um diese Konfiguration als Standard für alle neuen Testpläne festzulegen, die Sie erstellen.

  6. Speichern Sie Ihre neue Testkonfiguration.

Zuweisen von Konfigurationen zu Testplänen und -sammlungen

Sie können einer Testsuite oder einem einzelnen Testfall Konfigurationen zuweisen. Konfigurationen, die einer Testsuite zugewiesen sind, gelten für alle darin enthaltenen Tests oder Sammlungen.

  1. Um einer Testsammlung eine Konfiguration zuzuweisen, wählen Sie auf der Seite Testpläne einen Plan aus. Wählen Sie im Bereich Testsammlungen eine Testsammlung aus, und wählen Sie Weitere Optionen, oder klicken Sie mit der rechten Maustaste, um das Kontextmenü zu öffnen, und wählen Sie dann Konfiguration zuweisen aus.

    Screenshot: Menüoption „Konfiguration zuweisen“

    Wenn Sie einer Testsammlung mehrere Konfigurationen hinzufügen, werden die Testfälle bei jeder der von Ihnen zugewiesenen Konfigurationen wiederholt.

    Screenshot mit mehreren Konfigurationszuweisungen zu einer Testsammlung.

  2. Setzen Sie bei Bedarf die Standardkonfiguration außer Kraft, die einem Testfall zugewiesen ist, und weisen Sie die benötigte Konfiguration zu. Wählen Sie einen oder mehrere Testfälle aus, öffnen Sie das Kontextmenü, und wählen Sie Konfiguration zuweisen aus.

    Der Screenshot zeigt das Zuweisen einer Konfiguration, die einem Testfall zugewiesen ist.

  3. Suchen und wählen Sie die Konfigurationen aus, die den Testfällen zugewiesen werden sollen.

    Der Screenshot zeigt die Einstellung der Konfigurationen für einen Testfall.

Ausführen von Tests mit jeder Konfiguration

Richten Sie eine Testplattform für eine bestimmte Konfiguration ein, z. B. das Testen der App mit Google Chrome unter Windows 10.

  1. Wählen Sie einen Test aus, dem diese Konfiguration zugewiesen ist, und führen Sie ihn aus.

    Der Screenshot zeigt einen Test mit einer bestimmten Konfiguration und ausgewählter Option „Für Webanwendung ausführen“.

    Beim Ausführen des Tests wird in der Statusleiste eine Erinnerung an die Konfiguration angezeigt.

    Screenshot der Konfiguration für diesen Test in der Statusleiste.

Nachverfolgen der Testergebnisse für jede Konfiguration

  1. Öffnen Sie die Seite Diagramme für Ihre Testsammlung, wählen Sie Neu und dann Neues Testergebnisdiagramm aus.

    Screenshot der Menüoption „Neues Testergebnisdiagramm“.

  2. Wählen Sie einen Diagrammtyp aus, z. B. ein Kreis- oder Balkendiagramm, und wählen Sie dann Nach>Konfiguration gruppieren und dann OK aus.

    Screenshot: Auswahl einer Konfigurationsoption für „Gruppieren nach“ im Dialogfeld „Diagramm konfigurieren“.

    Es wird ein Diagramm erstellt, das Ihnen dabei helfen kann, Ihre Tests basierend auf Konfigurationen nachzuverfolgen. Sie können das Diagramm an das Dashboard anheften.

    Screenshot eines Balkendiagramms mit Werten für „Nicht ausgeführt“, „Übergeben“ und „Fehlgeschlagen“.

Wenn Sie einen Testfall haben, der in mehreren Testsammlungen angezeigt wird, können Sie die verschiedenen Konfigurationen für jede Sammlung festlegen. Derselbe Testfall kann unterschiedliche Konfigurationseinstellungen in verschiedenen Testsammlungen und Testplänen aufweisen.