Web- und Desktop-Apps mit Computergebrauch automatisieren (Vorschauversion)

[Dieser Artikel ist Teil der Dokumentation zur Vorabversion und kann geändert werden.]

Die Computernutzung ist ein Tool in Copilot Studio, mit dem Ihr Agent Aufgaben auf einem Windows-Computer interagieren und automatisieren kann. Es funktioniert mit Websites und Desktop-Apps, indem Schaltflächen und Menüs ausgewählt und Text in Felder auf dem Bildschirm eingegeben werden. Beschreiben Sie in natürlicher Sprache, was der Computer tun soll, und er führt die Aufgabe auf einem von Ihnen eingerichteten Computer mit einer virtuellen Maus und Tastatur aus. Bei der Computerverwendung können Agents Aufgaben ausführen, auch wenn keine API vorhanden ist, um eine direkte Verbindung mit dem System herzustellen. Wenn eine Person eine App oder Website nutzen kann, kann die Computernutzung dies ebenfalls. Sie können Computerverwendungen für Aufgaben wie automatisierte Dateneingabe, Rechnungsverarbeitung und Datenextraktion verwenden.

Die Computernutzung wird von Computer-Using Agents (CUA) unterstützt, einem KI-Modell, das visuelle Fähigkeiten mit fortgeschrittener Logik kombiniert, um mit grafischen Benutzeroberflächen (GUIs) zu interagieren. Da es KI-gestützt ist, passt es sich an Änderungen der Benutzeroberfläche an. Wenn sich beispielsweise Schaltflächen oder Bildschirme ändern, arbeitet das Tool weiter, ohne den Arbeitsablauf zu unterbrechen. Es ist einfach zu bedienen. Beschreiben Sie einfach in natürlicher Sprache, was Sie wollen. Sie müssen keinen Code schreiben.

Sehen Sie sich dieses Video an, um zu erfahren, wie ein Agent mithilfe des Tools zur Computerverwendung mit einer Webanwendung interagieren kann.

Voraussetzungen

• Das Feature ist für Umgebungen verfügbar, in denen die Region auf Vereinigte Staaten festgelegt ist.

• Stellen Sie sicher, dass Ihr Agent über den generativen Orchestrator verfügt, der für die Computernutzung aktiviert ist.

Fügen Sie Ihrem Agenten die Computerverwendung hinzu

Fügen Sie bei einem neuen oder bestehenden Agenten in Copilot Studio die Computernutzung als Tool hinzu, indem Sie die folgenden Schritte ausführen:

1. Gehen Sie zum Bereich Tools in Ihrem Agent und wählen Sie Tool hinzufügen aus.

2. Wählen Sie im Dialogfeld Tool hinzufügen und dann Neues Tool aus.

3. Computer auswählen.

4. Geben Sie die Anweisungen an, die die Aufgabe beschreiben, die das Tool auf dem Computer ausführen soll. Sie sehen einige Anleitungsvorlagen für die ersten Schritte. Weitere Informationen zum Optimalen Schreiben von Anweisungen für die Computerverwendung finden Sie unter Bewährte Methoden für Anweisungen zur Computernutzung.

5. Wählen Sie den Computer oder das Gerät aus, auf dem die Nutzung läuft. Sie können entweder den gehosteten Browser, einen einsatzbereiten Computer zum Automatisieren von Aufgaben auf öffentlich zugänglichen Websites verwenden oder einen Windows-Computer auswählen, den Sie für die Computerverwendung konfigurieren können. Weitere Informationen finden Sie unter Konfigurieren, wo der Computer ausgeführt wird.

6. Wählen Sie Hinzufügen und konfigurieren aus.

   • Konfigurieren Sie auf der Konfigurationsseite diese drei Felder:

     • Name: Geben Sie den Anzeigename für das Tool zur Nutzung des Computers ein. Dieser Name hilft Ihnen, ihn von anderen Tools zu unterscheiden, die Sie Ihrem Agent hinzufügen.
     • Beschreibung: Beschreiben Sie kurz die Funktion des Tools und wenn es verwendet werden soll. Dieser Text informiert Ihren Agenten darüber, wann er dieses Tool verwenden sollte.
     • Anweisungen: Listen Sie die Schritte auf, die das Tool ausführen soll, einschließlich URLs und Anwendungsnamen. Tipps finden Sie unter Bewährte Methoden für die Computernutzung.

7. Überprüfen Sie diese anderen Felder und Einstellungen auf der Konfigurationsseite, die relevant sein könnten:

   • Eingaben: Verwenden Sie Eingaben, um dynamische Werte zu definieren, die sich bei jeder Ausführung der Computernutzung ändern. Wenn Sie z. B. ein Formular bei jeder Ausführung mit einem anderen Wert ausfüllen möchten, erstellen Sie eine Eingabe für dieses Feld. Bei der Ausführung kombiniert die Computernutzung Ihre Anweisungen mit den Eingabewerten, um die Aufgabe abzuschließen.

   • Computer: Wählen Sie den Zielcomputer aus, den der Agent zum Ausführen der Computerverwendung verwendet. Weitere Informationen zum Auswählen des richtigen Computertyps basierend auf Ihren Anforderungen finden Sie unter Konfigurieren, wo der Computer ausgeführt wird.

     • Verwenden Sie Aktualisieren, um die Computerliste zu aktualisieren.
     • Wählen Sie Computer verwalten aus, um die Seite „Computerverwaltung“ im Power Automate-Portal zu öffnen.
     • Wählen Sie Computerdetails anzeigen aus, um die Seite „Computerdetails“ im Power Automate-Portal zu öffnen.

   • Verbindung: Für dieses Tool verwendete Verbindung. Aktualisieren oder erstellen Sie eine neue Verbindung, um die verwendeten Anmeldeinformationen zu ändern.

   • Zu verwendende Anmeldeinformationen: Geben Sie an, wie der Computer während der Ausführung authentifiziert wird:

     • Vom Hersteller bereitgestellte Zugangsdaten (Standard): Diese Option verwendet die Zugangsdaten des Herstellers und ist für autonome Agenten geeignet.

     Warnung

     Wenn du einen Agenten mit dieser Einstellung teilst, kann jeder, der ihn nutzt, mit dem Zugriff des ursprünglichen Autors auf der konfigurierten Maschine handeln.

     • Anmeldeinformationen für Endbenutzer: Diese Option verwendet die Anmeldeinformationen der Person, die mit dem Agent interagiert. Jeder Benutzer muss über Zugangsdaten für den Computer verfügen.

   • Menschliche Aufsicht: Geben Sie an, wer per E-Mail (Outlook) kontaktiert werden soll, wenn der Computerverwendungs-Agent potenziell schädliche Anweisungen erkennt, die das Modellverhalten ändern könnten. Jeder Agent wird ausgeführt, und seine Aktivität ist an den Benutzer gebunden, der ihn initiiert hat. Wenn du einen anderen Reviewer als die Person auswählst, die den Computer-Use Agent betreibt, sieht er die Aktivität wahrscheinlich nicht, weil er den Run nicht gestartet hat. Daher können sie die Anforderung nicht ordnungsgemäß überprüfen oder bearbeiten. Stellen Sie außerdem sicher, dass der Empfänger autorisiert ist und über den erforderlichen Kontext verfügt, um solche Anforderungen zu verarbeiten. Das Antwortzeitlimit definiert, wie lange die Anforderung aktiv bleibt. Nach diesem Zeitraum läuft die Anforderung ab, und die Computerverwendung wird beendet, wenn keine Antwort empfangen wird. Weitere Informationen finden Sie unter Menschliche Aufsicht.

   • Gespeicherte Anmeldeinformationen: Definieren Sie die Anmeldeinformationen, die der Computer zum Anmelden bei Websites und Anwendungen verwendet. Wenn während der Ausführung eine Anmeldeaufforderung angezeigt wird, verwendet der Computer sicher alle Anmeldeinformationen, die Sie in diesem Abschnitt für diese Website oder Anwendung definiert haben. Passwortwerte dieser Zugangsdaten werden entweder im internen Speicher von Power Platform gespeichert (keine Konfiguration erforderlich) oder in einem von Ihnen bereitgestellten Azure Key Vault. Erfahren Sie, wie Sie einen Azure Key Vault erstellen, indem Sie einen Key Vault über das Azure-Portal erstellen.

     • Interne Speicheroption: Mit dieser Option können Sie Zugangsdaten im Tool konfigurieren, ohne Vorkonfiguration. Geheimnisse werden intern in der Power Platform verschlüsselt und gespeichert. Für jede Qualifikation geben Sie folgende Angaben an:

       • Typ: Wähle je nach Surface, auf welchem Surface du diese Zugangsberechtigung verwenden möchtest, zwischen Webseite und Desktop-App
       • Benutzername: Der Benutzername, mit dem Sie sich auf der Zielwebsite oder -anwendung anmelden.
       • Passwort: der Passwortwert, der zur Anmeldung bei der Zielwebsite oder -anwendung verwendet wird.

       Anmerkung

       Kennwortfelder werden auf allen Websites und den meisten Windows-Anwendungen (WinForms, WPF, UWP, WinUI, Win32) unterstützt, die die meisten Kundenszenarien abdeckt. Einige App-Typen, z. B. Electron, Java, Unity, Spiele, Befehlszeilenschnittstellen, Citrix oder andere virtualisierte Umgebungen, werden möglicherweise nicht unterstützt.

       • Login-Domain oder Desktop-App-Name: Die Domain oder der Anwendungsname, auf dem Sie die Zugangsdaten eingeben (zum Beispiel login.microsoft.com oder Excel). Für die Login-Domain solltest du diese Domain überprüfen, da sie sich von der Haupt-URL der Seite unterscheiden kann.

     • Azure Key Vault-Option: Mit dieser Option können Sie die Zugangsdaten im Tool konfigurieren, indem Sie zuerst die Abonnement-ID, den Namen der Ressourcengruppe und den Key Vault-Namen eingeben. Alle diese Informationen finden Sie auf der Seite Übersicht Ihres Key Vault.

       • So verwenden Sie geheime Azure Key Vault-Schlüssel mit Power Platform:

         • Das Azure-Abonnement, das den Vault besitzt, muss den PowerPlatform-Ressourcenanbieter registriert haben.
         • Der Benutzer, der die Umgebungsvariable erstellt, muss über die entsprechenden Berechtigungen für die Azure Key Vault-Ressource verfügen.

       • Falls Sie es noch nicht getan haben, folgen Sie den Schritten in Azure Key Vault konfigurieren und geben Sie dann folgende Details an:

         • Benutzername: Der Benutzername, mit dem Sie sich auf der Zielwebsite oder -anwendung anmelden.
         • Geheimer Azure-Name: der Name des Geheimnisses im Schlüsseltresor, in dem das Passwort für die Website oder Anwendung gespeichert ist.

         Anmerkung

         Kennwortfelder werden auf allen Websites und den meisten Windows-Anwendungen (WinForms, WPF, UWP, WinUI, Win32) unterstützt, die die meisten Kundenszenarien abdeckt. Einige App-Typen, z. B. Electron, Java, Unity, Spiele, Befehlszeilenschnittstellen, Citrix oder andere virtualisierte Umgebungen, werden möglicherweise nicht unterstützt.

         • Login-Domain oder Desktop-App-Name: Die Domain oder der Anwendungsname, auf dem Sie die Zugangsdaten eingeben (zum Beispiel login.microsoft.com oder Excel). Für die Login-Domain solltest du diese Domain überprüfen, da sie sich von der Haupt-URL der Seite unterscheiden kann.

   • Zugriffssteuerung: Standardmäßig kann die Computerverwendung auf einer beliebigen Website oder Anwendung ausgeführt werden. Wenn Sie diesen Zugriff einschränken möchten, aktivieren Sie die Zugriffssteuerung, um die spezifischen URLs und Desktopanwendungen zu definieren, auf die der Computer verwendet wird. Sie können sowohl Websites als auch Anwendungen konfigurieren:

     • Websites: Geben Sie die Hauptadresse der Website ein (z. B. example.com). Alle Seiten auf dieser Website werden automatisch einbezogen. Sie können auch Platzhalter (*) für Unterdomänen verwenden.
       • Beispiele: www.contoso.com, *.contoso.com, contoso.com
     • Desktopanwendungen: Geben Sie den Namen oder den Prozessnamen der Anwendung ein. Um sie zu finden, drücken Sie STRG+UMSCHALT+ESC, um den Task-Manager zu öffnen. Überprüfen Sie dann die Registerkarte Prozesse.
       • Beispiele: Microsoft Edge, msedge, Notepad.

     Anmerkung

     Die Zugriffssteuerung verhindert nur, dass das Modell Aktionen auf Websites oder Anwendungen ergreift, die nicht in der Zulassungsliste enthalten sind. Das Modell wird nicht daran gehindert, sie zu öffnen. Wenn sich beispielsweise nur microsoft.com und Microsoft Edge in der Zulassungsliste befinden, kann das Modell weiterhin die Edge-Suchleiste verwenden, um Bing zu öffnen. Sobald Bing jedoch geöffnet wurde, schlägt jeder Versuch, mit ihr zu interagieren, fehl, weil es nicht in der Zulassungsliste vorhanden ist.

8. Wählen Sie Speichern aus.

Test-Computerbenutzung

Das Testen der Computerverwendung ist ein wichtiger Schritt in der Erstellungsreise. Nachdem Sie einen Namen, eine Beschreibung und Anweisungen eingegeben und das Tool gespeichert haben, wählen Sie Test aus, um die Testerfahrung zu starten.

Nach einer kurzen Ladezeit wird die Testerfahrung angezeigt:

• Das linke Panel zeigt Ihre Anweisungen und ein Schritt-für-Schritt-Protokoll der Überlegungen und Aktionen des Werkzeugs.
• Im rechten Bereich sehen Sie eine Vorschauversion der Aktionen auf dem Computer, den Sie für die Computerverwendung eingerichtet haben.

Wenn die Aufgabe abgeschlossen ist, wird die Meldung Test abgeschlossen angezeigt. Während der Test ausgeführt wird, können Sie Test beenden auswählen, um alle Aktionen auf dem Computer sofort zu beenden.

Wenn das Ergebnis nicht Ihren Erwartungen entspricht, gehen Sie zur Konfigurationsseite und verfeinern Sie Ihre Anweisungen. Fügen Sie mehr Details hinzu, um die Genauigkeit zu verbessern. Um weitere Informationen zu erhalten, gehen Sie zu Bewährte Verfahren und Hilfen zum Schreiben von Anleitungen.

Veröffentlichen Sie einen Agenten mit Computernutzung

Richte den Computer ein und veröffentliche dann deinen Agenten. Wie Ihr Agent ausgeführt wird, hängt vom Szenario ab. Es kann autonom oder dialogorientiert sein:

• Autonome Agenten werden automatisch ausgeführt und erledigen Aufgaben im Hintergrund.
• Unterhaltungs-Agents ermöglichen Benutzern die Interaktion über Kanäle wie Microsoft Teams.

Die Computernutzung funktioniert am besten für autonome Agenten, die Aufgaben im Hintergrund ohne Benutzerinteraktion ausführen.

Sie können auch die Computernutzung in Unterhaltungsumgebungen anwenden, beachten Sie jedoch die folgenden Überlegungen:

• Wenn Sie Benutzerauthentifizierung als Authentifizierungseinstellung auswählen, benötigt jeder Benutzer, der mit dem Agenten in einer Konversation interagiert, gültige Anmeldeinformationen für den Computer, der für die Computernutzung verwendet wird.
• Wenn das Tool ausgeführt wird, teilt es Begründungsnachrichten und Screenshots der Computeraktivität im Chat.

Best Practices

Um in den heutigen digitalen Umgebungen produktiv und sicher zu bleiben, sollten Sie die Best Practices für die Computernutzung befolgen, insbesondere beim Schreiben klarer Anweisungen und beim Sichern von Computern.

Bewährte Methoden zum Sichern von Computern

Berücksichtigen Sie beim Einrichten von Computern für die Computerverwendung, mit der KI Aufgaben mithilfe natürlicher Sprache ausführen kann, die folgenden Sicherheitsempfehlungen:

Best Practices für Anweisungen zur Computerbenutzung

Die Anweisungen, die Sie schreiben, bestimmen, wie gut die Computernutzung funktioniert. Spezifische, detaillierte Anweisungen helfen bei der Computernutzung, Aufgaben genau zu erledigen. Stellen Sie sich das so vor, als würden Sie einem Kollegen eine Aufgabe erklären. Eine klare, Schritt-für-Schritt-Anleitung hilft dabei, den Erfolg zu sichern.

Tipps zum Verfassen effektiver Anweisungen:

• Seien Sie spezifisch in Bezug auf Websites und Anwendungen. Geben Sie immer die vollständige URL einer Website und den genauen Namen jeder Anwendung an, die das Tool verwenden soll. Beispiel: Öffnen https://www.microsoft.com und zu 'Firmennachrichten' gehen.

• Nennen Sie die relevanten Maßnahmen klar. Wenn du etwas erledigt haben willst, sag es explizit – besonders Handlungen wie das Einreichen eines Formulars oder das Versenden einer E-Mail. Beispiel: Sobald Sie das Formular ausgefüllt haben, wählen Sie Absenden. Du musst nicht um Erlaubnis fragen.

• Brechen Sie komplexe Interaktionen auf. Erläutern Sie in Bereichen, in denen die Navigation in der Benutzeroberfläche möglicherweise komplexer ist, jeden Schritt im Detail. Beispiel: Wähle das Mehr-Symbol oben rechts aus. Ein Dropdown-Menü erscheint. Sobald sie geöffnet ist, wählen Sie den letzten Punkt in der Liste aus.

• Verwenden Sie die Schritt-für-Schritt-Formatierung für längere Aufgaben. Es ist einfacher, langen Anweisungen zu folgen, wenn Sie sie als Liste formatieren.

Beispielanweisungen

Sehen Sie sich diese Beispielanweisungen an, um die Computernutzung auszuprobieren, oder verwenden Sie sie als Referenz für das Schreiben Ihrer eigenen.

Best Practices zur Datenextraktion

Du kannst Computer Use nutzen, um Daten von Webseiten oder Anwendungen zu extrahieren und diese Daten dann an deinen Agenten oder andere Tools im Agenten weiterzugeben. Dazu beschreibe einfach direkt in der Anleitung für den Computergebrauch, welche Informationen du extrahieren möchtest.

Wenn du die extrahierten Daten mit einem anderen Tool verwenden möchtest (zum Beispiel per E-Mail versenden), gib diesen Bedarf in den Agentenanweisungen an und stelle sicher, dass beide Tools zum Agenten hinzugefügt werden.

Beispiel: Verwenden Sie Computer, um die Kundeninformationen für das Finanzportfolio-Dashboard zu extrahieren und die extrahierten Daten per E-Mail zu senden. In diesem Fall muss Ihr Makler sowohl das Computer-Tool als auch das E-Mail-Tool einbeziehen.

Werte als Text extrahieren

Du kannst Computer Use anweisen, bestimmte Werte zu extrahieren und sie als Klartext zurückzugeben. Zum Beispiel extrahiert der folgende Prompt den Portfoliomanager und den Portfoliowert für den Kunden, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

Der Agent gibt nur die beiden angeforderten Werte als Text zurück.

Werte als JSON extrahieren

Du kannst auch den Computer bitten, extrahierte Informationen im JSON-Format zurückzugeben. Dieses Format ist nützlich, wenn Sie strukturierte Daten an ein anderes Tool weitergeben möchten. Das folgende Beispiel extrahiert alle Portfoliozeilen, die mit Contoso zusammenhängen, und gibt sie als korrekt formatiertes JSON zurück:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Dieser Ansatz stellt sicher, dass das Ergebnis strukturiert ist.

Lizenzierung

Während sich die Computernutzung in der Vorschau befindet, wird sie mit dem Agent-Aktionsfeature mit einem Abrechnungssatz von fünf Copilot-Gutschriften in Rechnung gestellt. Weitere Informationen finden Sie unter Abrechnung und Verwaltung von Microsoft Copilot Studio.

Jede Computerverwendung kann mehrere Aktionen ausführen, und jede Aktion kostet fünf Copilot-Gutschriften.

Wenn Sie z. B. die Computernutzung zum Ausfüllen eines webbasierten Arbeitszeittabellenformulars einrichten, werden bei jedem Auslösen die folgenden Aktionen ausgeführt:

1. launchBrowser.

2. Navigieren Sie zum Webportal für Arbeitszeittabellen.

3. Neue Zeittabelle erstellen auswählen.

4. Füllen Sie das Formularfeld Startzeit aus.

5. Füllen Sie das Formularfeld Endzeit aus.

6. Füllen Sie das Formularfeld Projektcode aus.

7. Wählen Sie die Schaltfläche Übermitteln aus.

In diesem Beispiel führt der Computer sieben Aktionen aus, die insgesamt 35 Nachrichten verbrauchen.

Teilen Sie Ihr Feedback

Haben Sie Feedback zur Computernutzung? Lassen Sie es uns wissen unter computeruse-feedback@microsoft.com.

Verwandte Informationen

Häufig gestellte Fragen zum Tool zur Computerverwendung