Häufig gestellte Fragen zum Computerverwendungstool

Was ist das Computerverwendungstool?

Die Computerverwendung ist ein Tool, das Sie Ihren Copilot Studio-Agents hinzufügen können, um Aufgaben auf Websites und Anwendungen zu automatisieren. Benutzer stellen Aufgabenbeschreibungen in natürlicher Sprache bereit, und das Tool automatisiert Mausklicks und Tastaturaktionen entsprechend. Beispielsweise könnten Sie das Tool anweisen, eine PDF-Datei zu öffnen und dessen Inhalt zum Ausfüllen eines Webformulars zu verwenden. Das Tool interpretiert den Bildschirm visuell und führt die erforderlichen Klicks und Tastenanschläge aus und emuliert menschliche Interaktionen.

Was kann das Computertool verwenden?

Der Computer verwendet Tool verarbeitet Bildschirmpixeldaten, um Inhalte auf dem Bildschirm zu verstehen und aufgaben mit virtuellen Mausklicks und Tastatureingaben auszuführen. Das Tool kann mehrstufige Workflows verwalten, unerwartete Szenarien behandeln und sich dynamisch an Bildschirmänderungen anpassen, sodass es verschiedene digitale Aufgaben wie das Navigieren in Websites und das Ausfüllen von Formularen ausführt, ohne spezielle APIs benötigen zu müssen.

Das Computerverwendungstool folgt einer iterativen Schleife basierend auf drei Schritten:

• Wahrnehmung: Es erfasst Screenshots, um den aktuellen Zustand des Computerbildschirms visuell zu verstehen.

• Begründung: Sie wertet den aktuellen Zustand, frühere Aktionen und Screenshots durch einen Gedankenkettenansatz aus, der es ermöglicht, seine Aktionen effektiv anzupassen.

• Aktion: Es führt Aktionen wie Klicken, Eingeben oder Scrollen aus, bis die Aufgabe abgeschlossen ist oder weitere Benutzereingaben erforderlich sind.

Was sind die beabsichtigten Verwendungstools des Computers?

Das Computerverwendungstool dient zum Automatisieren von Benutzerinteraktionen mit Websites und Anwendungen über eine virtuelle Maus und Tastatur, insbesondere in Szenarien, in denen APIs nicht verfügbar sind.

Wie wurde das Computertool ausgewertet? Welche Metriken werden verwendet, um die Leistung zu messen?

Das Computerverwendungstool wurde in allen Entwurfs-, Entwicklungs- und Bereitstellungsphasen streng anhand realer Szenarien bewertet. Zu den Bewertungsmethoden gehörten Forschung, Auswirkungsstudien und Tests in verschiedenen Szenarien, um Genauigkeit, Benutzervertrauen und Nützlichkeit zu messen. Sowohl qualitative als auch quantitative Metriken werden regelmäßig überwacht, um eine hohe Leistung und eine positive Benutzererfahrung aufrechtzuerhalten. Die Verfügbarkeit des Tools wird auch durch einhaltung etablierter SLAs sichergestellt.

Welche Einschränkungen gelten für das Computerverwendungstool? Wie können Benutzer die Auswirkungen der Einschränkungen des Computernutzungstools beim Verwenden des Systems minimieren?

Die Computernutzung ist eine neuartige Technologie mit bekannten Sicherheitsrisiken und funktionalen Einschränkungen. Wir ermöglichen Es Ihnen, damit zu experimentieren. Diese frühzeitige Funktion ermöglicht die Automatisierung bestimmter computerbasierter Aufgaben, obwohl ihre Leistung je nach Anwendungsfall stark variiert. Um sie effektiv und verantwortungsbewusst zu nutzen, verstehen Sie ihre aktuellen Einschränkungen:

Bekannte Einschränkungen

• Die Erfolgsquote variiert je nach Aufgabe: Das Tool führt bei webbasierten Aufgaben (ca. 80% Erfolg) am besten aus, fällt jedoch deutlich auf Desktop-Apps (etwa 35% Erfolg).
• Inkonsistente Leistung: Je nach visuellen oder zeitlichen Änderungen kann dieselbe Aufgabe unterschiedliche Ergebnisse erzielen.
• Schwierigkeiten bei bestimmten UI-Steuerelementen: Die Computerverwendung kann Schwierigkeiten bei der Interaktion mit nicht standardmäßigen oder dynamischen Schnittstellenelementen haben, z. B. Dropdowns, Datumsauswahlen oder benutzerdefinierte Widgets.
• Schleifen und hängen gebliebene Zustände: In einigen Fällen wechselt der Agent in eine Schleife oder bleibt hängen, wenn der Bildschirm nicht den Erwartungen entspricht oder sich unvorhersehbar ändert.
• Herausforderungen mit komplexen Aufgaben: Während sie für einfache Aktionen effektiv sind, kann das Tool mit detaillierten grafischen Schnittstellen oder Aufgaben mit komplizierter Textbearbeitung kämpfen.
• Nicht für sensible oder risikoreiche Anwendungsfälle: Das Tool ist nicht für Folgendes vorgesehen:
  • Empfehlen oder Bewerten in vertraulichen Domänen, z. B. Einstellung, Gesundheitswesen oder Finanzen
  • Durchführen von Finanztransaktionen
  • Schädliche Aktionen, z. B. Spam oder Falschinformationen
  • Freigeben von Daten außerhalb Ihrer Organisation ohne ordnungsgemäße Autorisierung

Minimieren von Einschränkungen

Um die Zuverlässigkeit zu verbessern, sollten Benutzer klare, detaillierte Anweisungen beim Konfigurieren von Aufgaben bereitstellen. Dies hilft, Fehler zu reduzieren und die Erfolgsraten von Aufgaben zu erhöhen.

Menschliche Aufsicht auf potenziell bösartige Anweisungen

Computerverwendungsagenten können auf schädliche oder bösartige Anweisungen stoßen, die häufig als Prompt-Injection-Angriffe bezeichnet werden, bei denen versteckte Befehle in Screenshots, Webseiten oder anderen Eingaben versuchen, Aktionen auf unbeabsichtigte Weise zu beeinflussen. Um diese Risiken zu verringern, sollten Sie den Computer in vertrauenswürdigen, isolierten Umgebungen betreiben und robuste Validierungsprüfungen durchführen, bevor Sie Anweisungen ausführen.

Die menschliche Aufsicht sorgt für mehr Transparenz und Kontrolle, indem sie es autorisierten Prüfern ermöglicht, Maßnahmen zu validieren, die als potenziell schädlich oder bösartig gekennzeichnet sind. Wenn solche Risiken erkannt werden, pausiert der Computer die Ausführung und benachrichtigt die zugewiesenen Prüfer, die entscheiden können, ob der Durchlauf fortgesetzt oder abgebrochen wird. Die Sicherheitsprüfungen, die vom Computernutzer durchgeführt werden, können durch eine Antwort, eine Eingabe, einen Screenshot oder durch mehrere Teile eines solchen Kontexts ausgelöst werden. Die Sicherheitskontrollen sollen eine menschliche Überprüfung anregen, bevor potenziell irreversible oder nicht erlaubte Maßnahmen des Computerbenutzeragenten durchgeführt werden, aber der Computerbenutzeragent kann bei der Durchführung der Kontrollen Fehler machen. Zum Beispiel erkennt der Computer Use Agent bestimmte Aktionen möglicherweise nicht oder fordert eine Überprüfung an, wenn Sicherheit keine Rolle spielt. Die Sicherheitskontrollen ersetzen nicht verantwortungsbewusstes Design und Anleitung des Agenten.

Diese Funktion fordert die Überprüfung potenziell irreversibler oder nicht genehmigter Maßnahmen auf, unterstützt aber derzeit keine allgemeinen Bestätigungsanfragen, Hinweise auf fehlende Informationen oder andere Arten von Sicherheitsprüfungen.

Welche Betrieblichen Faktoren und Einstellungen ermöglichen eine effektive und verantwortungsvolle Verwendung des Computerverwendungstools?

Das Computerverwendungstool führt am besten aus, wenn klare und detaillierte Benutzeranweisungen bereitgestellt werden. Benutzer sollten präzise Hinweise auf Website- oder Anwendungsinteraktionen geben, um die Zuverlässigkeit und Genauigkeit bei der Aufgabenausführung zu verbessern. Für zusätzliche Transparenz und Kontrolle aktivieren Sie die menschliche Aufsicht, indem Sie einen oder mehrere autorisierte Prüfer auf der Konfigurationsseite der Tools zuweisen. Wenn das Modell potenziell schädliche Anweisungen erkennt, erhalten diese Prüfer Benachrichtigungen, um zu überprüfen und zu entscheiden, ob die Ausführung fortgesetzt oder beendet werden soll.

Wie gebe ich Feedback zum Computerverwendungstool?

Haben Sie Feedback zum Computerverwendungstool? E-Mail computeruse-feedback@microsoft.com.