Często zadawane pytania dotyczące narzędzia do korzystania z komputera

Co to jest narzędzie do korzystania z komputera

Korzystanie z komputera to narzędzie, które można dodać do agentów Copilot Studio zaprojektowanych do automatyzowania zadań w witrynach internetowych i aplikacjach. Użytkownicy udostępniają opisy zadań w języku naturalnym, a narzędzie automatyzuje odpowiednie kliknięcia myszy i akcje klawiatury. Możesz na przykład poinstruować narzędzie, aby otworzyć plik PDF i użyć jego zawartości do wypełnienia formularza internetowego. Narzędzie wizualnie interpretuje ekran i wykonuje niezbędne kliknięcia i naciśnięcia, emulując interakcje człowieka.

Co może zrobić komputer za pomocą narzędzia?

Komputer używa narzędzia przetwarza dane pikseli ekranu w celu zrozumienia zawartości na ekranie i wykonuje zadania za pomocą wirtualnych kliknięć myszy i danych wejściowych klawiatury. Narzędzie może zarządzać wieloetapowymi przepływami pracy, obsługiwać nieoczekiwane scenariusze i dynamicznie dostosowywać się do zmian ekranu, umożliwiając mu wykonywanie różnych zadań cyfrowych, takich jak nawigowanie po witrynach internetowych i wypełnianie formularzy bez konieczności używania wyspecjalizowanych interfejsów API.

Narzędzie do użycia komputera jest zgodne z pętlą iteracyjną opartą na trzech krokach:

• Postrzeganie: przechwytuje zrzuty ekranu, aby wizualnie zrozumieć bieżący stan ekranu komputera.

• Rozumowanie: ocenia bieżący stan, poprzednie akcje i zrzuty ekranu za pomocą podejścia opartego na łańcuchu myśli, co pozwala na efektywne dostosowanie swoich działań.

• Akcja: wykonuje akcje, takie jak klikanie, wpisywanie lub przewijanie, aż zadanie zostanie ukończone lub wymaga dalszych danych wejściowych użytkownika.

Jakie są zamierzone zastosowania narzędzia do użycia przez komputer?

Narzędzie do korzystania z komputera ma na celu zautomatyzowanie interakcji użytkowników z witrynami internetowymi i aplikacjami za pomocą wirtualnej myszy i klawiatury, szczególnie przydatne w scenariuszach, w których interfejsy API nie są dostępne.

W jaki sposób narzędzie używane przez komputer było oceniane? Jakie metryki są używane do mierzenia wydajności?

Narzędzie do użycia komputerów zostało rygorystycznie ocenione przy użyciu rzeczywistych scenariuszy w fazie projektowania, programowania i wdrażania. Metody oceny obejmowały badania, badania wpływu i testowanie w różnych scenariuszach w celu mierzenia dokładności, zaufania użytkowników i przydatności. Zarówno metryki jakościowe, jak i ilościowe są regularnie monitorowane w celu zachowania wysokiej wydajności i pozytywnego środowiska użytkownika. Dostępność narzędzia jest również zapewniana przez przestrzeganie ustanowionych umów SLA.

Jakie są ograniczenia narzędzia do używania komputera? Jak użytkownicy mogą zminimalizować wpływ ograniczeń narzędzia do korzystania z komputera podczas korzystania z systemu?

Korzystanie z komputera to nowatorska technologia ze znanymi ograniczeniami bezpieczeństwa i funkcjonalności. Umożliwiamy ci eksperymentowanie z nim. Ta wczesna możliwość umożliwia automatyzację niektórych zadań opartych na komputerach, chociaż jej wydajność różni się w zależności od przypadku użycia. Aby efektywnie i odpowiedzialnie z niego korzystać, zapoznaj się z jego bieżącymi ograniczeniami:

Znane ograniczenia

• Współczynnik powodzenia różni się w zależności od zadania: narzędzie najlepiej sprawdza się w przypadku zadań internetowych (około 80% powodzenia), ale znacznie spada w aplikacjach klasycznych (około 35% powodzeniu).
• Niespójna wydajność: to samo zadanie może przynieść różne wyniki w zależności od zmian w wizualizacji lub chronometrażu.
• Trudności z niektórymi kontrolkami interfejsu użytkownika: korzystanie z komputera może mieć trudności z interakcją z niestandardowymi lub dynamicznymi elementami interfejsu, takimi jak listy rozwijane, selektory dat lub widżety niestandardowe.
• Pętle i zablokowane stany: w niektórych przypadkach agent przechodzi w pętlę lub blokuje się, gdy ekran nie odpowiada oczekiwaniom lub zmienia się nieprzewidywalnie.
• Wyzwania związane ze złożonymi zadaniami: Chociaż jest to skuteczne w przypadku prostych akcji, narzędzie może zmagać się ze szczegółowymi interfejsami graficznymi lub zadaniami obejmującymi skomplikowane manipulowanie tekstem.
• Nie dotyczy przypadków użycia wrażliwych lub wysokiego ryzyka: narzędzie nie jest przeznaczone do:
  • Rekomendowanie lub ocenianie w poufnych domenach, takich jak zatrudnianie, opieka zdrowotna lub finanse
  • Dokonywanie transakcji finansowych
  • Szkodliwe działania, takie jak spam lub dezinformacji
  • Udostępnianie danych spoza organizacji bez odpowiedniej autoryzacji

Jak zminimalizować ograniczenia

Aby zwiększyć niezawodność, użytkownicy powinni podać jasne, szczegółowe instrukcje podczas konfigurowania zadań. Pomaga to zmniejszyć liczbę błędów i zwiększyć współczynniki powodzenia zadań.

Nadzór człowieka nad potencjalnie złośliwymi instrukcjami

Agenci komputerowi mogą napotkać szkodliwe lub złośliwe instrukcje, często określane jako ataki typu prompt injection, w których ukryte polecenia na zrzutach ekranu, stronach internetowych lub innych danych wejściowych próbują wpłynąć na działania w niezamierzony sposób. Aby zmniejszyć to ryzyko, należy korzystać z komputera w zaufanych, odizolowanych środowiskach i stosować solidne kontrole poprawności przed wykonaniem jakichkolwiek instrukcji.

Nadzór ze strony człowieka zwiększa widoczność i kontrolę, umożliwiając autoryzowanym recenzentom weryfikowanie działań oznaczonych jako potencjalnie szkodliwe lub złośliwe. Gdy takie ryzyka zostaną wykryte, komputer zatrzymuje wykonanie i powiadamia przydzielonych recenzentów, którzy mogą zdecydować, czy kontynuować lub przerwać uruchomienie. Kontrole bezpieczeństwa wykonywane przez agenta użytkownika komputera mogą być uruchamiane przez jedną odpowiedź, wejście lub zrzut ekranu, albo przez wiele elementów takiego kontekstu. Kontrolę bezpieczeństwa ma na celu zachęcenie do przeprowadzenia przeglądu przez człowieka przed podjęciem potencjalnie nieodwracalnych lub niedozwolonych działań przez agenta użytkownika komputera, jednak agent może popełnić błędy podczas wykonywania tych kontroli. Na przykład agent obsługi komputera może nie wykrywać niektórych działań lub może wymagać przeglądu, gdy bezpieczeństwo nie jest istotne. Kontrole bezpieczeństwa nie zastępują odpowiedzialnego projektowania i wskazówek agenta.

Ta funkcja zachęca do przeglądu potencjalnie nieodwracalnych lub niedozwolonych działań, ale obecnie nie obsługuje ogólnych próśb potwierdzania, podpowiedzi o brakujących informacjach ani innych rodzajów kontroli bezpieczeństwa.

Jakie czynniki operacyjne i ustawienia umożliwiają efektywne i odpowiedzialne korzystanie z narzędzia do korzystania z komputera?

Narzędzie do korzystania z komputera najlepiej sprawdza się, gdy są dostępne jasne i szczegółowe instrukcje użytkownika. Użytkownicy powinni podać dokładne wskazówki dotyczące interakcji witryny internetowej lub aplikacji w celu zwiększenia niezawodności i dokładności podczas wykonywania zadania. Aby zwiększyć widoczność i kontrolę, włącz nadzór przez człowieka, przypisując co najmniej jednego autoryzowanego recenzenta na stronie konfiguracji narzędzi. Gdy model wykryje potencjalnie złośliwe instrukcje, ci recenzenci otrzymają powiadomienia w celu zweryfikowania i podjęcia decyzji, czy kontynuować, czy zatrzymać przebieg.

Jak przekazać opinię na temat narzędzia do korzystania z komputera?

Masz opinię na temat narzędzia do korzystania z komputera? Wyślij wiadomość e-mail na adres .computeruse-feedback@microsoft.com