Automatyzowanie aplikacji internetowych i klasycznych za pomocą narzędzia do obsługi komputera (wersja zapoznawcza)

[Ten artykuł stanowi wstępne wydanie dokumentacji i może ulec zmianie.]

Obsługa komputera to narzędzie w programie Copilot Studio, które umożliwia agentowi interakcję i automatyzowanie zadań na komputerze z systemem Windows. Działa z witrynami internetowymi i aplikacjami komputerowymi poprzez wybieranie przycisków, wybieranie menu i wprowadzanie tekstu w polach na ekranie. Opisz w języku naturalnym, co chcesz, aby narzędzie obsługi komputera wykonało, i wykona ono to zadanie za pomocą wirtualnej myszy i klawiatury tak, jak użytkownik konfigurowałby komputer. W przypadku korzystania z tego narzędzia agenci mogą wykonywać zadania nawet wtedy, gdy nie ma interfejsu API do bezpośredniego łączenia się z systemem. Jeśli dana osoba potrafi korzystać z aplikacji lub strony internetowej, to potrafi również korzystać z komputera. Można używać tego narzędzia do wykonywania zadań, takich jak automatyczne wprowadzanie danych, przetwarzanie faktur i wyodrębnianie danych.

Korzystanie z komputera jest obsługiwane przez agentów korzystających z komputera (CUA), model sztucznej inteligencji, który łączy możliwości widzenia z zaawansowanym rozumowaniem w celu interakcji z graficznymi interfejsami użytkownika (GUI). Ponieważ jest zasilany przez sztuczną inteligencję, dostosowuje się do zmian interfejsu. Na przykład, gdy zmieniają się przyciski lub ekrany, narzędzie kontynuuje pracę bez przerywania przepływu. Jest prosty w użyciu. Po prostu opisz to, co chcesz, w języku naturalnym. Nie będzie trzeba pisać kodu.

Obejrzyj ten film, aby dowiedzieć się, jak narzędzie do użycia komputera umożliwia agentowi interakcję z aplikacją internetową.

Wymagania

• Funkcja jest dostępna dla środowisk, w których region jest ustawiony na Stany Zjednoczone.

• Upewnij się, że agent ma włączoną funkcję orkiestrator generowania, aby móc korzystać z komputera.

Dodaj korzystanie z komputera do swojego agenta

W przypadku nowego agenta lub istniejącego agenta w programie Copilot Studio dodaj obsługę komputera jako narzędzie, wykonując następujące kroki:

1. Przejdź do sekcji Narzędzia w swoim agencie i wybierz Dodaj narzędzie.

2. W oknie dialogowym Dodawanie narzędzi wybierz Nowe narzędzie.

3. Wybierz Korzystanie z komputera.

4. Podaj instrukcje opisujące zadanie, które narzędzie powinno wykonać na komputerze. Zobaczysz kilka szablonów instrukcji, z których można rozpocząć pracę. Aby dowiedzieć się więcej o tym, jak najlepiej pisać instrukcje dotyczące narzędzia obsługi komputera, zapoznaj się z najlepszymi rozwiązaniami dotyczącymi instruowania agenta do obsługi komputera.

5. Wybierz komputer, na którym ma być uruchamiane to narzędzie. Możesz użyć przeglądarki hostowanej, gotowej do użycia maszyny do automatyzacji zadań w publicznych witrynach internetowych lub wybrać maszynę z systemem Windows, którą można skonfigurować do użycia tego narzędzia. Dowiedz się więcej w temacie Konfigurowanie, gdzie uruchamiać narzędzie do obsługi komputera.

6. Wybierz Dodaj i skonfiguruj.

   • Na stronie konfiguracji skonfiguruj następujące trzy pola:

     • Nazwa: wprowadź nazwę wyświetlaną narzędzia do obsługi komputera. Ta nazwa pomaga odróżnić go od innych narzędzi dodawanych do agenta.
     • Opis: Wpisz krótki opis działania tego narzędzia i kiedy należy go używać. Ten tekst informuje agenta, kiedy użyć tego narzędzia.
     • Instrukcje: wymień kroki, które narzędzie powinno wykonać, w tym adresy URL i nazwy aplikacji. Wskazówki można znaleźć w sekcji Najlepsze praktyki dotyczące instrukcji obsługi komputera.

7. Przejrzyj te inne pola i ustawienia na stronie konfiguracji, które mogą być istotne:

   • Wejścia: użyj opcji Wejścia, aby zdefiniować wartości dynamiczne, które zmieniają się przy każdym uruchomieniu komputera. Na przykład, jeśli chcesz wypełnić formularz inną wartością przy każdym uruchomieniu, utwórz dane wejściowe dla tego pola. W czasie wykonywania, komputer łączy instrukcje użytkownika z wartościami wejściowymi w celu ukończenia zadania.

   • Maszyna: wybierz maszynę docelową używaną przez agenta do uruchamiania narzędzia obsługi komputera. Aby uzyskać więcej informacji na temat wybierania odpowiedniego typu maszyny na podstawie wymagań, zobacz Konfigurowanie, gdzie uruchamiać narzędzie obsługi komputera komputera.

     • Użyj polecenia Odśwież, aby zaktualizować listę maszyn.
     • Wybierz pozycję Zarządzaj maszynami, aby otworzyć stronę zarządzania maszynami w portalu usługi Power Automate.
     • Wybierz pozycję Zobacz szczegóły maszyny, aby otworzyć stronę szczegółów maszyny w portalu usługi Power Automate.

   • Połączenie: połączenie używane dla tego narzędzia. Zaktualizuj lub utwórz nowe połączenie, aby zmienić używane poświadczenia.

   • Poświadczenia do użycia: określ sposób uwierzytelniania się narzędzia podczas wykonywania:

     • Dane uwierzytelniające dostarczone przez twórcę (domyślnie): Ta opcja wykorzystuje dane poświadczenia producenta i jest odpowiednia dla agentów autonomicznych.

     Ostrzeżenie

     Jeśli udostępnisz agenta z tym ustawieniem, każdy, kto go używa, może działać z dostępem oryginalnego autora na skonfigurowanym komputerze.

     • Poświadczenia użytkownika końcowego: ta opcja używa poświadczeń osoby wchodzącej w interakcję z agentem. Każdy użytkownik musi mieć poświadczenia dostępu do komputera.

   • Nadzór człowieka: określ, kto powinien być informowany za pośrednictwem poczty e-mail (Outlook), jeśli agent korzystający z komputera wykryje potencjalnie szkodliwe instrukcje, które mogą zmienić zachowanie modelu. Każdy uruchomienie agenta i jego działanie jest powiązane z użytkownikiem, który go zainicjował. Jeśli wybierzesz recenzenta innego niż osoba prowadząca agenta korzystania z komputera, prawdopodobnie nie zobaczy aktywności, ponieważ nie zainicjował uruchomienia. W związku z tym nie może prawidłowo zweryfikować lub podjąć działań na żądanie. Upewnij się również, że odbiorca jest autoryzowany i ma niezbędny kontekst do obsługi takich żądań. Limit czasu odpowiedzi określa, jak długo żądanie pozostaje aktywne. Po upływie tego okresu żądanie wygaśnie, a uruchomienie obsługi komputera zostanie zatrzymane, jeśli nie zostanie odebrana żadna odpowiedź. Aby uzyskać więcej informacji, zobacz artykuł Nadzór ze strony człowieka.

   • Przechowywane poświadczenia: zdefiniuj poświadczenia używane przez komputer do logowania się do witryn internetowych i aplikacji. Jeśli podczas wykonywania zostanie wyświetlony monit logowania, komputer bezpiecznie używa wszelkich poświadczeń zdefiniowanych w tej sekcji dla tej witryny lub aplikacji. Wartości haseł tych poświadczeń są albo przechowywane w pamięci wewnętrznej Power Platform (bez potrzeby konfiguracji) lub w Azure Key Vault, który udostępniasz Ci. Dowiedz się, jak utworzyć Azure Key Vault w artykule Tworzenie magazynu kluczy przy użyciu Azure Portal.

     • Opcja pamięci wewnętrznej: Dzięki tej opcji możesz skonfigurować dane uwierzytelniające w narzędziu bez konieczności wcześniejszej konfiguracji. Sekrety są szyfrowane i przechowywane wewnętrznie w Power Platform. Dla każdego dokumentu należy podać następujące szczegóły:

       • Typ: wybierz między aplikacją Strona internetowa a Desktop, w zależności od tego, na której powierzchni planujesz użyć tego poświadczenia
       • Nazwa użytkownika: nazwa użytkownika, której używasz do logowania się na docelową stronę internetową lub aplikację.
       • Hasło: wartość hasła używana do logowania się na docelową stronę internetową lub aplikację.

       Notatka

       Pola haseł są obsługiwane we wszystkich witrynach internetowych i większości aplikacji systemu Windows (WinForms, WPF, UWP, WinUI, Win32), które obejmują większość scenariuszy klientów. Niektóre typy aplikacji, takie jak Electron, Java, Unity, gry, interfejsy wiersza polecenia, Citrix lub inne środowiska zwirtualizowane, mogą nie być obsługiwane.

       • Domena logowania lub nazwa aplikacji desktopowej: domena lub nazwa aplikacji, w której wpisujesz dane uwierzytelniające (na przykład login.microsoft.com lub Excel). Jeśli chodzi o domenę logowania, upewnij się, że zweryfikowałeś tę domenę, ponieważ może się różnić od głównego adresu URL strony.

     • Opcja Azure Key Vault: Dzięki tej opcji możesz skonfigurować dane poświadczenia w narzędziu, najpierw wpisując identyfikator subskrypcji, nazwę grupy zasobów oraz nazwę Key Vault. Wszystkie te informacje są dostępne na stronie Przegląd usługi Key Vault.

       • Używanie wpisów tajnych usługi Azure Key Vault za pomocą platformy Power Platform:

         • Subskrypcja Azure, która posiada ten skarbec, musi mieć zarejestrowanego dostawcę zasobów PowerPlatform .
         • Użytkownik, który tworzy zmienną środowiskową, musi mieć odpowiednie uprawnienia do zasobu Azure Key Vault.

       • Jeśli jeszcze tego nie zrobiłeś, postępuj zgodnie z instrukcjami w sekcji Konfiguruj Azure Key Vault , a następnie podaj następujące szczegóły:

         • Nazwa użytkownika: nazwa użytkownika, której używasz do logowania się na docelową stronę internetową lub aplikację.
         • Nazwa wpisu tajnego platformy Azure: nazwa wpisu tajnego w usłudze Key Vault, która przechowuje hasło dla witryny internetowej lub aplikacji.

         Notatka

         Pola haseł są obsługiwane we wszystkich witrynach internetowych i większości aplikacji systemu Windows (WinForms, WPF, UWP, WinUI, Win32), które obejmują większość scenariuszy klientów. Niektóre typy aplikacji, takie jak Electron, Java, Unity, gry, interfejsy wiersza polecenia, Citrix lub inne środowiska zwirtualizowane, mogą nie być obsługiwane.

         • Domena logowania lub nazwa aplikacji desktopowej: domena lub nazwa aplikacji, w której wpisujesz dane uwierzytelniające (na przykład login.microsoft.com lub Excel). Jeśli chodzi o domenę logowania, upewnij się, że zweryfikowałeś tę domenę, ponieważ może się różnić od głównego adresu URL strony.

   • Kontrola dostępu: domyślnie narzędzie obsługi komputera może działać w dowolnej witrynie internetowej lub aplikacji. Jeśli chcesz ograniczyć ten dostęp, włącz kontrolę dostępu, aby zdefiniować określone adresy URL i aplikacje klasyczne, do których narzędzie obsługi komputera powinno być ograniczone. Można skonfigurować zarówno witryny internetowe, jak i aplikacje:

     • Witryny sieci Web: wprowadź główny adres witryny internetowej (na przykład example.com). Wszystkie strony w tej witrynie internetowej są automatycznie dołączane. Można również użyć symboli wieloznacznych (*) dla poddomen.
       • Przykłady: www.contoso.com, *.contoso.com oraz contoso.com
     • Aplikacje klasyczne: wprowadź nazwę produktu lub nazwę procesu aplikacji. Aby ją znaleźć, naciśnij Ctrl+Shift+Esc, aby otworzyć Menedżera zadań. Następnie sprawdź kartę Procesy.
       • Przykłady: Microsoft Edge, msedge oraz Notepad.

     Notatka

     Kontrola dostępu uniemożliwia tylko modelowi wykonywanie akcji w witrynach internetowych lub aplikacjach, które nie są na liście dozwolonych. To nie powstrzymuje modelu przed otwarciem. Jeśli na przykład tylko microsoft.com i Microsoft Edge znajdują się na liście dozwolonych, model nadal może użyć paska wyszukiwania przeglądarki Edge, aby otworzyć usługę Bing. Jednak po otwarciu usługi Bing każda próba interakcji z nią nie powiedzie się, ponieważ nie znajduje się na liście dozwolonych.

8. Wybierz pozycję Zapisz.

Testowanie korzystania z komputera

Testowanie użycia komputera jest kluczowym krokiem w przebiegu tworzenia. Po wprowadzeniu nazwy, opisu i instrukcji oraz zapisaniu narzędzia wybierz Test, aby rozpocząć testowanie.

Po krótkim okresie ładowania zostanie wyświetlone środowisko testowe:

• Lewy panel pokazuje instrukcje oraz krok po kroku dziennik rozumowania i działań narzędzia.
• W prawym panelu wyświetlana jest wersja zapoznawcza działań, które zostaną wykonane na komputerze skonfigurowanym do użytku.

Po zakończeniu zadania zostanie wyświetlony komunikat Test zakończony. Gdy test jest w toku, możesz wybrać pozycję Zatrzymaj testowanie, aby natychmiast zatrzymać wszystkie akcje na maszynie.

Jeśli wynik nie jest zgodny z oczekiwaniami, przejdź do strony konfiguracji i doprecyzuj instrukcje. Dodaj więcej szczegółów, aby poprawić dokładność. Wskazówki można znaleźć w sekcji najlepszych praktyk dotyczących pisania skutecznych instrukcji.

Publikowanie agenta przy użyciu komputera

Ustaw komputer, a następnie publikuj swojego agenta. Sposób działania agenta zależy od scenariusza. Może być autonomiczny lub konwersacyjny:

• Autonomiczne agenty działają automatycznie i wykonują zadania w tle.
• Agenci konwersacyjni umożliwiają użytkownikom interakcję za pośrednictwem kanałów, takich jak Microsoft Teams.

Korzystanie z komputera działa najlepiej w przypadku autonomicznych agentów, wykonujących zadania w tle bez interakcji z użytkownikiem.

Można również zastosować narzędzie obsługi komputera w środowiskach konwersacyjnych, ale należy pamiętać o następujących kwestiach:

• Jeśli wybierzesz opcję Uwierzytelnianie użytkownika jako ustawienie uwierzytelniania, każdy użytkownik współpracujący z agentem w ramach rozmowy będzie potrzebował ważnych poświadczeń dla komputera używanego przez użytkownika.
• Po uruchomieniu narzędzie udostępnia komunikaty rozumowania i zrzuty ekranu działania maszyny na czacie.

Najlepsze rozwiązania

Aby zachować produktywność i bezpieczeństwo w dzisiejszych środowiskach cyfrowych, postępuj zgodnie z najlepszymi praktykami dotyczącymi korzystania z komputera, zwłaszcza podczas pisania jasnych instrukcji i zabezpieczania maszyn.

Najlepsze praktyki dotyczące zabezpieczania maszyn

Podczas konfigurowania maszyn na potrzeby obsługi komputerów, które umożliwia AI wykonywanie zadań przy użyciu języka naturalnego, należy wziąć pod uwagę następujące zalecenia dotyczące zabezpieczeń:

Najlepsze praktyki dotyczące instrukcji obsługi komputera

Napisane instrukcje określają, jak dobrze działa narzędzie do korzystania z komputera. Szczegółowe instrukcje pomagają w prawidłowym wykonywaniu zadań na komputerze. Pomyśl o tym jak o wyjaśnianiu zadania koledze. Jasne wskazówki krok po kroku pomagają zapewnić sukces.

Wskazówki dotyczące pisania skutecznych instrukcji:

• Bądź konkretny w odniesieniu do stron internetowych i aplikacji. Zawsze podawaj pełny adres URL dowolnej strony internetowej i dokładną nazwę każdej aplikacji, z której narzędzie powinno korzystać. Przykład: Otwórz https://www.microsoft.com i przejdź do 'Wiadomości firmowe'.

• Jasno określ odpowiednie działania. Jeśli chcesz, żeby coś zostało zrobione, powiedz to wprost — zwłaszcza w działaniach takich jak wypełnienie formularza czy wysłanie e-maila. Przykład: Po wypełnieniu formularza wybierz " Wyślij". Nie trzeba pytać o pozwolenie.

• Rozbij złożone interakcje. W obszarach, w których nawigacja po interfejsie użytkownika może być bardziej złożona, wyjaśnij szczegółowo każdy krok. Przykład: Wybierz ikonę More w prawym górnym rogu. Pojawia się rozwijane menu. Gdy się otworzy, wybierz ostatni element z listy.

• Używaj formatowania krok po kroku w przypadku dłuższych zadań. Długie instrukcje są łatwiejsze do wykonania, gdy sformatujesz je jako listę.

Przykładowe instrukcje

Zapoznaj się z tymi przykładowymi instrukcjami, aby wypróbować korzystanie z komputera lub użyć ich jako odniesienia do pisania własnych.

Najlepsze praktyki w zakresie ekstrakcji danych

Możesz użyć komputera do wydobycia danych ze stron internetowych lub aplikacji, a następnie przekazać je agentowi lub innym narzędziom w agencie. Aby to zrobić, po prostu opisz, jakie informacje chcesz wyodrębnić bezpośrednio w instrukcjach do obsługi komputera.

Jeśli chcesz użyć wyodrębnionych danych z innym narzędziem (na przykład wysyłając je mailowo), określ tę potrzebę w instrukcjach agenta i upewnij się, że oba narzędzia są dodane do agenta.

Przykład: Użyj komputera do wyodrębnienia informacji o kliencie na pulpitcie portfela finansowego i przesłania wyodrębnione dane e-mailem. W takim przypadku agent musi uwzględnić zarówno narzędzie do obsługi komputera, jak i narzędzie do e-maili.

Wyodrębniaj wartości jako tekst

Możesz polecić użytkownikowi komputera, aby wyodrębnił konkretne wartości i zwrócił je jako zwykły tekst. Na przykład poniższe pytanie wyodrębnia wartość menedżera portfela i portfela dla klienta, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

Agent zwraca tylko dwie żądane wartości jako tekst.

Wartości ekstraktu jako JSON

Możesz także poprosić użytkowników komputerów o zwrot wyodrębnionych informacji w formacie JSON. Ten format jest przydatny, gdy chcesz przekazać dane strukturalne innemu narzędziu. Poniższy przykład wyodrębnia wszystkie wiersze portfela związane z Contoso i zwraca je jako odpowiednio sformatowane JSON:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Takie podejście zapewnia strukturę wyniku.

Licencjonowanie

Podczas gdy korzystanie z komputera jest w fazie podglądu, jest ono rozliczane za pomocą funkcji działania agenta według stawki rozliczeniowej wynoszącej pięć kredytów Copilot. Aby uzyskać więcej informacji, zobacz Stawka rozliczeń i zarządzanie programem Microsoft Copilot Studio.

Każde użycie komputera może wykonywać kilka akcji, a każda akcja kosztuje pięć kredytów Copilot.

Na przykład, jeśli skonfigurujesz użycie komputera do wypełniania formularza grafiku opartego na sieci Web, będzie on wykonywał następujące akcje za każdym razem, gdy zostanie wyzwolony:

1. Uruchom przeglądarkę.

2. Przejdź do portalu internetowego grafików.

3. Wybierz opcję Utwórz nowy arkusz czasu pracy.

4. Wypełnij pole formularza Godzina rozpoczęcia.

5. Wypełnij pole formularza Godzina zakończenia.

6. Wypełnij pole formularza Kod projektu.

7. Wybierz przycisk Przekaż.

W tym przykładzie użycie komputera wykonuje siedem działań, zużywając łącznie 35 komunikatów.

Przekaż swoją opinię

Czy masz opinię na temat korzystania z komputera? Daj nam znać na computeruse-feedback@microsoft.com.

Informacje pokrewne

Często zadawane pytania dotyczące narzędzia do obsługi komputera