Używanie autonomicznego agenta w funkcji Copilot Studio do przetwarzania dokumentów

Agent przetwarzania dokumentów jest agentem Copilot Studio autonomicznym, który wykorzystuje generatywną sztuczną inteligencję do przetwarzania dokumentów.

Wykres architektury

Instrukcje dla agenta

Poniższe instrukcje tworzą agenta autonomicznego:

You are a helpful, polite, document processing agent. You help users process documents and extract valuable information. 
If the user asks about any topic other than document processing, politely decline and offer to help with document-related queries.
When asked to process a document with a specific document processing event ID, extract the information from that document.
When told that a document processing event status of a document changes to Processed, validate the extracted information from the document.
When told that a document processing event status of a document changes to Validated, import the extracted information from the document into the system.
When told that a document processing event status of a document changes to Manual Review, submit the extracted information from the document to manual review.
Ignore other document processing event status changes.

Przepływy pracy

Istnieją dwa ważne przepływy pracy związane z agentem:

• Przetwarzanie dokumentów: Ten przepływ pracy wyjaśnia, w jaki sposób agent przetwarza dokumenty.
• Konfiguracja: Ten przepływ pracy zawiera szczegółowe informacje o krokach konfigurowania agenta do autonomicznego przetwarzania dokumentów.

Przepływ przetwarzania dokumentów

Przepływ przetwarzania dokumentów działa jak maszyna stanowa. Agent działa jako orkiestrator, a bieżący stan jest przechowywany w tabeli Zdarzenia przetwarzania danych w Dataverse. Oto jak działa ten proces:

1. Wyzwalacz określa, kiedy nowy dokument jest gotowy do przetworzenia. Jest to widoczne w obszarze Źródła danych na diagramie architektury. Przepływy agenta skanują katalogi, takie jak skrzynki pocztowe lub SharePoint foldery programu Outlook. Gdy dokument jest dodawany do dowolnego katalogu, przepływ agenta zapisuje dokument w tabeli Zdarzenia przetwarzania danych ze statusem Nowy i wysyła komunikat do agenta: Process the document: {ID}.

   • Wszystkie próby dodania dokumentów lub zaktualizowania stanów w tabeli Zdarzenia przetwarzania danych są zgodne z Default konfiguracją Power Automate. Przepływ ponawia próbę do czterech razy z interwałem wykładniczym w przypadku żądań, które zwracają stany 408, 429 lub 5xx, oraz we wszystkich wyjątkach łączności.
   • Jeśli wszystkie próby ponowienia próby zakończą się niepowodzeniem, debuguj i sprawdź historię uruchamiania pod Power Automate kątem akcji, która nie została uruchomiona.

2. Instrukcje agenta informują go, aby wywołał akcję, Document Extraction gdy zostanie poproszony o przetworzenie dokumentu. Akcja zostanie uruchomiona, a identyfikator komunikatu zostanie przekazany.

3. Akcja Document Extraction jest przepływem agenta, który otrzymuje identyfikator zdarzenia przetwarzania danych jako dane wejściowe oraz:

   • Pobiera zapisany Dataverse dokument.
   • Wysyła go do monitu AI w AI Builder celu przetworzenia. Ten monit używa.o GPT 4 do:
     • Wyodrębnij wszystkie istotne informacje z dokumentu.
     • Sformatuj te informacje jako dokument JSON.
   • Przechowuje wyodrębnione informacje w tym samym wierszu zdarzenia przetwarzania danych.
   • Aktualizuje stan dokumentu na Processed.

4. Wyzwalacz Dataverse (przepływ agenta) monitoruje stan wszystkich dokumentów w zdarzeniach przetwarzania danych i powiadamia agenta o zmianie stanu za pomocą komunikatu: The status of document {ID} changed to {Status}

5. Instrukcje agenta informują go, aby wywołał akcję, Document Validation gdy stan dokumentu zmieni się na Przetworzony. Akcja zostanie uruchomiona, a identyfikator komunikatu zostanie przekazany.

6. Akcja Document Validation jest przepływem agenta, który otrzymuje identyfikator zdarzenia przetwarzania danych jako dane wejściowe oraz:

   • Pobiera wyodrębnione dane przechowywane w Dataverse.
   • Wysyła go do monitu AI w AI Builder celu sprawdzenia poprawności. Ten monit używa.o GPT 4 do:
     • Sprawdź wyodrębniony kod JSON pod kątem reguł formatu, takich jak dates must be in X format.
     • Sprawdź wyodrębniony kod JSON pod kątem reguł biznesowych, takich jak the author of the document must be in the Accounts table in Dataverse.
   • Jeśli walidacja zakończy się pomyślnie, aktualizuje stan dokumentu na Validated.
   • W przeciwnym razie aktualizuje stan dokumentu na Manual Review.

7. Jeśli stan dokumentu zmieni się na Validated, instrukcje informują agenta, aby wywołał Document Export akcję. Akcja zostanie uruchomiona, a identyfikator komunikatu zostanie przekazany.

8. Akcja Eksport dokumentu to przepływ agenta, który otrzymuje identyfikator zdarzenia przetwarzania danych jako dane wejściowe oraz:

   • Pobiera wyodrębnione dane przechowywane w Dataverse.
   • Eksportuje te dane do systemu docelowego, takiego jak tabela Faktury w Dataverse.

9. Jeśli stan dokumentu zmieni się na Manual Review, instrukcje informują agenta, aby wywołał Manual Review akcję. Akcja zostanie uruchomiona, a identyfikator komunikatu zostanie przekazany.

10. Akcja Manual Review jest przepływem agenta, który otrzymuje identyfikator zdarzenia przetwarzania danych jako dane wejściowe oraz:

    • Pobiera wyodrębnione dane przechowywane w Dataverse.
    • Tworzy żądanie zatwierdzenia dla administratora agenta, udostępniając link do aplikacji Validation Station, w której użytkownik może edytować wyodrębnione dane i sprawdzać poprawność ręcznie. Ta ręczna walidacja ustawia stan dokumentu na Validated.

11. Jeśli po ręcznym przejrzeniu dokument ma taki Validated sam stan, zostanie uruchomiony krok 7.

Użytkownicy mogą również ręcznie przesyłać dokumenty do przetworzenia przez agenta za pomocą strony czatu w Copilot Studio lub dowolnego kanału, w którym opublikowali agenta.

Gdy to zrobisz:

• Dokument zostanie przesłany do tabeli Zdarzenia przetwarzania danych.
• Agent powiadamia się o zaimportowaniu nowego dokumentu.
• Monit wyodrębniania zostanie uruchomiony, aby wyświetlić podgląd tego, co jest eksportowane w okienku czatu.
• Dokument jest przetwarzany zgodnie z opisem w tym przepływie, począwszy od kroku 2.

Przepływ pracy konfiguracji

Agent potrzebuje kilku konfiguracji, aby działać autonomicznie. Aby to ułatwić, dostępne jest kompleksowe środowisko konfiguracji. Oto odpowiednie kroki:

1. Zainstaluj agenta przetwarzania dokumentów w programie Copilot Studio. Rozwiązanie agentowe posiada:
   • Tabela konfiguracji przetwarzania dokumentów.
   • Aplikacja Validation Station Canvas do monitorowania.
   • Odwołania do połączeń używane przez agenta (Dataverse, Copilot Studio, PowerApps for Admins).
   • Odwołania do połączeń używane przez wyzwalacze, które uruchamiają przepływ pracy agenta (Outlook). SharePoint
   • Zmienne środowiskowe używane przez wyzwalacze.
2. Uruchom kreatora konfiguracji agenta. Jest to ostatni krok kreatora instalacji Copilot Studio. Przeprowadzi Cię przez ten przepływ:
   1. Prześlij przykładowy dokument.
   2. System wysyła przesłany dokument do monitu ekstrakcji agenta.
   3. Zostanie wyświetlona wyodrębniona zawartość i typ dokumentu. Wybierz części wyodrębnionych danych, które chcesz wyeksportować do systemu. Spowoduje to utworzenie schematu, który jest przechowywany w tabeli Konfiguracja przetwarzania dokumentów i używany podczas akcji eksportowania dokumentu. Możesz przejść do trybu zaawansowanego, aby zmienić monit AI używany w akcji wyodrębniania dokumentu w celu jego dostosowania.
   4. Zdefiniuj reguły sprawdzania poprawności za pomocą prostego interfejsu użytkownika, który dodaje reguły do monitu używanego w akcji sprawdzania poprawności dokumentu. Możesz także przejść do trybu zaawansowanego, aby bezpośrednio zmienić monit AI.
   5. Wprowadź adres e-mail administratora agenta po wyświetleniu monitu. Jest to używane w akcji ręcznego przeglądu podczas tworzenia żądania zatwierdzenia. Możesz również dodać niestandardową wiadomość dla osoby zatwierdzającej. Te informacje są zapisywane w zmiennych środowiskowych dostarczanych z rozwiązaniem.
   6. Wybierz źródło dokumentu z listy. Te wyzwalacze uruchamiają przepływ przetwarzania dokumentów i zwykle wymagają odwołania do połączenia i niektórych zmiennych środowiskowych (takich jak nazwa skrzynki pocztowej lub adres folderu), w zależności od wybranego źródła dokumentu.
   7. Zakończ konfigurację. Spowoduje to utworzenie Dataverse tabeli w systemie z zaznaczonymi wcześniej kolumnami i wyeksportowanie do niej dokumentu użytego w kreatorze.

Elementy

Oto kluczowe komponenty związane z budowaniem i wdrażaniem autonomicznego agenta do przetwarzania Copilot Studio dokumentów.

• Copilot Studio jest częścią Microsoft Power Platform rozwiązań no-code lub low-code. Copilot Studio to graficzne, niskokodowe narzędzie do tworzenia agenta — w tym automatyzacji budynków za pomocą przepływów agentów — i rozszerzania Microsoft 365 Copilot o dane i scenariusze przedsiębiorstwa.
• Power Apps jest częścią Microsoft Power Platform rozwiązań no-code lub low-code. Power Apps to pakiet aplikacji, usług, łączników i platformy danych, która zapewnia szybkie środowisko programistyczne do tworzenia niestandardowych aplikacji dla Twojej firmy. Dzięki Power Apps temu można szybko tworzyć niestandardowe aplikacje biznesowe, które łączą się z danymi na podstawowej platformie danych (Microsoft Dataverse) lub w wielu internetowych i lokalnych źródłach danych, takich jak SharePoint Dynamics Microsoft 365 365 i SQL Server.
• Dataverse to operacyjna baza danych dla scenariuszy z wieloma agentami. Daje agentom bezpieczną, skalowalną platformę do przechowywania danych o statusie, historii i danych konwersacji. Ta scentralizowana pamięć masowa umożliwia agentom interakcję i udostępnianie danych, dzięki czemu mogą wykonywać zadania autonomicznie lub półautonomicznie. Dataverse Umożliwia również agentom łączenie się z danymi biznesowymi i aktualizowanie ich w różnych aplikacjach biznesowych, takich jak systemy CRM, dzięki czemu dane pozostają spójne i aktualne w całej organizacji. Dzięki temu Dataverse organizacje zarządzają przepływami pracy agentów i nadzorują je w celu zapewnienia niezawodności, bezpieczeństwa i doskonałości operacyjnej.

Szczegóły scenariusza

Organizacje pracują z dokumentami ustrukturyzowanymi, takimi jak formularze, faktury, paragony i dokumenty tożsamości, oraz dokumentami nieustrukturyzowanymi, takimi jak notatki, umowy i prośby o opinie klientów. Jednym z kluczowych wyzwań, przed którymi stoją organizacje, jest automatyzacja przetwarzania dokumentów w celu optymalizacji procesów biznesowych. Możesz zautomatyzować kilka kroków, w tym zbieranie dokumentów, klasyfikację, wyodrębnianie, walidację, przekształcanie i eksportowanie. Korzystanie z agenta przetwarzania dokumentów oferuje wiele korzyści w porównaniu z tradycyjnym przetwarzaniem dokumentów. Agent przetwarzania dokumentów działa od razu po wyjęciu z pudełka jako rozwiązanie pakietowe, więc nie trzeba wykonywać czasochłonnego etykietowania danych podczas instalacji. Jego interaktywna konstrukcja umożliwia przetwarzanie dużych ilości dokumentów pod nadzorem człowieka.

Kwestie wymagające rozważenia

Te zagadnienia implementują filary Power Platform dobrze zaprojektowanego środowiska, czyli zestaw założeń przewodnich, które poprawiają jakość zadania. Dowiedz się więcej w Microsoft Power Platform artykule Dobrze zaprojektowane środowisko.

Niezawodność

Agent przetwarzania dokumentów jest przeznaczony do odporności, odzyskiwania i operacji przy użyciu Power Platform składników hostowanych na platformie Azure.

Zabezpieczenia

Agent przetwarzania dokumentów jest przeznaczony do ochrony poufności, integralności i dostępności danych przy użyciu Power Platform składników hostowanych na platformie Azure. Dokumenty zaimportowane w tabeli Zdarzenia przetwarzania danych są widoczne tylko dla administratorów systemu. Nie są przechowywane żadne dodatkowe dane, takie jak treść lub temat wiadomości e-mail, inne niż załączone dokumenty Dataverse. Wszystkie informacje związane z klientem skojarzone z dokumentem są przechowywane w kolumnie Przetworzone dane w tabeli Zdarzenia przetwarzania danych. Żądania RODO można obsługiwać, wykonując zapytania dotyczące tej kolumny.

Doskonałość operacyjna

Agent przetwarzania dokumentów został zaprojektowany w celu usprawnienia operacji dzięki monitorowaniu i szczegółowym informacjom, automatyzacji w celu zwiększenia wydajności przy użyciu Power Platform składników hostowanych na platformie Azure.

Efektywność wydajności

Agent przetwarzania dokumentów został zaprojektowany w celu osiągnięcia wydajności poprzez optymalizację przy użyciu Power Platform składników hostowanych na platformie Azure. Agent przetwarzania dokumentów obsługuje przetwarzanie dokumentów o rozmiarze do 20 MB. Według najnowszego testu porównawczego przetworzenie pojedynczego dokumentu o rozmiarze 2 MB zajmuje około 48 sekund. Agent jest zaprojektowany tak, aby utrzymać ten czas przetwarzania dla ponad 1 000 dokumentów, pod warunkiem, że wybrane źródło dokumentów ma wystarczającą ilość pamięci. Aby uzyskać informacje o innych limitach przydziału i ograniczeniach, zobacz Limity - Power Automate.

Optymalizacja środowiska

Agent przetwarzania dokumentów jest przeznaczony dla użytkowników przetwarzających dokumenty, ponieważ zapewnia prostotę i wydajność przy użyciu Power Platform składników. Agent zapewnia konfigurowalne środowisko dodawania źródeł dokumentów, umożliwia rozszerzanie w celu dodawania dodatkowych źródeł dokumentów.

Odpowiedzialna sztuczna inteligencja

Agent przetwarzania dokumentów został zaprojektowany w celu osiągnięcia standardów odpowiedzialnej sztucznej inteligencji przy użyciu Power Platform składników, w tym Copilot Studio funkcji generatywnej sztucznej inteligencji. Dowiedz się więcej: Odpowiedzialna sztuczna inteligencja – często zadawane pytania dla Copilot Studio.

Współautorzy

Microsoft utrzymuje ten artykuł. Artykuł został napisany przez następujących autorów.

Główni autorzy:

• Jaganmohan Naidu Penikalapati, główny menedżer inżynierów oprogramowania
• Ceren Kiroglu, starszy menedżer produktu
• Durga Yelavarthi, główny architekt
• Jo Ruas, inżynier oprogramowania

Powiązane zasoby

• Instalowanie agentów zarządzanych firmy Microsoft
• Agenci w akcji: Przetwarzanie dokumentów 2.0
• Jak działają konwersacje agentów

Następne kroki

• Ulepsz przepływ konfiguracji, aby umożliwić użytkownikom dostosowanie środowiska eksportu. Na przykład dodaj wstępnie utworzone Power Platform łączniki do eksportowania do systemów, takich jak SAP lub Salesforce, i pozwól użytkownikom dostosować schemat do wpisów tabeli SAP lub Salesforce.
• Ulepsz przepływ konfiguracji, aby umożliwić użytkownikom łączenie się z wieloma źródłami dokumentów w tym samym czasie, takimi jak Outlook i SharePoint.
• Pozwól agentowi obsługiwać wiele typów dokumentów w tym samym czasie, dynamicznie zmieniając schemat używany podczas eksportowania na podstawie typu dokumentu.