Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Często zadawane pytania zawierają opis wpływu języka AI na działanie funkcji wsparcia analitycznego w programie Copilot Studio.
W jaki sposób generatywna sztuczna inteligencja jest używana do analizy?
Copilot Studio używa sztucznej inteligencji do mierzenia jakości odpowiedzi generatywnych oraz do tworzenia klastrów, które są używane do uzyskania szczegółowych informacji o działaniu agenta.
Funkcja Odpowiedzi generatywne używa źródeł wiedzy wybranych przez użytkownika do wygenerowania odpowiedzi. Funkcja zbiera również wszelkie opinie przekazane przez użytkownika. Mechanizm analizy używa dużych modeli językowych (LLM) do klasyfikowania wiadomości z czatu wymienianych między użytkownikami i agentami w poziomy wskazujące jakość odpowiedzi generatywnych. Copilot Studio kompiluje te wskaźniki, aby przekazać twórcom podsumowanie ogólnych wyników działania agenta.
Funkcja klastrowania używa modeli LLM do sortowania wiadomości od użytkowników w grupy na podstawie wspólnych tematów i nadania każdej grupie opisowej nazwy. Program Copilot Studio używa nazw tych klastrów do przekazywania różnych rodzajów szczegółowych informacji, których można użyć do ulepszania agenta.
Jakość odpowiedzi generowanych
Jakie jest przeznaczenie funkcji jakości odpowiedzi?
Twórcy używają funkcji analizy jakości odpowiedzi do uzyskiwania szczegółowych informacji o używaniu i skuteczności agentów, po czym na tej podstawie tworzą akcje na potrzeby ulepszania agenta. Obecnie analiza może służyć do ustalenia, czy jakość generatywnych odpowiedzi agenta spełnia oczekiwania twórcy.
Funkcja analizy odpowiedzi nie tylko bada ogólną jakość, ale również identyfikuje obszary, w których agent działa słabo albo nie spełnia zamierzonych celów twórcy. Na tej podstawie twórca może identyfikować obszary, w których odpowiedzi generatywne działają słabo, i podjąć kroki w celu poprawy ich jakości.
Ponadto po zidentyfikowaniu słabego działania można skorzystać z najlepszych rozwiązań, które być może poprawią jakość. Na przykład po zidentyfikowaniu źródła wiedzy o słabej skuteczności twórca może je edytować albo podzielić na wiele bardziej skoncentrowanych źródeł w celu poprawienia jakości.
Jakie dane są używane do tworzenia analiz jakości odpowiedzi?
Jakość analizy odpowiedzi jest obliczana przy użyciu próbki odpowiedzi generowania odpowiedzi. Wymaga to zapytania użytkownika, odpowiedzi agenta oraz odpowiednich źródeł wiedzy używanych przez model generatywny na potrzeby odpowiedzi generatywnej.
Funkcja analizy jakości odpowiedzi używa tych informacji do oceny, czy jakość odpowiedzi generatywnej jest dobra, a jeśli nie, to dlaczego jakość jest niska. Na przykład analiza jakości odpowiedzi może wskazywać niekompletne, nieistotne lub nie w pełni uzasadnione odpowiedzi.
Jakie są ograniczenia analizy jakości odpowiedzi i jak użytkownicy mogą minimalizować wpływ tych ograniczeń?
Analizy jakości odpowiedzi nie są wykonywane przy użyciu wszystkich odpowiedzi generatywnych. Zamiast tego funkcja analizy mierzy próbkę sesji między agentem i użytkownikami. Agenci poniżej minimalnej liczby udanych odpowiedzi generowanych nie mogą otrzymać podsumowania analitycznego jakości odpowiedzi.
Istnieją przypadki, w których analiza nie bada rzetelnie pojedynczej odpowiedzi. Na zagregowanym poziomie analiza powinna być rzetelna w większości przypadków.
Funkcja analizy jakość odpowiedzi nie wskazuje zapytań, które doprowadziły do niskiego wyniku analizy. Nie wskazuje również typowych źródeł wiedzy ani tematów, które są używane przy nisko ocenianych odpowiedziach.
Analiza nie uwzględnia odpowiedzi korzystających z wiedzy generatywnej.
Częścią metryk jakości analiz odpowiedzi jest kompletność odpowiedzi. Ocenia, na ile odpowiedź jest kompletna względem pobranego dokumentu.
Jeśli odpowiedni dokument zawierający dodatkowe informacje dla danego pytaniu nie zostanie pobrany, obliczenie metryki kompletności nie uwzględnia tego dokumentu.
Jakie zabezpieczenia są stosowane w Copilot Studio w celu odpowiedzialnego wykorzystania AI?
Użytkownicy agentów nie widzą wyników analizy; są one dostępne tylko dla twórców agentów i administratorów.
Twórcy i administratorzy mogą używać analiz jakości odpowiedzi tylko w celu zobaczenia procentu odpowiedzi dobrych jakościowo oraz wszelkich wstępnie zdefiniowanych przyczyn słabego działania. Twórcy mogą zobaczyć tylko procent odpowiedzi wysokiej jakości i wstępnie zdefiniowane przyczyny.
Dokładnie przetestowaliśmy działanie funkcji analizy jakości odpowiedzi w trakcie jej opracowywania, aby zapewnić dobrą skuteczność działania. Jednak w rzadkich przypadkach ocena jakości odpowiedzi może być nierzetelna.
Motywy pytań użytkowników
Jakie jest przeznaczenie motywów?
Ta funkcja automatycznie analizuje duże zestawy zapytań użytkowników i grupuje je w tematy wysokiego poziomu nazywane motywami. Każdy motyw reprezentuje jednego wysokiego poziomu temat, o który zapytali użytkownicy. Motywy dają nienadzorowany, oparty na danych widok treści użytkownika. Ten widok pomaga zespołom zrozumieć, o co użytkownicy najbardziej dbają, bez ręcznego przeglądania tysięcy zapytań.
Jakie dane są używane do tworzenia klastrów?
Funkcja Motywy używa zapytań użytkownika, które wyzwalają generatywne odpowiedzi. Motywy analizują wszystkie zapytania z ostatnich siedmiu dni, aby wygenerować nowe sugerowane motywy.
Motywy korzystają z semantycznego podobieństwa do zapytań grupowych. Model językowy jest następnie używany do generowania tytułu i opisu dla każdego klastra. Opinie twórców (takie jak kciuki w górę/w dół) są również zbierane w celu poprawy jakości klastrowania.
Jakie są ograniczenia klastrowania motywów i jak użytkownicy mogą zmniejszyć te ograniczenia?
Pomyślne klastrowanie w motywach zależy od woluminu zapytań. Jeśli nie ma wystarczającej liczby zapytań lub jeśli zapytania są zbyt niepowiązane ze sobą, Copilot Studio może klastrować zapytania do motywów, które są zbyt szerokie lub zbyt wąskie.
Motywy mogą czasami rozdzielić podobne tematy lub scalić niepowiązane.
Zmiana języka w zapytaniach może mieć wpływ na spójność klastrów w czasie.
Twórcy mogą regularnie przeglądać motywy i przekazywać opinie w celu poprawy jakości nazewnictwa.
Jakie zabezpieczenia motywów są stosowane w Copilot Studio w celu zapewnienia odpowiedzialnej sztucznej inteligencji?
Motywy są widoczne tylko dla twórców i administratorów. Podczas generowania nazw i opisów stosowane jest moderowanie treści w celu zmniejszenia ryzyka szkodliwych lub nieodpowiednich danych wyjściowych.