Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Deze veelgestelde vragen (FAQ) beschrijven het AI-effect van functies voor analyseondersteuning in Copilot Studio.
Hoe wordt generatieve AI gebruikt voor analyse?
Copilot Studio maakt gebruik van AI om de kwaliteit van generatieve antwoorden te meten en clusters te maken, die worden gebruikt om inzicht te krijgen in agentprestaties.
Generatieve antwoorden maken gebruik van de kennisbronnen van uw keuze om een antwoord te genereren. De functie verzamelt ook eventuele feedback die u opgeeft. Analyse gebruikt grote taalmodellen (LLM's) om de chatberichten tussen gebruikers en agenten te classificeren op niveaus, die de kwaliteit van generatieve antwoorden aangeven. Copilot Studio verzamelt deze indicatoren om makers een overzicht te geven van de algehele prestaties van een agent.
Clustering maakt gebruik van LLM's om berichten van gebruikers te sorteren in groepen, op basis van gedeelde onderwerpen en om elke groep een beschrijvende naam te geven. Copilot Studio gebruikt de namen van deze clusters om verschillende typen inzichten te bieden, die u kunt gebruiken om uw agent te verbeteren.
Kwaliteit van reacties voor generatieve antwoorden
Wat is de kwaliteit van de respons voor het beoogde gebruik?
Makers gebruiken de kwaliteit van responsanalyses om inzicht te krijgen in het gebruik en de prestaties van agenten en vervolgens acties te maken voor agentverbetering. Momenteel kunnen analyses worden gebruikt om te begrijpen of de kwaliteit van de generatieve antwoorden van een agent voldoet aan de verwachtingen van de maker.
Naast de algehele kwaliteit identificeert quality of response-analyse gebieden waar een agent slecht presteert of niet de bedoelde doelen van de maker nastreeft. Makers kunnen gebieden definiëren waar generatieve antwoorden slecht presteren en stappen ondernemen om hun kwaliteit te verbeteren.
Bij het identificeren van slechte prestaties zijn er bovendien best practices waarmee de kwaliteit kan worden verbeterd. Nadat bijvoorbeeld kennisbronnen met slechte prestaties zijn geïdentificeerd, kan een maker de kennisbron bewerken of opsplitsen in meerdere, meer gespecialiseerde bronnen voor betere kwaliteit.
Welke gegevens worden gebruikt om analyses te maken voor de kwaliteit van de respons?
De kwaliteit van responsanalyses wordt berekend met behulp van een sample van generatieve antwoorden. Hiervoor zijn de gebruikersquery, de respons van de agent en de relevante kennisbronnen vereist, die het generatieve model gebruikt voor het generatieve antwoord.
De kwaliteit van responsanalyses gebruikt die informatie om te beoordelen of de kwaliteit van het generatieve antwoord goed is en zo niet, waarom de kwaliteit slecht is. De kwaliteit van de respons kan bijvoorbeeld onvolledige, irrelevante of niet volledig geaarde responsen identificeren.
Wat zijn de beperkingen van de kwaliteit van responsanalyses en hoe kunnen gebruikers de impact van beperkingen minimaliseren?
De kwaliteit van responsanalyses wordt niet berekend met behulp van alle generatieve reacties. In plaats daarvan meet de analyse een voorbeeld van gebruikersagentsessies. Agents onder een minimum aantal geslaagde generatieve antwoorden kunnen geen analytische samenvatting van de responskwaliteit ontvangen.
Er zijn gevallen waarin analyses een afzonderlijke reactie niet nauwkeurig evalueren. Op een geaggregeerd niveau moet deze voor de meeste gevallen nauwkeurig zijn.
Quality of response-analyses geven geen uitsplitsing van de specifieke zoekopdrachten die tot lage kwaliteit hebben geleid. Ze bieden ook geen uitsplitsing van algemene kennisbronnen of onderwerpen, die zijn gebruikt bij responsen van lage kwaliteit.
Analyses worden niet berekend voor antwoorden die gebruikmaken van generatieve kennis.
Antwoordvolledigheid is een van de meetmethoden die worden gebruikt om de kwaliteit van de respons te beoordelen. Deze metric meet hoe volledig de respons de inhoud in het opgehaalde document adresseert.
Als het systeem geen relevant document met extra informatie voor de vraag ophaalt, evalueert het de volledigheidsmaatstaf voor dat document niet.
Welke beschermingen zijn er binnen Copilot Studio voor Quality of Response-analyses voor verantwoordelijke AI?
Gebruikers van agenten zien geen analyseresultaten; ze zijn alleen beschikbaar voor agentmakers en beheerders.
Makers en beheerders kunnen alleen de kwaliteit van responsanalyses gebruiken om het percentage reacties van goede kwaliteit en vooraf gedefinieerde redenen voor slechte prestaties te zien. Makers kunnen alleen het percentage antwoorden van goede kwaliteit en vooraf gedefinieerde redenen zien.
We hebben tijdens de ontwikkeling analyses grondig getest op de kwaliteit van responsen, om goede prestaties te garanderen. Bij zeldzame gevallen kunnen de beoordelingen van de kwaliteit van respons echter onnauwkeurig zijn.
Sentimentanalyse voor gesprekssessies
Wat is het beoogde gebruik van sentimentanalyse?
Makers gebruiken sentimentanalyse om het niveau van gebruikerstevredenheid in gesprekssessies te begrijpen, gebaseerd op een AI-analyse van gebruikersberichten aan de agent. Makers kunnen het algemene sentiment van de sessie begrijpen (positief, negatief of neutraal), de redenen onderzoeken en maatregelen nemen om dit aan te pakken.
Welke data wordt gebruikt om sentiment te definiëren in een gesprekssessie?
Copilot Studio berekent sentimentanalyse voor op basis van gebruikersberichten aan de agent voor een steekproef van gesprekssessies.
Sentimentanalyse gebruikt die informatie om te beoordelen of de gebruikerstevredenheid tijdens de sessie positief, negatief of neutraal is. Een gebruiker kan bijvoorbeeld woorden en een toon gebruiken die frustratie of ontevredenheid aangeven op basis van de interactie met de agent. In dit geval wordt de sessie geclassificeerd als negatief sentiment.
Wat zijn de beperkingen van sentimentanalyse, en hoe kunnen gebruikers deze beperkingen beperken?
Sentimentanalyse wordt niet berekend met alle gesprekssessies. In plaats daarvan meet de analyse een voorbeeld van gebruikersagentsessies. Agenten onder het minimum aantal dagelijkse succesvolle generatieve antwoorden kunnen geen sentimentscore ontvangen.
Sentimentanalyse is momenteel afhankelijk van generatieve antwoorden en vereist een minimum aantal dagelijkse succesvolle antwoorden om de sentimentscore van de makelaar te berekenen.
Om sentiment voor een sessie te berekenen, moeten er minstens twee gebruikersberichten zijn. Bovendien wordt sentimentanalyse vanwege de huidige technische beperkingen niet uitgevoerd bij sessies die in totaal meer dan 26 berichten bevatten (inclusief zowel gebruikers- als agentberichten)
Sentimentanalyse geeft geen uitsplitsing van de specifieke gebruikersberichten die tot de sentimentscore hebben geleid.
Welke beschermingen zijn er binnen Copilot Studio voor sentimentanalyse voor verantwoordelijke AI?
Gebruikers van agenten zien geen analyseresultaten; ze zijn alleen beschikbaar voor agentmakers en beheerders.
Makers en beheerders kunnen sentimentanalyse alleen gebruiken om de uitsplitsing van sentiment over alle sessies te zien.
We hebben sentimentanalyse grondig getest tijdens de ontwikkeling om goede prestaties te garanderen. Bij zeldzame gevallen kunnen sentimentbeoordelingen echter onnauwkeurig zijn.
Thema's van gebruikersvragen
Wat is het beoogde gebruik van Thema's?
Met deze functie worden automatisch grote sets gebruikersquery's geanalyseerd en gegroepeerd in onderwerpen op hoog niveau die thema's worden genoemd. Elk thema vertegenwoordigt één onderwerp op hoog niveau waarnaar gebruikers hebben gevraagd. Thema's bieden een gegevensgestuurde weergave van gebruikersinhoud zonder supervisie. Deze weergave helpt teams te begrijpen wat gebruikers het belangrijkst vinden zonder de handmatige stap van het controleren van duizenden query's.
Welke gegevens worden gebruikt om clusters te maken?
De functie Thema's maakt gebruik van gebruikersquery's die generatieve antwoorden activeren. Met Thema's worden alle query's van de afgelopen zeven dagen geanalyseerd om nieuwe voorgestelde thema's te genereren.
Thema's maakt gebruik van semantische overeenkomsten met groepsquery's. Vervolgens wordt een taalmodel gebruikt om de titel en beschrijving voor elk cluster te genereren. Er wordt ook feedback van makers (zoals een duim omhoog/omlaag) verzameld om de clusterkwaliteit te verbeteren.
Wat zijn de clusterbeperkingen voor Thema's en hoe kunnen gebruikers omgaan met deze beperkingen?
Een geslaagde clustering in thema's is afhankelijk van het queryvolume. Als er onvoldoende query's zijn of als de query's niet genoeg aan elkaar zijn gerelateerd, kan Copilot Studio query's clusteren in thema's die te breed of te smal zijn.
Af en toe kunnen vergelijkbare onderwerpen worden opgesplitst en niet-gerelateerde onderwerpen worden samengevoegd.
Als u verschillende talen gebruikt in query's, kan dit invloed hebben op de consistentie van clusters in de loop van de tijd.
Makers kunnen thema's regelmatig bekijken en feedback geven om de naamgevingskwaliteit te verbeteren.
Welke beschermingsmaatregelen voor Thema's bestaan er in Copilot Studio op het gebied van verantwoorde AI?
Thema's zijn alleen zichtbaar voor makers en beheerders. Inhoudsmoderatie wordt toegepast bij het genereren van namen en beschrijvingen om het risico op schadelijke of ongepaste uitvoer te verminderen.