Utiliser Agent Bricks: Knowledge Assistant pour créer un chatbot de haute qualité sur vos documents

Cette page explique comment utiliser Agent Bricks : Assistant Connaissances pour créer un chatbot question-réponse sur vos documents et améliorer sa qualité en fonction des commentaires en langage naturel de vos experts en matières concernées.

Agent Bricks fournit une approche simple pour créer et optimiser des systèmes d’agent IA spécifiques au domaine et haute qualité pour les cas d’utilisation courants de l’IA.

Qu’est-ce que l’Agent Bricks : Assistant de Connaissances ?

Utilisez Agent Bricks : Assistant Connaissances pour créer un chatbot avec lequel vous pouvez poser des questions sur vos documents et recevoir des réponses de haute qualité avec des citations. L’Assistant Connaissances utilise l’IA avancée et suit une approche de génération augmentée par récupération (RAG) pour fournir des réponses précises et fiables basées sur les connaissances spécialisées dans le domaine que vous lui fournissez.

Agent Bricks : l’Assistant Connaissances est idéal pour prendre en charge les cas d’usage suivants :

• Répondez aux questions des utilisateurs en fonction de la documentation du produit.
• Répondez aux questions des employés relatives aux stratégies RH.
• Répondez aux demandes des clients en fonction des bases de connaissances de support.

L’Assistant Connaissances vous permet d’améliorer la qualité de l’agent de conversation et d’ajuster son comportement en fonction des commentaires en langage naturel de vos experts en matières concernées. Fournissez des questions pour une session d’étiquetage et envoyez-la à des experts pour passer en revue dans l’application de révision. Leurs réponses fournissent des données étiquetées qui permettent d’optimiser les performances de l’agent.

Agent Bricks: Knowledge Assistant crée un point de terminaison d’agent RAG de bout en bout que vous pouvez utiliser en aval pour vos applications. Par exemple, l’image ci-dessous montre comment interagir avec le point de terminaison en discutant avec lui dans AI Playground. Posez des questions à l'agent concernant vos documents, et l'agent répondra avec des citations.

Agent Bricks utilise le stockage par défaut pour stocker des transformations de données temporaires, des points de contrôle de modèle et des métadonnées internes qui alimentent chaque agent. Lors de la suppression de l’agent, toutes les données associées à l’agent sont supprimées du stockage par défaut.

Requirements

• Espace de travail qui inclut les éléments suivants :
  • Mosaic AI Agent Bricks Preview (bêta) activé. Consultez Gérer les préversions d’Azure Databricks.
  • Surveillance de la production pour MLflow (bêta) activée. Cela est nécessaire pour que le suivi fonctionne. Consultez Gérer les préversions d’Azure Databricks.
  • Le calcul serverless est activé. Consultez les exigences en matière de calcul serverless.
  • Catalogue Unity activé. Consultez Activer un espace de travail pour le catalogue Unity.
  • Accès à Mosaic AI Model Serving.
  • Accès aux modèles de base dans le catalogue Unity via le system.ai schéma.
  • Accédez à une stratégie budgétaire serverless avec un budget différent de zéro.
• Un espace de travail dans l’une des régions prises en charge : centralus, , eastuseastus2, northcentralus, southcentraluswestusou westus2.
• Le point de terminaison du modèle d'intégration databricks-gte-large-en doit avoir les garde-fous d'IA et les limites de débit désactivés. Consultez Configurer AI Gateway sur des points de terminaison de service de modèle.
• Vous devez disposer de données d’entrée prêtes à être utilisées. Vous pouvez choisir de fournir l’une ou l’autre des options suivantes :
  • Fichiers dans un volume de Unity Catalog ou dans un répertoire de volume. Les types de fichiers pris en charge sont txt, pdf, md, ppt/pptx et docx.
  • Index de recherche vectorielle qui utilise databricks-gte-large-en comme modèle d’incorporation. Veuillez consulter la section Créer un index de recherche vectorielle.

Créer un agent d’assistance aux connaissances

Accédez à Agents dans le volet de navigation gauche de votre espace de travail. Dans la vignette Assistant Connaissances , cliquez sur Générer.

Étape 1 : Configurer votre agent

Sous l’onglet Build , configurez votre agent et fournissez des sources de connaissances à utiliser pour répondre aux questions.

1. Dans le champ Nom , entrez un nom pour votre agent.

2. Dans le champ Description , décrivez ce que votre agent peut faire.

3. Dans le panneau Source de connaissances, ajoutez votre source de connaissances. Vous pouvez choisir de fournir des fichiers catalogue Unity ou un index de recherche vectorielle.

   Fichiers UC

   Pour les fichiers UC, les types de fichiers suivants sont pris en charge : txt, pdf, md, ppt/pptx et docx. Les fichiers de plus de 50 Mo sont automatiquement ignorés pendant l’ingestion et ne seront pas inclus dans la base de connaissances.

   

   1. Sous Type, sélectionnez Fichiers UC.
   2. Dans le champ Source , sélectionnez le volume de catalogue Unity ou le répertoire de volume qui contient vos fichiers.
   3. Dans le champ Nom , entrez un nom pour votre source de connaissances.
   4. Sous Décrire le contenu, décrivez le contenu que contient la source de connaissances pour aider l’agent à comprendre quand utiliser cette source de données.

   Index de recherche vectorielle

   

   Note

   Les index de recherche vectorielle ne sont pris en charge que si l’index utilise databricks-gte-large-en comme modèle d’incorporation. Lorsque vous créez votre index de recherche vectorielle, veillez à sélectionner ce modèle d’incorporation. Pour plus d’informations, consultez Créer un index de recherche vectorielle.

   1. Sous Type, sélectionnez Index de recherche vectorielle.
   2. Dans le champ Source , sélectionnez l’index de recherche vectorielle que vous souhaitez fournir à l’agent.
   3. Dans la colonne d’URI doc, sélectionnez la colonne avec un lien ou une référence à l’endroit où les informations proviennent. L’agent l’utilisera dans ses citations.
   4. Dans le champ Colonne de texte , spécifiez la colonne qui contient le texte brut que vous souhaitez que l’agent récupère.
   5. Dans le champ Nom , entrez un nom pour votre source de connaissances.
   6. Sous Décrire le contenu, décrivez le contenu que contient la source de connaissances pour aider l’agent à comprendre quand utiliser cette source de données.

4. (Facultatif) Si vous souhaitez ajouter d’autres sources de connaissances, cliquez sur Ajouter une source de connaissances. Vous pouvez fournir jusqu’à 10 sources de connaissances.

5. (Facultatif) Dans le champ Instructions , spécifiez les instructions relatives à la façon dont l’agent doit répondre.

   

6. Cliquez sur Créer un agent.

La création de votre agent et la synchronisation des sources de connaissances que vous avez fournies peut prendre jusqu’à quelques heures. Le panneau latéral droit est mis à jour avec des liens vers l’agent déployé, l’expérience et les sources de connaissances synchronisées.

Étape 2 : Tester votre agent

Une fois que votre agent a terminé la construction, testez-le en discutant avec lui. L’agent doit répondre avec des citations pour des questions relatives à ses sources de connaissances.

1. Sous Tester votre agent, commencez à discuter avec votre agent.

2. (Facultatif) Vous pouvez également cliquer sur Ouvrir dans Playground pour discuter avec lui dans AI Playground. Si vous avez activé les fonctionnalités d’assistance de l’IA, vous pouvez activer la génération de juge d’IA et de question synthétique pour vous aider à évaluer votre agent.

3. Entrez une question pour votre agent.

4. Évaluez sa réponse :

   1. Cliquez sur Afficher les pensées pour voir comment votre agent a abordé la réponse à la question.
   2. Cliquez sur Afficher les sources pour voir quels fichiers l’agent cite. Cela ouvre le volet latéral avec une liste de sources que vous pouvez examiner.
   3. Cliquez sur Afficher la trace pour afficher la trace complète. Vous pouvez ajouter des étiquettes aux traces de l’interface utilisateur pour suivre les évaluations de qualité pendant le processus de développement.

Si vous êtes satisfait des performances de votre agent, continuez à utiliser l’agent as-is. Par défaut, les points de terminaison Bricks de l’agent sont mis à l’échelle à zéro après 3 jours d’inactivité. Vous ne serez donc facturé que pour le temps d’activité.

Étape 3 : Améliorer la qualité

Briques de l’agent : l’Assistant Connaissances peut ajuster le comportement de l’agent en fonction des commentaires en langage naturel. Rassemblez des commentaires humains via une session d’étiquetage pour améliorer la qualité de votre agent. La collecte de données étiquetées pour votre agent peut améliorer sa qualité. L'Agent Bricks réentraînera et optimisera l'agent à partir des nouvelles données. Pour en savoir plus sur la collecte de commentaires, consultez commentaires d’experts du domaine.

Sous l’onglet Exemples , ajoutez des questions et démarrez une session d’étiquetage. Vous pouvez également importer des données étiquetées directement à partir d’une table De catalogue Unity.

1. Ajoutez des questions à inclure dans votre session d’étiquetage :

   1. Cliquez sur + Ajouter pour ajouter une question.
   2. Dans le mode Ajouter une question , entrez votre question.
   3. Cliquez sur Ajouter. La question doit apparaître dans l’interface utilisateur.
   4. Répétez jusqu’à ce que vous ayez ajouté toutes les questions que vous souhaitez évaluer.
   5. Pour supprimer une question, cliquez sur le menu kebab, puis supprimez.

   

2. Une fois que vous avez terminé d’ajouter vos questions, envoyez les questions aux experts pour vous aider à créer un jeu de données étiqueté de haute qualité. Sur la droite, cliquez sur Démarrer la session d’étiquetage.

   Lorsque votre session d’étiquetage est prête, l’interface utilisateur est mise à jour comme indiqué ci-dessous.

   

3. Partagez l’application de révision avec des experts pour recueillir des commentaires.

   Pour en savoir plus sur l'application Review et les sessions d'étiquetage, consultez Recueillir des commentaires et des attentes en étiquetant les traces existantes et Créer et gérer des sessions d'étiquetage.

   Note

   Pour que les experts accèdent à la session d’étiquetage, vous devez leur accorder les autorisations suivantes :

   • Autorisation CAN QUERY pour le point de terminaison
   • Autorisation EDIT pour l’expérience
   • Autorisations USE CATALOG, USE SCHEMA et SELECT pour le schéma

4. Pour étiqueter les données vous-même, cliquez sur Ouvrir une session d’étiquetage.

   L’application de révision s’ouvre dans un nouvel onglet. En tant que réviseur :

   1. Cliquez sur Démarrer la révision. Pour chaque question, le réviseur voit la question et la réponse de l’agent.

   2. Sur le côté gauche, passez en revue la question et la réponse. Vous pouvez cliquer sur Afficher les pensées pour voir comment l’agent pense à la question.

   3. Sur le côté droit, sous Attentes, passez en revue les lignes directrices existantes et ajoutez-en davantage à mesure que vous le voyez.

      1. Pour ajouter une directive, cliquez sur + Ajouter une entrée.
      2. Entrez la directive dans la zone de texte qui s’affiche.
      3. Cliquez sur Enregistrer.

   4. Lorsque vous avez terminé de passer en revue une question, cliquez sur Suivant non consulté > en haut à droite pour passer à la suivante.

   5. Lorsque vous avez terminé de passer en revue toutes les questions, quittez simplement l’application de révision.

      

5. Une fois vos réviseurs terminés avec leurs sessions d’étiquetage, revenez à l’onglet Améliorer la qualité de votre agent.

6. Cliquez sur Fusionner pour fusionner les commentaires des experts vers votre jeu de données étiqueté. La table des questions sur le côté droit sera mise à jour avec les commentaires fusionnés.

   

7. Testez à nouveau l’agent dans AI Playground pour voir ses performances améliorées. Si nécessaire, démarrez une autre session d’étiquetage pour collecter plus de données étiquetées.

(Facultatif) Importer et exporter des données de session d’étiquetage

Pour importer de nouvelles questions et commentaires directement à partir d’une table de catalogue Unity :

1. Cliquez sur Importer.

2. Dans le champ Source , sélectionnez la table Catalogue Unity contenant les données étiquetées.

   La table doit avoir le schéma suivant :

   • eval_id: string
   • request: string
   • guidelines: array
     • items: string
   • metadata: string
   • tags: string

3. Cliquez sur Importer.

De nouvelles questions et instructions sont fusionnées dans la table de données étiquetée à droite.

Pour exporter des données de commentaires à partir de la session d’étiquetage en tant que table de catalogue Unity :

1. Cliquez sur Exporter.
2. Dans le champ Schéma , sélectionnez l’emplacement du schéma du catalogue Unity dans lequel enregistrer les données.
3. Dans le champ Nom de la table, entrez un nom pour la table.
4. Cliquez sur Exporter.

Une nouvelle table est créée avec les données de commentaires de la session d’étiquetage.

Gérer les autorisations

Par défaut, seuls les auteurs de l’agent Bricks et les administrateurs de l’espace de travail disposent d’autorisations pour l’agent. Pour permettre à d’autres utilisateurs de modifier ou d’interroger votre agent, vous devez leur accorder explicitement l’autorisation.

Pour gérer les autorisations sur votre agent :

1. Ouvrez votre agent dans Agent Bricks.
2. En haut, cliquez sur Menu kebab.
3. Cliquez sur Gérer les autorisations.
4. Dans la fenêtre Paramètres d’autorisation , sélectionnez l’utilisateur, le groupe ou le principal du service.
5. Sélectionnez l’autorisation d’accorder :
   • Peut gérer : permet de gérer les briques de l’agent, notamment la définition des autorisations, la modification de la configuration de l’agent et l’amélioration de sa qualité.
   • Peut exécuter des requêtes : permet d'exécuter des requêtes sur le point de terminaison Agent Bricks dans AI Playground et via l’API. Les utilisateurs disposant uniquement de cette autorisation ne peuvent pas afficher ou modifier l’agent dans Agent Bricks.
6. Cliquez sur Ajouter.
7. Cliquez sur Enregistrer.

Interroger le point de terminaison de l’agent

Dans la page de l’agent, cliquez sur Consultez l’état de l’agent en haut à droite pour obtenir votre point de terminaison d’agent déployé et voir les détails du point de terminaison.

Il existe plusieurs façons d’interroger le point de terminaison de l’Assistant Connaissances créé. Utilisez les exemples de code fournis dans AI Playground comme point de départ :

1. Sous l’onglet Build , cliquez sur Ouvrir dans le terrain de jeu.
2. Dans Playground, cliquez sur Obtenir le code.
3. Choisissez la façon dont vous souhaitez utiliser le point de terminaison :
   • Sélectionnez l’API Curl pour obtenir un exemple de code pour interroger le point de terminaison à l’aide de curl.
   • Sélectionnez l’API Python pour un exemple de code pour interagir avec le point de terminaison à l’aide de Python.

Évaluer votre assistant de connaissances

Ce notebook montre comment évaluer un Assistant de Connaissance Databricks à l’aide de jeux de données d’évaluation sélectionnés et d’évaluateurs personnalisés.

Notebook

Obtenir un ordinateur portable

Limitations

• Les .doc fichiers ne sont pas pris en charge.
• Les fichiers de plus de 50 Mo sont automatiquement ignorés pendant l’ingestion et ne sont pas inclus dans la base de connaissances.
• Les espaces de travail dont la sécurité et la conformité renforcées sont activés ne sont pas pris en charge.
• Les tables de catalogue Unity ne sont pas prises en charge.
• Seuls les index de recherche vectorielle qui utilisent databricks-gte-large-en comme modèle d’incorporation sont pris en charge.
• Les garde-fous et les limites de débit d’IA doivent être désactivés sur le point de terminaison du databricks-gte-large-en modèle. Consultez Configurer AI Gateway sur des points de terminaison de service de modèle.
• Pour que le suivi fonctionne, vous devez activer la surveillance de production pour MLflow (bêta). Consultez Gérer les préversions d’Azure Databricks.