Utiliser Agent Bricks: Custom LLM pour créer un agent IA gen pour le texte

Cet article explique comment créer un agent IA dégénératif pour des tâches personnalisées basées sur du texte à l’aide de Briques d’agent : LLM personnalisé.

Agent Bricks fournit une approche simple pour créer et optimiser des systèmes d’agent IA spécifiques au domaine et haute qualité pour les cas d’utilisation courants de l’IA.

Que pouvez-vous faire avec custom LLM ?

Utilisez Les briques de l’agent : LLM personnalisé pour générer des résultats de haute qualité pour toute tâche spécifique au domaine, telle que la synthèse, la classification, la transformation de texte et la génération de contenu.

Agent Bricks: Custom LLM est idéal pour les cas d’utilisation suivants :

• Résumé du problème et de la résolution des appels clients.
• Analyse du sentiment des avis des clients.
• Classification des documents de recherche par sujet.
• Génération de communiqués de presse pour les nouvelles fonctionnalités.

Avec des instructions et exemples de haut niveau, Agent Bricks: Custom LLM optimise les invites au nom des utilisateurs, déduit automatiquement les critères d’évaluation, évalue le système à partir des données fournies et déploie le modèle en tant que point de terminaison prêt pour la production.

Briques de l’agent : Custom LLM tire parti des fonctionnalités d’évaluation automatisées, notamment MLflow et Agent Evaluation, pour permettre une évaluation rapide du compromis de qualité des coûts pour votre tâche d’extraction spécifique. Cette évaluation vous permet de prendre des décisions éclairées sur l’équilibre entre l’exactitude et l’investissement en ressources.

Agent Bricks utilise le stockage par défaut pour stocker des transformations de données temporaires, des points de contrôle de modèle et des métadonnées internes qui alimentent chaque agent. Lors de la suppression de l’agent, toutes les données associées à l’agent sont supprimées du stockage par défaut.

Requirements

• Espace de travail qui inclut les éléments suivants :
  • Mosaic AI Agent Bricks Preview (bêta) activé. Consultez Gérer les préversions d’Azure Databricks.
  • Le calcul serverless est activé. Consultez les exigences en matière de calcul serverless.
  • Catalogue Unity activé. Consultez Activer un espace de travail pour le catalogue Unity.
  • Espace de travail dans l’une des régions prises en charge : centralus, , eastuseastus2, northcentralus, southcentralus. westus, ou westus2.
  • Accès à Mosaic AI Model Serving.
  • Accès aux modèles de base dans le catalogue Unity via le system.ai schéma.
  • Accédez à une stratégie budgétaire serverless avec un budget différent de zéro.
• Possibilité d’utiliser la ai_query fonction SQL.
• Vous devez disposer de données d’entrée prêtes à être utilisées. Vous pouvez choisir de fournir l’une ou l’autre des options suivantes :
  • Une table de catalogue Unity. Le nom de la table ne peut contenir aucun caractère spécial (par exemple -).
    • Si vous souhaitez utiliser des fichiers PDF, convertissez-les en table de catalogue Unity. Consultez Utilisation de fichiers PDF dans Agent Bricks.
  • Au moins 3 exemples d’entrées et de sorties. Si vous choisissez cette option, vous devez spécifier un chemin de destination du schéma du catalogue Unity pour l’agent et disposer des autorisations CREATE REGISTERED MODEL et CREATE TABLE pour ce schéma.
• Si vous souhaitez optimiser votre agent, vous avez besoin d’au moins 100 entrées (soit 100 lignes dans une table de catalogue Unity, soit 100 exemples fournis manuellement).

Créer un agent LLM personnalisé

Accédez à Agents dans le volet de navigation gauche de votre espace de travail. Dans la vignette LLM personnalisée , cliquez sur Générer.

Étape 1 : Configurer votre agent

Sous l’onglet Build , cliquez sur Afficher un exemple > pour développer un exemple d’entrée et de réponse de modèle pour un agent LLM personnalisé.

Dans le volet ci-dessous, configurez votre agent :

1. Sous Décrire votre tâche, entrez une description claire et détaillée de votre tâche de spécialisation, y compris son objectif et le résultat souhaité.

2. Fournissez un jeu de données étiqueté, un jeu de données sans étiquette ou quelques exemples à utiliser pour créer votre agent.

   Si vous souhaitez utiliser des fichiers PDF, convertissez-les d’abord en table de catalogue Unity. Consultez Utilisation de fichiers PDF dans Agent Bricks.

   Les types de données suivants sont pris en charge : string, intet double.

   Jeu de données étiqueté

   Si vous sélectionnez Jeu de données étiqueté :

   

   1. Sous Sélectionner un jeu de données sous forme de table UC, cliquez sur Parcourir pour sélectionner la table dans le catalogue Unity que vous souhaitez utiliser. Le nom de la table ne peut contenir aucun caractère spécial (par exemple -).

      Vous trouverez un exemple :

      main.model_specialization.customer_call_transcripts

   2. Dans le champ Colonne d’entrée , sélectionnez la colonne que vous souhaitez utiliser comme texte d’entrée. Le menu déroulant est automatiquement rempli avec des colonnes de votre table sélectionnée.

   3. Dans la colonne Sortie, sélectionnez la colonne que vous souhaitez fournir comme exemple de sortie pour la transformation attendue. Fournir ces données permet de configurer votre agent pour s’adapter plus précisément à vos besoins spécifiques au domaine.

   Jeu de données sans étiquette

   Si vous sélectionnez Jeu de données sans étiquette :

   1. Sous Sélectionner un jeu de données sous forme de table UC, cliquez sur Parcourir pour sélectionner la table dans le catalogue Unity que vous souhaitez utiliser. Le nom de la table ne peut contenir aucun caractère spécial (par exemple -).

   2. Dans le champ Colonne d’entrée , sélectionnez la colonne que vous souhaitez utiliser comme texte d’entrée. Le menu déroulant est automatiquement rempli avec des colonnes de votre table sélectionnée.

   Quelques exemples

   Si vous sélectionnez quelques exemples :

   1. Fournissez au moins 3 exemples d’entrées et de sorties attendues pour votre tâche de spécialisation. Fournir des exemples de haute qualité permet de configurer votre agent de spécialisation pour mieux comprendre vos besoins.
   2. Pour ajouter d’autres exemples, cliquez sur + Ajouter.
   3. Sous Destination de l’agent, sélectionnez le schéma du catalogue Unity dans lequel vous souhaitez que l’agent Bricks vous aide à créer une table avec des données d’évaluation. Vous devez disposer des autorisations CREATE REGISTERED MODEL et CREATE TABLE pour ce schéma.

3. Nommez votre agent.

4. Cliquez sur Créer un agent.

Étape 2 : générer et améliorer votre assistant

Dans l’onglet Build , passez en revue les recommandations pour améliorer votre agent, passez en revue les sorties d’un exemple de modèle et ajustez vos instructions de tâche et critères d’évaluation.

Dans le volet Recommandation , Databricks fournit des recommandations pour vous aider à optimiser et à évaluer les exemples de réponses comme bons ou incorrects.

1. Dans le volet Recommandation , Databricks fournit des recommandations pour vous aider à optimiser et à évaluer les exemples de réponses comme bons ou incorrects.

   1. Passez en revue les recommandations Databricks pour optimiser les performances de l’agent.
   2. Fournissez des commentaires pour améliorer les réponses. Pour chaque réponse, la réponse est-elle une bonne réponse ? avec Oui ou Non. Si non, fournissez des commentaires facultatifs sur la réponse, puis cliquez sur Enregistrer pour passer à la suivante.
   3. Vous pouvez également choisir d’ignorer la recommandation.

2. Sur la droite, sous Instructions, définissez des instructions claires pour aider votre agent à produire la sortie appropriée. Ils seront également utilisés pour évaluer automatiquement la qualité.

   1. Passez en revue les recommandations suggérées. Les suggestions de recommandations sont déduites automatiquement pour vous aider à optimiser votre agent. Vous pouvez les affiner ou les supprimer.
   2. Des lignes directrices supplémentaires peuvent être proposées par Agent Bricks. Sélectionnez Accepter pour ajouter la nouvelle directive, Rejeter pour le rejeter ou cliquer dans le texte pour modifier la directive en premier.
   3. Pour ajouter vos propres instructions, cliquez sur Ajouter.
   4. Cliquez sur Enregistrer et mettre à jour pour mettre à jour l’agent.

3. (Facultatif) Sur le côté droit, sous Instructions, décrivez votre tâche. Ajoutez toutes les instructions supplémentaires à suivre pour l’agent lors de la génération de ses réponses. Cliquez sur Enregistrer et mettre à jour pour appliquer les instructions.

4. Après avoir mis à jour l’agent, de nouveaux exemples de réponses sont générés. Passez en revue et fournissez des commentaires sur ces réponses.

Étape 3 : Évaluer votre agent

Un rapport de qualité contenant un petit ensemble de résultats d’évaluation est généré automatiquement à partir de vos instructions. Passez en revue ce rapport sous l’onglet Qualité .

Chaque directive acceptée est utilisée comme métrique d’évaluation. Pour chaque requête générée, la réponse est évaluée à l’aide des instructions et en fonction d’une évaluation de réussite/échec. Ces évaluations sont utilisées pour générer les scores d’évaluation affichés en haut. Cliquez sur un résultat d’évaluation pour afficher les détails complets.

Utilisez le rapport qualité pour vous aider à déterminer si l’agent a besoin d’une optimisation supplémentaire.

(Facultatif) Optimiser votre agent

Les briques d’agent peuvent vous aider à optimiser votre agent en termes de coût. Databricks recommande au moins 100 entrées (soit 100 lignes dans votre table De catalogue Unity, soit 100 exemples fournis manuellement) pour optimiser votre agent. Lorsque vous ajoutez d'autres entrées, la base de connaissances dont l'agent peut tirer parti augmente, ce qui améliore la qualité de l'agent et la précision de ses réponses.

Lorsque vous optimisez votre agent, Databricks compare plusieurs stratégies d’optimisation différentes pour générer et déployer un agent optimisé. Ces stratégies incluent le réglage précis de Foundation Model qui utilise Databricks Geos.

Pour optimiser votre agent :

1. Cliquez sur Optimiser.

2. Cliquez sur Démarrer l’optimisation.

   L’optimisation peut prendre quelques heures. L’exécution de modifications apportées à votre agent actif est bloquée lorsque l’optimisation est en cours.

3. Une fois l’optimisation terminée, passez en revue une comparaison de votre agent actif et de l’agent optimisé pour le coût.

4. Après avoir examiné ces résultats, sélectionnez le meilleur modèle sous Déployer le meilleur modèle sur un point de terminaison , puis cliquez sur Déployer.

Étape 4 : Utiliser votre agent

Essayez votre agent dans les flux de travail dans Databricks. Par défaut, les points de terminaison Bricks de l’agent sont mis à l’échelle à zéro après 3 jours d’inactivité. Vous ne serez donc facturé que pour le temps d’activité.

Pour commencer à utiliser votre agent, cliquez sur Utiliser. Vous disposez des options suivantes :

• Cliquez sur Essayer dans SQL pour ouvrir l’éditeur SQL et l’utiliser ai_query pour envoyer des demandes à votre nouvel agent LLM personnalisé.

• Cliquez sur Créer un pipeline pour déployer un pipeline qui s’exécute à intervalles planifiés pour utiliser votre agent sur de nouvelles données. Consultez pipelines déclaratifs Spark Lakeflow pour plus d’informations sur les pipelines.

• Cliquez sur Ouvrir dans Playground pour tester votre agent dans un environnement de conversation avec AI Playground.

Gérer les autorisations

Par défaut, seuls les auteurs de l’agent Bricks et les administrateurs de l’espace de travail disposent d’autorisations pour l’agent. Pour permettre à d’autres utilisateurs de modifier ou d’interroger votre agent, vous devez leur accorder explicitement l’autorisation.

Pour gérer les autorisations sur votre agent :

1. Ouvrez votre agent dans Agent Bricks.
2. En haut, cliquez sur Menu kebab.
3. Cliquez sur Gérer les autorisations.
4. Dans la fenêtre Paramètres d’autorisation , sélectionnez l’utilisateur, le groupe ou le principal du service.
5. Sélectionnez l’autorisation d’accorder :
   • Peut gérer : permet de gérer les briques de l’agent, notamment la définition des autorisations, la modification de la configuration de l’agent et l’amélioration de sa qualité.
   • Peut exécuter des requêtes : permet d'exécuter des requêtes sur le point de terminaison Agent Bricks dans AI Playground et via l’API. Les utilisateurs disposant uniquement de cette autorisation ne peuvent pas afficher ou modifier l’agent dans Agent Bricks.
6. Cliquez sur Ajouter.
7. Cliquez sur Enregistrer.

Interroger le point de terminaison de l’agent

Dans la page de l’agent, cliquez sur Consultez l’état de l’agent en haut à droite pour obtenir votre point de terminaison d’agent déployé et voir les détails du point de terminaison.

Il existe plusieurs façons d’interroger le point de terminaison de l’agent créé. Utilisez les exemples de code fournis dans AI Playground comme point de départ :

1. Dans la page de l’agent, cliquez sur Utiliser.
2. Cliquez sur Ouvrir dans le terrain de jeux.
3. Dans Playground, cliquez sur Obtenir le code.
4. Choisissez la façon dont vous souhaitez utiliser le point de terminaison :
   • Sélectionnez Appliquer sur les données pour créer une requête SQL qui applique l’agent à une colonne de table spécifique.
   • Sélectionnez l’API Curl pour obtenir un exemple de code pour interroger le point de terminaison à l’aide de curl.
   • Sélectionnez l’API Python pour un exemple de code pour interagir avec le point de terminaison à l’aide de Python.

Utiliser des fichiers PDF dans Agent Bricks

Les fichiers PDF ne sont pas encore pris en charge en mode natif dans Agent Bricks : Extraction d’informations et LLM personnalisé. Toutefois, vous pouvez utiliser le flux de travail de l’interface utilisateur de l’agent Brick pour convertir un dossier de fichiers PDF en markdown, puis utiliser la table de catalogue Unity obtenue comme entrée lors de la génération de votre agent. Ce flux de travail utilise ai_parse_document pour la conversion. Suivez ces étapes :

1. Cliquez sur Agents dans le volet de navigation gauche pour ouvrir Agent Bricks dans Databricks.

2. Dans les cas d’utilisation de l’extraction d’informations ou de LLM personnalisés, cliquez sur Utiliser des fichiers PDF.

3. Dans le volet latéral qui s’ouvre, entrez les champs suivants pour créer un flux de travail pour convertir vos fichiers PDF :

   1. Sélectionnez un dossier avec des fichiers PDF ou des images : sélectionnez le dossier catalogue Unity contenant les fichiers PDF que vous souhaitez utiliser.
   2. Sélectionnez la table de destination : sélectionnez le schéma de destination de la table markdown convertie et, si vous le souhaitez, ajustez le nom de la table dans le champ ci-dessous.
   3. Sélectionnez l’entrepôt SQL actif : sélectionnez l’entrepôt SQL pour exécuter le flux de travail.

   

4. Cliquez sur Démarrer l’importation.

5. Vous êtes redirigé vers l’onglet Tous les flux de travail , qui répertorie tous vos flux de travail PDF. Utilisez cet onglet pour surveiller l’état de vos travaux.

   

   Si votre flux de travail échoue, cliquez sur le nom du travail pour l’ouvrir et afficher les messages d’erreur pour vous aider à déboguer.

6. Une fois votre flux de travail terminé, cliquez sur le nom du travail pour ouvrir la table dans l’Explorateur de catalogues pour explorer et comprendre les colonnes.

7. Utilisez la table Catalogue Unity comme données d’entrée dans Agent Bricks lors de la configuration de votre agent.

Limitations

• Databricks recommande au moins 100 entrées (soit 100 lignes dans votre table De catalogue Unity, soit 100 exemples fournis manuellement) pour optimiser votre agent. Lorsque vous ajoutez d'autres entrées, la base de connaissances dont l'agent peut tirer parti augmente, ce qui améliore la qualité de l'agent et la précision de ses réponses.
• Si vous fournissez une table Catalogue Unity, le nom de la table ne peut pas contenir de caractères spéciaux (par -exemple).
• Seuls les types de données suivants sont pris en charge en tant qu’entrées : string, intet double.
• La capacité d’utilisation est actuellement limitée à 100 000 jetons d’entrée et de sortie par minute.
• Les espaces de travail ayant sécurité et conformité renforcées activées ne sont pas pris en charge.
• L’optimisation peut échouer dans les espaces de travail qui ont des stratégies réseau de sortie serverless avec un mode d’accès restreint ou des espaces de travail qui ont activé la prise en charge du pare-feu pour le compte de stockage d’espace de travail.