Partager via

Concepts : IA générative sur Azure Databricks

Une application GenAI est une application qui utilise des modèles IA génératifs (tels que des modèles de langage volumineux, des modèles de génération d’images et des modèles de synthèse vocale) pour créer de nouvelles sorties, automatiser des tâches complexes ou engager des interactions intelligentes en fonction de l’entrée utilisateur.

Une application GenAI peut être alimentée par des appels simples aux machines virtuelles llms ou à d’autres modèles GenAI, ou par des agents IA complexes. En savoir plus sur les niveaux de complexité.

Les agents, les outils, l’évaluation, les modèles et d’autres aspects des applications GenAI peuvent être personnalisés avec vos données propriétaires. Cette personnalisation pilotée par les données conduit à l’intelligence des données, vous permettant de dépasser l’intelligence générale offerte par les modèles IA préprogrammés.

Applications d'intelligence artificielle générative

Une application GenAI accessible par l’utilisateur peut prendre de nombreuses formes, telles que :

La réussite avec les applications GenAI nécessite souvent deux ensembles de compétences : le développement d’applications et l’évaluation de l’IA. Le développement d’applications GenAI est similaire au développement d’applications non-IA, nécessitant des compétences logicielles qui dépendent du type d’application. Toutefois, l’évaluation pour les applications GenAI nécessite des outils et techniques spécialisés pour gérer la complexité et les réponses ouvertes de GenAI.

Pour en savoir plus sur la création d’applications GenAI spécifiques au secteur sur Azure Databricks, consultez :

Évaluation GenAI

Les modèles, agents et applications GenAI ont souvent un comportement complexe et ouvert. Les utilisateurs peuvent être autorisés à entrer n’importe quelle requête. Un agent IA peut être autorisé à collecter du texte, des images et bien plus encore pendant l’exécution. La sortie peut être un texte arbitraire, des images ou d’autres médias, et il peut y avoir de nombreuses réponses « bonnes ».

Ces complications rendent difficile l’évaluation de GenAI. L’évaluation appropriée nécessite les éléments suivants :

  • Automatisation à l’aide de l’IA pour évaluer l’IA
  • Commentaires humains d’experts et d’utilisateurs pour recueillir la vérité sur le terrain et étalonner l’évaluation automatisée
  • Immersion dans les agents complexes pour comprendre et déboguer le comportement

Les outils MLflow gérés par Azure Databricks et associés fournissent les bases de l’évaluation GenAI :

Agents

Un agent ou un système d’agent est un système piloté par l’IA qui peut percevoir, décider et agir de manière autonome dans un environnement pour atteindre des objectifs. Contrairement à un modèle GenAI autonome qui produit uniquement une sortie lorsqu’il est sollicité, un système d’agent possède un degré d'autonomie. Les agents IA modernes utilisent un modèle GenAI comme « cerveau » d’un système qui :

  1. Reçoit des demandes d’utilisateur ou des messages d’un autre agent.
  2. Raisons de la procédure à suivre : quelles données récupérer, quelle logique appliquer, quels outils appeler ou si vous souhaitez demander plus d’entrée de l’utilisateur.
  3. Exécute un plan et peut appeler plusieurs outils ou délègue à des sous-agents.
  4. Retourne une réponse ou invite l’utilisateur à obtenir des précisions supplémentaires.

En pontant l’intelligence générale (les fonctionnalités préentraînées du modèle GenAI) et l’intelligence des données (connaissances spécialisées et API spécifiques à votre entreprise), les systèmes d’agent permettent des cas d’usage d’entreprise à fort impact, tels que des flux de service client avancés, des bots d’analyse enrichis de données et l’orchestration multi-agent pour des tâches opérationnelles complexes.

Il existe un continuum entre les modèles GenAI simples et les agents complexes. Pour plus d’informations, consultez les modèles de conception du système d’agent.

Azure Databricks fournit une gamme d’options pour la création d’agents, allant d'un guidage complet à une personnalisation totale.

  • Agent Bricks fournit des constructeurs d’agents guidés pour les applications clés telles que les assistants de connaissances et l’extraction d’informations.
  • AI Playground fournit une interface utilisateur pour le prototypage d’agents appelant des outils, à partir duquel vous pouvez exporter du code d’agent généré.
  • Agent Framework vous permet de générer et de déployer des agents à l’aide de bibliothèques de création d’agents tierces ou de code personnalisé.

Outils

Les agents IA peuvent appeler des outils pour collecter des informations ou effectuer des actions. Les outils sont des fonctions à interaction unique qu’un LLM peut appeler pour accomplir une tâche bien définie. Le modèle IA génère généralement des paramètres pour chaque appel d’outil, et l’outil fournit une interaction de sortie d’entrée simple.

Les catégories d’outils courantes sont les suivantes :

  • outils qui récupèrent ou analysent des données
    • Récupération sémantique : interrogez un index vectoriel pour localiser le texte pertinent ou d’autres données non structurées.
    • Récupération structurée : exécutez des requêtes SQL ou utilisez des API pour récupérer des informations structurées.
    • Outil de recherche web : recherche sur Internet ou sur un corpus web interne.
    • Modèles ML classiques : appelez des modèles Machine Learning pour effectuer une classification, une régression ou d’autres prédictions.
    • Modèles GenAI : générez des sorties spécialisées telles que du code ou des images.
  • Outils qui modifient l’état d’un système externe
    • Appel d’API : appeler des points de terminaison CRM, des services internes ou d’autres intégrations tierces.
    • Intégration de l'email ou de l'application de messagerie : publiez un message ou envoyez une notification.
  • Outils qui exécutent une logique ou effectuent une tâche spécifique
    • Exécution du code : exécutez le code généré par l’utilisateur ou généré par LLM dans un bac à sable.

Les outils peuvent être intégrés à la logique agentique ou accessibles à l’aide d’interfaces standardisées telles que MCP.

Outils et agents :

  • Les outils effectuent une opération unique et bien définie. Les agents peuvent effectuer des tâches plus ouvertes.
  • Les outils sont généralement sans état et ne conservent pas le contexte continu au-delà de chaque appel. Les agents conservent l’état lors de leur résolution itérative des tâches.

Gestion et sécurité des erreurs de l’outil :

Étant donné que chaque appel d’outil est une opération externe telle qu’un appel d’API, le système doit gérer correctement les défaillances. Les délais d’attente, les réponses incorrectes ou les entrées non valides ne doivent pas entraîner l’échec complet de l’agent lui-même. En production, limitez le nombre d’appels d’outils autorisés, ayez une réponse alternative si les appels d’outils échouent et appliquez des garde-fous pour vous assurer que le système d’agent ne tente pas à plusieurs reprises la même action défaillante.

En savoir plus sur les outils IA dans Databricks :

Modèles GenAI et LLMs

Les modèles de langage volumineux sont des modèles IA formés sur des jeux de données de texte massifs qui peuvent comprendre, générer et raisonner sur le langage humain. Les LLMs alimentent les applications telles que les chatbots, les assistants de code et les outils de génération de contenu en prédisant et en produisant du texte pertinent en fonction des instructions d'entrée.

Plus généralement, les modèles GenAI ou les modèles de base sont formés sur du texte massif, de l’image, de la vidéo, de l’audio ou d’autres données afin d’en savoir plus sur les modes au-delà du texte. Les modèles multimodaux apprennent à connecter le langage humain avec des images, de l'audio et d'autres médias. Les LLM sont un type de modèle de GenAI ou de modèle fondation, bien que ces termes soient souvent utilisés de manière libre et interchangeable.

Les modèles GenAI fournissent l’intelligence derrière les agents et applications GenAI. Les applications simples sont souvent créées à l’aide d’un modèle unique personnalisé avec l’ingénierie rapide.

Découvrez comment utiliser des modèles GenAI sur Azure Databricks :

Demander à l’ingénierie

Les modèles GenAI prennent généralement des instructions ou des commandes pour gérer l'entrée utilisateur. Les commandes peuvent être personnalisées en détail avec des étapes détaillées, des connaissances d'experts, des données et d'autres informations.

Azure Databricks offre des moyens flexibles d’effectuer une ingénierie rapide. Par exemple:

  • Agent Bricks automatise l’ingénierie rapide sous le capot, en fonction de vos données et commentaires.

Réglage des modèles

Les modèles GenAI peuvent également être personnalisés par le biais d’un réglage précis, qui personnalise un modèle pour un domaine ou une application spécifique à l’aide de vos données personnalisées.

Azure Databricks offre des moyens flexibles d’ajuster les modèles. Par exemple:

Qu’est-ce qu’une plateforme GenAI ?

GenAI nécessite une plateforme de données + IA combinée. Pour les développeurs et les administrateurs, les composants clés de GenAI doivent être connectés et régis dans une plateforme simple et unifiée.

Les composants clés sont les suivants :

  • Ressources IA telles que des modèles, des agents et des applications
  • Ressources de données telles que des fichiers, des tables, des pipelines de traitement, des index vectoriels et des magasins de fonctionnalités
  • Déploiements IA tels que des points de terminaison pour les modèles et les agents
  • Outils permettant de créer et de déployer des ressources d’INTELLIGENCE artificielle et de données

Les principales fonctionnalités de gouvernance sont les suivantes :

Consultez également les capabilités de l’IA Mosaic pour GenAI et l’architecture Databricks.

Learn more

  • Last updated on