Présentation
Les applications IA génératives sont basées sur des modèles de langage. Le processus de développement commence généralement par une exploration et une comparaison des modèles de base disponibles pour trouver celui qui convient le mieux aux besoins particuliers de votre application. Après avoir sélectionné un modèle approprié, vous le déployez sur un point de terminaison où il peut être consommé par une application cliente ou un agent IA.
Les modèles de base, tels que la famille GPT de modèles, sont des modèles de langage de pointe conçus pour comprendre, générer et interagir avec le langage naturel. Voici quelques cas d’usage courants pour les modèles :
- Conversion de parole en texte et conversion de texte par synthèse vocale. Par exemple, générer des sous-titres pour des vidéos.
- Traduction automatique. Par exemple, traduire du texte de l’anglais vers le japonais.
- Classification de texte. Par exemple, étiqueter un e-mail comme courrier indésirable ou non.
- Extraction d’une entité. Par exemple, extraire des mots clés ou des noms à partir d’un document.
- Résumé de texte. Par exemple, générer un bref résumé d’un paragraphe à partir d’un document de plusieurs pages.
- Réponse aux questions. Par exemple, fournir des réponses à des questions telles que « Quelle est la capitale de la France ? ».
- raisonnement. Par exemple, résolvez un problème mathématique.
Dans ce module, vous vous concentrez sur la découverte des modèles de fondation utilisés pour les réponses aux questions. Les modèle de fondation que vous explorez peuvent être utilisés pour des applications de conversation dans lesquelles vous utilisez un modèle de langage pour générer une réponse à la question d’un utilisateur.
Remarque
La dernière percée dans les modèles d’IA générative est due au développement de l’architecture transformer . Les transformeurs ont été introduits dans l’article Attention is all you need de Vaswani, et al. en 2017. L’architecture Transformateur a fourni deux innovations à NLP ayant entraîné l’apparition des modèles de fondation :
- Au lieu du traitement de mots de manière séquentielle, les Transformateurs traitent chaque mot individuellement et en parallèle en utilisant l’attention.
- Après la similarité sémantique entre des mots, les Transformateurs utilisent le codage positionnel pour inclure les informations sur la position d’un mot dans une phrase.