Comprendre l’observabilité

Il existe de nombreuses façons de mesurer la qualité de la réponse de l’IA générative. En général, vous pouvez considérer trois dimensions pour l’évaluation et la surveillance de l’IA générative. Voici quelques-uns des éléments suivants :

• Évaluateurs de performances et de qualité : évaluer la précision, la base et la pertinence du contenu généré.
• Évaluateurs de risque et de sécurité : évaluez les risques potentiels associés au contenu généré par l’IA pour vous protéger contre les risques de contenu. Cela implique notamment d’évaluer la prédisposition d’un système d’IA à générer des contenus dangereux ou inappropriés.
• Évaluateurs personnalisés : métriques spécifiques au secteur pour répondre à des besoins et objectifs spécifiques.

Microsoft Foundry prend en charge les fonctionnalités d’observabilité qui améliorent les performances et la fiabilité des réponses d’IA génératives. Les évaluateurs sont des outils spécialisés dans Microsoft Foundry qui mesurent la qualité, la sécurité et la fiabilité des réponses ia.

Certains évaluateurs incluent :

• Ancrage : mesure la cohérence de la réponse par rapport à le contexte récupéré.
• Pertinence : mesure la pertinence de la réponse par rapport à la requête.
• Fluency : mesure la qualité et la lisibilité du langage naturel.
• Cohérence : mesure la cohérence logique et le flux des réponses.
• Sécurité du contenu : évaluation complète des divers problèmes de sécurité.

Ensuite, essayons les fonctionnalités d’IA génératives dans Microsoft Foundry.