Partager via

Modération de la sécurité du contenu avec les API Windows AI

Les API Windows AI, telles que Phi Silicon et Imaging, utilisent la modération du contenu pour classifier et filtrer le contenu potentiellement dangereux des invites utilisateur ou dans les réponses retournées par les modèles génératifs. Par défaut, ces API filtrent le contenu classé comme potentiellement dangereux, mais les niveaux de sensibilité peuvent être configurés.

Pour plus d’informations sur l’API, consultez la référence de l’API pour la modération de la sécurité du contenu.

Prérequis

Suivez les étapes décrites dans Prise en main de la création d’une application avec des API Windows AI.

Ajuster la modération de la sécurité du contenu

Vous pouvez ajuster la modération du contenu de l'invite de saisie pour le modèle génératif ainsi que la sortie générée par l'IA. La modération du contenu de l’API Windows AI est conçue et implémentée de la même façon que celle fournie par Azure AI Content Safety.

Catégories de préjudice

Les catégories de préjudice prises en charge par les API Windows AI s’alignent sur celles définies par Azure AI Content Safety. Les catégories de préjudices incluent la haine et l’équité, la violence sexuelle, la violence et l’auto-préjudice (plusieurs catégories peuvent être affectées au même contenu).

Catégorie Descriptif Nom de l’API
Haine Contenu qui attaque ou utilise une langue discriminatoire avec référence à une personne ou un groupe d’identités en fonction de certains attributs différents de ces groupes. HateContentSeverity
Sexuel Contenu lié aux organes anatomiques et aux organes génitaux, relations romantiques et actes sexuels, actes décrits en termes érotiques ou affectueux, y compris ceux décrits comme une agression ou un acte violent sexuel forcé contre la volonté d’un. SexualContentSeverity
Violence Contenu lié aux actions physiques destinées à blesser, blesser, endommager ou tuer quelqu’un ou quelque chose ; décrit les armes, les armes à feu et les entités connexes. ViolentContentSeverity
Mal à soi Contenu lié aux actions physiques destinées à blesser, endommager le corps de quelqu'un ou se tuer. SelfHarmContentSeverity

Niveaux de gravité

Par défaut, tous les appels aux API Windows AI génératives utilisent la modération du contenu, mais les niveaux de gravité peuvent être ajustés.

  • high: non disponible. Le contenu classé comme niveau de gravité 3+ (risque élevé de préjudice potentiel) est actuellement bloqué pour être retourné par le modèle d’IA générative.

  • medium: le niveau de gravité par défaut est défini sur medium. Le contenu classé comme niveau de gravité 0 - 3 est retourné.

  • low: réduit davantage le risque de retourner du contenu potentiellement dangereux. Seul le contenu classé comme niveau de gravité 0 - 1 est retourné.

Pour en savoir plus sur les niveaux de gravité, consultez catégories d’atteintes à la sécurité du contenu Azure AI.

Exemple de code de modération du contenu texte

Pour configurer les filtres de gravité de modération du contenu de texte, vous devez transmettre le struct ContentFilterOptions en tant que paramètre à l’API utilisée pour la génération de réponse (par exemple, l’API Phi Silicon).

L’exemple de code suivant illustre l’ajout de filtres de gravité de modération du contenu texte à Microsoft Windows Generative AI LanguageModel :

LanguageModelOptions options = new LanguageModelOptions();
ContentFilterOptions filterOptions = new ContentFilterOptions();

// prompt
filterOptions.PromptMaxAllowedSeverityLevel.Violent = SeverityLevel.Minimum;
filterOptions.PromptMaxAllowedSeverityLevel.Hate = SeverityLevel.Low;
filterOptions.PromptMaxAllowedSeverityLevel.SelfHarm = SeverityLevel.Medium;
filterOptions.PromptMaxAllowedSeverityLevel.Sexual = SeverityLevel.High;

//response
filterOptions.ResponseMaxAllowedSeverityLevel.Violent = SeverityLevel.Medium;

//image
filterOptions.ImageMaxAllowedSeverityLevel.AdultContentLevel = SeverityLevel.Medium;
filterOptions.ImageMaxAllowedSeverityLevel.RacyContentLevel = SeverityLevel.Medium;

options.ContentFilterOptions = filterOptions;

var result = await languageModel.GenerateResponseAsync(prompt, options);

Console.WriteLine(result.Text);

Voir aussi

  • Last updated on