Partager via

Examen humain pour l’automatisation avec une invite

Cet article explique le rôle essentiel de la révision humaine lors de l’exécution d’une invite. Les invites utilisent les modèles d’IA générative optimisés par le service Azure OpenAI. Bien que ces modèles soient très efficaces, ils peuvent parfois générer des informations trompeuses ou fabriquées et sont vulnérables aux attaques par injection d’invites.

Important

  • Les invites du générateur d’invites s’exécutent sur des modèles GPT optimisés par Azure OpenAI Service.
  • Cette fonctionnalité est limitée à certaines régions.
  • Cette fonctionnalité pourrait être soumise à des limites d’utilisation ou à une limitation de capacité.

Attaques par injection d’invites

Une attaque par injection d’invites se produit lorsqu’un tiers tire parti de la confiance inhérente du modèle dans toutes les sources d’entrée. L’attaquant injecte une invite dans le contenu avec lequel un utilisateur légitime demande à la solution d’IA d’interagir, entraînant une modification du résultat de la solution d’IA et, potentiellement, de ses actions.

Prenons un scénario dans lequel un développeur citoyen utilise une invite pour créer des réponses aux plaintes des clients collectées à partir de diverses plateformes telles que les e-mails, les réseaux sociaux ou les forums. Un attaquant peut insérer une invite dans le contenu à partir de l’une de ces sources, induisant le modèle à générer une réponse non intentionnelle. La réponse peut être inappropriée, incorrecte ou nuisible. L’envoi d’informations incorrectes aux clients peut nuire à la réputation de l’entreprise et aux relations avec les clients.

Fabrication dans les modèles IA

La fabrication, également appelée hallucination, est un autre défi auquel sont confrontés les modèles d’IA, y compris les modèles d’IA générative utilisés par les invites. La fabrication se produit lorsque le modèle d’IA génère des informations qui ne sont pas basées sur des entrées fournies ou des données préexistantes, essentiellement eninventant ou en hallucinant des informations.

Par exemple, si le modèle d’IA doit générer un résumé d’un événement historique basé sur un texte donné, il peut inclure des détails ou des événements qui n’étaient pas mentionnés dans le texte source. Par exemple, un flux de cloud crée un synopsis d’une réunion à partir de la transcription de l’enregistrement. Les données d’entrée comprennent des détails sur les participants, les articles discutés et les décisions prises. Cependant, le modèle peut générer un résumé comprenant une action ou une décision qui n’a jamais été discutée lors de la réunion. Cette situation est un cas de fabrication, où le modèle a des informations hallucinées qui n’existent pas dans les données d’entrée.

Pour atténuer le risque de fabrication, il est crucial de mettre en œuvre des pratiques d’IA responsables. Cela inclut des tests rigoureux de l’invite et du flux de cloud, la fourniture au modèle d’autant d’informations de base que possible et enfin la mise en œuvre d’un système robuste de surveillance humaine.

Gérer les risques grâce à des pratiques d’IA responsable

Nous plaidons en faveur de pratiques responsables en matière d’IA comme moyen de réduire les risques. Malgré la mise en place de stratégies pour modérer le contenu produit par le modèle, gérer la propension du modèle à générer des réponses fabriquées ou à succomber à des attaques par injection rapide reste un défi complexe. Nous reconnaissons ces risques et réaffirmons notre engagement en faveur de la surveillance et du contrôle humains.

Conscients de la nécessité d’une automatisation transparente, nous améliorons de manière proactive nos systèmes de sécurité et cherchons à mieux comprendre ces défis.

Notre objectif est d’affiner davantage les modèles d’IA générative utilisés par les invites avec des mesures de sécurité appropriées, en conformité avec nos principes d’IA responsable par conception, en restituant le contrôle aux développeurs dans la mesure du possible.

  • Last updated on