Fluxos de dados de referência e modelos de ameaças para avaliações de segurança

A segurança é fundamental para construir sistemas fiáveis de agentes de IA. Este artigo apresenta arquiteturas de referência e abordagens de modelação de ameaças para o ajudar a identificar limites de segurança, avaliar riscos e implementar controlos adequados nas suas soluções para agentes.

Neste artigo, você aprenderá a:

• Mapeie os fluxos de dados dos agentes para identificar pontos de controlo de segurança.
• Aplicar metodologias de modelação de ameaças às arquiteturas de agentes.
• Compreender os limites de confiança em implementações de motores personalizados.

Fluxo de dados de referência do agente

Os fluxos de dados dos agentes comuns começam com os pedidos do utilizador a entrarem no sistema como dados brutos. O orquestrador, seja um modelo de linguagem ou um fluxo lógico de código, adapta os prompts à lógica de resposta apropriada através de processos iterativos de deteção de intenções e correspondência de respostas.

Agentes complexos podem precisar de múltiplas iterações de deteção de intenção e correspondência de respostas quando o contexto inicial não é suficiente para respostas precisas. Por exemplo, o processamento de "resumir os meus emails" requer chamadas de ferramentas para recuperar dados de grounding que mapeiam a identidade do utilizador para contas de email apropriadas.

Cada etapa no fluxo de dados representa um potencial limite de segurança e ponto de controlo onde deve impor requisitos de confiança, rastreabilidade e transparência para manter a integridade do sistema e a confiança do utilizador.

Modelos de ameaça

A modelação de ameaças fornece abordagens para identificar e mitigar riscos de segurança em arquiteturas de agentes. Use ferramentas estabelecidas como a Microsoft Threat Modeling Tool para criar modelos de ameaça personalizados para as implementações específicas dos seus agentes.

Modelo de ameaça do agente do motor personalizado

Os agentes do motor personalizado precisam de modelação abrangente de ameaças para abordar limites de serviço, fluxos de dados e potenciais vetores de ataque em todo o ecossistema dos agentes.

Os modelos de ameaça devem ter em conta a natureza distribuída das arquiteturas de agentes, incluindo interfaces de cliente, serviços de orquestração, modelos de linguagem, integrações de ferramentas e fontes de dados. Cada componente representa potenciais superfícies de ataque que requerem controlos de segurança e monitorização adequados.