Compreender a observabilidade

  • 2 minutos

Há muitas maneiras de medir a qualidade de resposta da IA generativa. Em geral, você pode pensar em três dimensões para avaliar e monitorar a IA generativa. Estes são, entre outros:

  • Avaliadores de desempenho e qualidade: avaliam a precisão, fundamentação e relevância do conteúdo gerado.
  • Avaliadores de riscos e segurança: avaliam os riscos potenciais associados ao conteúdo gerado por IA para proteção contra riscos de conteúdo. Isso inclui avaliar a predisposição de um sistema de IA para gerar conteúdo prejudicial ou inadequado.
  • Avaliadores personalizados: métricas específicas do setor para atender a necessidades e objetivos específicos.

O Microsoft Foundry suporta funcionalidades de observabilidade que melhoram o desempenho e a fiabilidade das respostas de IA generativa. Os avaliadores são ferramentas especializadas no Microsoft Foundry que medem a qualidade, segurança e fiabilidade das respostas de IA.

Alguns avaliadores incluem:

  • Fundamentação: mede o quão consistente é a resposta em relação ao contexto recuperado.
  • Relevância: mede a relevância da resposta em relação à consulta.
  • Fluência: mede a qualidade e legibilidade da linguagem natural.
  • Coerência: mede a consistência lógica e o fluxo de respostas.
  • Segurança de conteúdos: avaliação abrangente de várias preocupações de segurança.

A seguir, vamos experimentar as capacidades de IA generativa no Microsoft Foundry.