Entender a observabilidade

Há muitas maneiras de medir a qualidade da resposta da IA gerativa. Em geral, você pode pensar em três dimensões para avaliar e monitorar a IA generativa. Elas incluem:

• Avaliadores de desempenho e qualidade: avalie a precisão, a fundamentação e a relevância do conteúdo gerado.
• Avaliadores de risco e segurança: avalie os riscos potenciais associados ao conteúdo gerado por IA para proteger contra riscos de conteúdo. Isso inclui a avaliação da predisposição de um sistema de IA para gerar conteúdo prejudicial ou inadequado.
• Avaliadores personalizados: métricas específicas do setor para atender a necessidades e metas específicas.

O Microsoft Foundry dá suporte a recursos de observabilidade que melhoram o desempenho e a confiabilidade das respostas de IA generativas. Os avaliadores são ferramentas especializadas no Microsoft Foundry que medem a qualidade, a segurança e a confiabilidade das respostas de IA.

Alguns avaliadores incluem:

• Consistência: mede o quão consistente é a resposta em relação ao contexto fornecido.
• Relevância: mede o quão relevante é a resposta em relação à consulta.
• Fluência: mede a qualidade e a legibilidade da linguagem natural.
• Coerência: mede a consistência lógica e o fluxo de respostas.
• Segurança de conteúdo: avaliação abrangente de várias questões de segurança.

Em seguida, vamos experimentar os recursos de IA generativos no Microsoft Foundry.