Estratégias de IA generativa para consultas matemáticas e de dados

Atualmente, há opiniões variadas sobre a eficácia de ferramentas como o ChatGPT ou outros modelos de linguagem ao tratar consultas matemáticas e de dados. Neste artigo, vamos identificar estratégias e definir expectativas ao criar agentes no Copilot Studio que lidam com consultas matemáticas e de dados.

Definições de consultas matemáticas e de dados neste artigo

O objetivo deste artigo não é avaliar se a IA generativa pode auxiliar no cálculo do perímetro de um retângulo ou do diâmetro de um círculo. Matemática, nesse contexto, refere-se a perguntas típicas de linguagem natural que alguém faria a um agente. Essas perguntas pressupõem que a IA pode agregar e interpretar somas, médias e tendências nas fontes de conhecimento ou tabelas de dados usadas para fundamentar os modelos.

O resultado desejado, neste caso, não é responder uma equação matemática. Em vez disso, é para ajudar o usuário a avaliar ou entender os dados de forma mais eficiente. Quando os usuários buscam análises de dados profundas, como análises preditivas avançadas ou prescritivas, um agente personalizado normalmente não é a ferramenta preferida. No entanto, há vários agentes no Microsoft stack que são mais diretamente focados em análises. Por exemplo, os seguintes agentes complementam o modelo de linguagem com código do aplicativo da Microsoft para esse fim:

• Adicionar o Copilot para usuários do aplicativo em aplicativos baseados em modelo
• Visualizar dados em uma exibição com o serviço do Power BI
• Sales no Microsoft 365 Copilot
• Incorporar um relatório do Power BI com um visual narrativo do Copilot
• Identificar insights com o Copilot no Excel

Agregações de dados em Reconhecimento de Linguagem Natural

Quando fundamentamos um agente em nossas próprias fontes de conhecimento, estamos simplificando a descoberta de informações solicitadas por um usuário em linguagem natural. Lembre-se de que os modelos de linguagem são projetados para prever a próxima palavra de uma sequência, em vez de realizar cálculos matemáticos rigorosos. No entanto, eles ainda podem fornecer insights e explicações úteis. Esses insights são mais rápidos para a descoberta de informações do que navegar pelos resultados da pesquisa de palavras-chave ou rolar manualmente por todos os registros em uma tabela.

Os agentes do Copilot Studio podem escanear fontes de conhecimento em nosso nome. Esses agentes resumem respostas em diversos tópicos, ferramentas e fontes de conhecimento, independentemente de envolverem agregados de dados numéricos ou não. No entanto, ao fundamentarmos os modelos com nossos dados, precisamos contextualizar os dados necessários para que a IA responda. Com base nesse entendimento, sabemos quando devemos fornecer mais contexto ou nós do tópico. Essa compreensão extra é relevante quando termos de nicho ou linguagem altamente técnica são encontrados nas fontes de dados. A seguir, exemplos de consultas de dados que envolvem expressões matemáticas:

Clareza e estrutura do prompt

Modelos de linguagem dependem muito de como a pergunta é formulada. Um prompt bem estruturado que explica claramente o problema matemático, define variáveis e divide a tarefa em etapas leva a respostas mais precisas. Por exemplo, pedir uma resposta direta para um problema aritmético simples provavelmente funciona bem, mas perguntas vagas ou em múltiplas camadas sem contexto claro podem confundir o modelo.

Aqui estão alguns prompts de amostra com base em uma fonte de conhecimento estruturada, como uma tabela do Dataverse. Esta amostra ilustra a adição de uma tabela do Power Apps Dataverse, como mostrado na imagem a seguir.

A tabela do Dataverse foi adicionada como fonte de conhecimento e recebeu uma descrição precisa do conhecimento, junto com sinônimos e definições de glossário para ajudar a IA a interpretar os dados.

Prompts específicos

Esses prompts são específicos e direcionados à informação solicitada.

• "Você pode fornecer todos os detalhes sobre a ordem de alteração da referência PCO-1003, incluindo nome da conta, valor solicitado e motivo do pedido?"
• "Quantas contas enviaram pedidos de alteração em agosto de 2024?"
• "Qual é o número total de ordens de alteração solicitadas até hoje?"
• "Qual cliente enviou o maior impacto de custo em 2024?"

Prompts generalizados

Esses prompts são generalizados e dificilmente agregam consistentemente todos os resultados, provavelmente retornando apenas os três primeiros resultados.

• "Liste nossas contas na ordem de sua respectiva receita."
• "Liste as solicitações de alteração que foram submetidas este ano em agosto, incluindo os valores e o status da alteração."
• "Você pode listar todas as solicitações de ordem de alteração enviadas até agora?"

Dicas e truques

Aqui estão algumas sugestões ao trabalhar com o Copilot Studio que ajudam você a definir expectativas em relação a respostas generativas que dependem de expressões matemáticas.

• Planeje cenários que destaquem as principais tendências, em vez de esperar cálculos sobre milhares de registros. Aumente a conscientização para essa abordagem conversacional que resume, em vez de discriminar.

• Dê preferências a fontes de conhecimento estruturadas (tabulares em vez de não tabulares) para otimizar expressões matemáticas.

• Apoie cenários específicos e entenda as dependências das diferenças. Por exemplo, observe a diferença entre essas duas perguntas:

  • Qual dos nossos clientes enviou mais pedidos de alteração? Conta IDs de solicitações e retorna o cliente com mais solicitações, ignorando outras colunas

  • Qual de nossos clientes tem o maior impacto de custo em solicitações de alteração? Soma a coluna de impacto de custo por cliente e retorna o cliente que enviou o maior valor total em dólares. Só retorna essa informação se encontrar uma coluna apropriada que seja numérica ou baseada em moeda.

• Certifique-se de identificar e definir quaisquer colunas numéricas para os cálculos. Certifique-se de que estejam formatados com o tipo de dado apropriado; tanto no nível da fonte de conhecimento quanto quando usado em qualquer variável do Copilot Studio. Quando possível, inclua uma descrição clara e inclua sinônimos comuns para as colunas relevantes nas tabelas, colunas ou descrições de ferramentas.

  Gorjeta

  Com o reconhecimento de linguagem natural, se os cabeçalhos de tabela forem muito técnicos em seu protocolo de nomenclatura, a IA pode não ser capaz de responder às perguntas centradas no ser humano feitas durante o fluxo de conversa. Adicione descritores com a linguagem típica usada por seus usuários.

• Reconheça que as pessoas só obtêm respostas com base nos dados que têm permissão para ver. Por exemplo, uma tabela do Sales no Dataverse pode expor apenas alguns registros a grupos de negócios específicos, mas não a todos. Portanto, certifique-se de que seu agente não crie expectativas erradas sobre como os dados são resumidos. Por exemplo, uma solicitação de vendas totais em 2024 soma apenas os registros de propriedade ou compartilhados.

• Sempre defina expectativas do consumidor para respostas com base em IA. Use o agente Início da conversa ou a primeira mensagem após os gatilhos do tópico para realçar a finalidade e as restrições de uma ou mais fontes de conhecimento relevantes.

Usar prompts como ferramentas

Os prompts permitem adicionar capacidades de IA generativa do Power Apps aos seus agentes e soluções no Copilot Studio. Esse recurso permite realizar tarefas como classificação, resumo, geração de conteúdo preliminar, transformação de dados e muito mais. Com prompts, você também pode personalizar respostas de IA generativa para usar filtros e agregações específicas de tabelas.