Usar Bricks do Agente: Assistente de Conhecimento para criar um chatbot de alta qualidade nos seus documentos

Esta página descreve como usar o Agent Bricks: Assistente de Conhecimento para criar um chatbot de perguntas e respostas sobre seus documentos e melhorar sua qualidade com base em comentários em linguagem natural de seus especialistas no assunto.

O Agent Bricks fornece uma abordagem simples para criar e otimizar sistemas de agente de IA específicos ao domínio e de alta qualidade para casos comuns de uso de IA.

O que é o Agent Bricks: Assistente de Conhecimento?

Use o Agent Bricks: Assistente de Conhecimento para criar um chatbot com o qual você pode fazer perguntas sobre seus documentos e receber respostas de alta qualidade com citações. O Assistente de Conhecimento usa IA avançada e segue a abordagem de geração aumentada de recuperação (RAG) para fornecer respostas precisas e confiáveis com base no conhecimento especializado do domínio que você fornece.

Agent Bricks: O Assistente de Conhecimento é ideal para dar suporte aos seguintes casos de uso:

• Responda às perguntas do usuário com base na documentação do produto.
• Responda às perguntas dos funcionários relacionadas às políticas de RH.
• Responda a consultas de clientes com base em bases de dados de conhecimento de suporte.

O Assistente de Conhecimento permite que você melhore a qualidade do agente de chat e ajuste seu comportamento com base em comentários de linguagem natural de seus especialistas no assunto. Forneça perguntas sobre uma sessão de rotulagem e envie-a aos especialistas para revisão no Aplicativo de Revisão. Suas respostas fornecem dados rotulados que ajudam a otimizar o desempenho do agente.

Agent Bricks: o Assistente de Conhecimento cria um ponto de extremidade para um agente RAG integrado de ponta a ponta que você pode usar posteriormente para os seus aplicativos. Por exemplo, a imagem abaixo mostra como você pode interagir com o endpoint através de um chat no AI Playground. Faça as perguntas do agente relacionadas aos seus documentos e o agente responderá com citações.

O Agent Bricks usa o armazenamento padrão para armazenar transformações de dados temporárias, pontos de verificação de modelo e metadados internos que alimentam cada agente. Na exclusão do agente, todos os dados associados ao agente são removidos do armazenamento padrão.

Requirements

• Um workspace que inclui o seguinte:
  • Prévia do Agent Bricks do Mosaic AI (Beta) habilitado. Consulte Gerenciar visualizações do Azure Databricks.
  • Monitoramento de produção para MLflow (Beta) habilitado. Isso é necessário para que o rastreamento funcione. Consulte Gerenciar visualizações do Azure Databricks.
  • Computação sem servidor habilitada. Consulte os requisitos de computação sem servidor.
  • Unity Catalog habilitado. Consulte Habilitar um espaço de trabalho no Catálogo do Unity.
  • Acesso ao Mosaic AI Model Serving.
  • Acesso aos modelos fundamentais no Catálogo do Unity por meio do esquema system.ai.
  • Acesso a uma política de orçamento sem servidor com um orçamento diferente de zero.
• Um workspace em uma das regiões com suporte: centralus, eastus, eastus2, northcentralus, southcentralus, westus ou westus2.
• O databricks-gte-large-en ponto de extremidade do modelo de inserção deve ter AI Guardrails e limites de taxa desabilitados. Consulte Configurar o Gateway de IA nos pontos de extremidade do serviço de modelo.
• Você deve ter dados de entrada prontos para uso. Você pode optar por fornecer:
  • Arquivos em um volume ou diretório de volume do Catálogo do Unity. Os tipos de arquivo com suporte são txt, pdf, md, ppt/pptx e docx.
  • Um índice de pesquisa de vetor que usa como seu modelo de inserção databricks-gte-large-en . Confira Criar um índice de busca em vetores.

Criar um agente assistente de conhecimento

Vá para o Agentes no painel de navegação à esquerda da sua área de trabalho. No bloco do Assistente de Conhecimento, clique em Construir.

Etapa 1: Configurar seu agente

Na guia Compilar , configure seu agente e forneça fontes de conhecimento para que ele use para responder a perguntas.

1. No campo Nome , insira um nome para o agente.

2. No campo Descrição , descreva o que seu agente pode fazer.

3. No painel de origem do conhecimento , adicione sua fonte de conhecimento. Você pode optar por fornecer arquivos do Catálogo do Unity ou um índice de pesquisa de vetor.

   Arquivos UC

   Para arquivos UC, há suporte para os seguintes tipos de arquivo: txt, pdf, md, ppt/pptx e docx. Arquivos maiores que 50 MB são ignorados automaticamente durante a ingestão e não serão incluídos na base de dados de conhecimento.

   

   1. Em Tipo, selecione Arquivos UC.
   2. No campo Origem , selecione o volume do Catálogo do Unity ou o diretório de volume que contém seus arquivos.
   3. No campo Nome , insira um nome para sua fonte de conhecimento.
   4. Em Descrever o conteúdo, descreva o conteúdo que a fonte de dados de conhecimento contém para ajudar o agente a entender quando usar essa fonte de dados.

   Índice de busca em vetores

   

   Note

   Os índices de pesquisa de vetor só têm suporte se o índice usar como seu modelo de inserção databricks-gte-large-en . Ao criar seu índice de pesquisa de vetor, verifique se você selecionou esse modelo de inserção. Para obter mais informações, consulte Criar um índice de pesquisa de vetor.

   1. Em Tipo, selecione Índice de Pesquisa de Vetor.
   2. No campo Origem , selecione o índice de pesquisa de vetor que você deseja fornecer ao agente.
   3. Na Coluna URI do Doc, selecione a coluna com um link ou uma referência de onde as informações vieram. O agente usará isso em suas citações.
   4. No campo Coluna de Texto , especifique a coluna que contém o texto bruto que você deseja que o agente recupere.
   5. No campo Nome , insira um nome para sua fonte de conhecimento.
   6. Em Descrever o conteúdo, descreva o conteúdo que a fonte de dados de conhecimento contém para ajudar o agente a entender quando usar essa fonte de dados.

4. (Opcional) Se você quiser adicionar mais fontes de conhecimento, clique em Adicionar fonte de conhecimento. Você pode fornecer até 10 fontes de conhecimento.

5. (Opcional) No campo Instruções, especifique as diretrizes de como o agente deve responder.

   

6. Clique em Criar Agente.

Pode levar até algumas horas para criar seu agente e sincronizar as fontes de conhecimento fornecidas. O painel lateral direito será atualizado com links para o agente implantado, o experimento e as fontes de conhecimento sincronizadas.

Etapa 2: Testar seu agente

Depois que seu agente terminar de construir, teste-o conversando com ele. O agente deve responder com citações para perguntas relacionadas às suas fontes de conhecimento.

1. Na seção Testar seu agente, comece a conversar com seu agente.

2. (Opcional) Você também pode clicar em Abrir no Playground para conversar com ele no AI Playground. Se você tiver recursos assistenciais de IA habilitados, poderá habilitar o Juiz de IA e a geração de perguntas sintéticas para ajudá-lo a avaliar seu agente.

3. Insira uma pergunta para o agente.

4. Avalie sua resposta:

   1. Clique em Exibir pensamentos para ver como seu agente abordou a resposta à pergunta.
   2. Clique em Exibir fontes para ver quais arquivos o agente está citando. Isso abre o painel lateral com uma lista de fontes para você examinar.
   3. Clique em Exibir rastreamento para ver o rastreamento completo. Você pode adicionar rótulos a rastreamentos na interface do usuário para acompanhar avaliações de qualidade durante o processo de desenvolvimento.

Se você estiver satisfeito com o desempenho do agente, continue usando o agente as-is. Por padrão, os pontos de extremidade do Agent Bricks são dimensionados para zero após 3 dias de inatividade, portanto, você será cobrado apenas pelo tempo de atividade.

Etapa 3: Melhorar a qualidade

Agent Bricks: O Assistente de Conhecimento pode ajustar o comportamento do agente com base nos comentários em linguagem natural. Colete feedback humano por meio de uma sessão de etiquetagem para melhorar a qualidade do agente. A coleta de dados rotulados para seu agente pode melhorar a qualidade. O agente Bricks treinará novamente e otimizará o agente com os novos dados. Para saber mais sobre como coletar comentários, consulte comentários de especialistas em domínio.

Na guia Exemplos , adicione perguntas e inicie uma sessão de rotulagem. Como alternativa, você também pode importar dados rotulados diretamente de uma tabela do Catálogo do Unity.

1. Adicione perguntas a serem incluídas na sessão de rotulagem:

   1. Clique em + Adicionar para adicionar uma pergunta.
   2. No modal Adicionar uma pergunta , insira sua pergunta.
   3. Clique em Adicionar. A pergunta deve aparecer na interface do usuário.
   4. Repita até adicionar todas as perguntas que deseja avaliar.
   5. Para excluir uma pergunta, clique no menu kebab e, em seguida, exclua.

   

2. Depois de terminar de adicionar suas perguntas, envie as perguntas aos especialistas para revisão para ajudá-lo a criar um conjunto de dados rotulado de alta qualidade. À direita, clique em Iniciar sessão de rotulagem.

   Quando a sessão de rotulagem estiver pronta, a interface do usuário será atualizada conforme mostrado abaixo.

   

3. Compartilhe o aplicativo de revisão com especialistas para coletar comentários.

   Para saber mais sobre o Aplicativo de Revisão e sessões de rotulagem, consulte Coletar comentários e expectativas rotulando rastreamentos existentes e criar e gerenciar sessões de rotulagem.

   Note

   Para que os especialistas acessem a sessão de rotulagem, você precisa conceder a eles as seguintes permissões:

   • Permissão CAN QUERY para o ponto de extremidade
   • Permissão para editar o experimento
   • Permissões USE CATALOG, USE SCHEMA e SELECT para o esquema

4. Para rotular os dados por conta própria, clique em Abrir sessão de rotulagem.

   Isso abre o aplicativo de revisão em uma nova guia. Como revisor:

   1. Clique em Iniciar revisão. Para cada pergunta, o revisor verá a pergunta e a resposta do agente.

   2. No lado esquerdo, examine a pergunta e a resposta. Você pode clicar em Exibir pensamentos para ver como o agente está pensando sobre a questão.

   3. No lado direito, em Expectativas, examine as diretrizes existentes e adicione mais conforme você quiser.

      1. Para adicionar uma diretriz, clique em + Adicionar entrada.
      2. Insira a diretriz na caixa de texto exibida.
      3. Clique em Salvar.

   4. Quando terminar de revisar uma pergunta, clique em Próximo não revisado > no canto superior direito para passar para a próxima.

   5. Quando terminar de revisar todas as perguntas, basta sair do aplicativo de revisão.

      

5. Quando os revisores terminarem as sessões de rotulagem, retorne à guia Melhorar Qualidade do agente.

6. Clique em Mesclar para mesclar comentários dos especialistas ao conjunto de dados rotulado. A tabela de perguntas à direita será atualizada com os feedbacks combinados.

   

7. Teste o agente novamente no AI Playground para ver seu desempenho aprimorado. Se necessário, inicie outra sessão de rotulagem para coletar mais dados rotulados.

(Opcional) Importar e exportar dados de sessão de rotulagem

Para importar novas perguntas e comentários diretamente de uma tabela do Catálogo do Unity:

1. Clique em Importar.

2. No campo Origem , selecione a tabela Catálogo do Unity que contém os dados rotulados.

   A tabela deve ter o seguinte esquema:

   • eval_id: string
   • request: string
   • guidelines: array
     • items: string
   • metadata: string
   • tags: string

3. Clique em Importar.

Novas perguntas e diretrizes são mescladas na tabela de dados rotulada à direita.

Para exportar dados de feedback da sessão de rotulagem como uma tabela do Unity Catalog:

1. Clique em Exportar.
2. No campo Esquema , selecione o local do esquema do Catálogo do Unity para o qual salvar os dados.
3. No campo Nome da Tabela , insira um nome para a tabela.
4. Clique em Exportar.

Uma nova tabela é criada com os dados de comentários da sessão de rotulagem.

Gerenciar permissões

Por padrão, somente os autores e administradores do workspace do Agent Bricks têm permissões para o agente. Para permitir que outros usuários editem ou consultem seu agente, você precisa conceder permissão explicitamente a eles.

Para gerenciar permissões em seu agente:

1. Abra seu agente no Agent Bricks.
2. Na parte superior, clique no Menu kebab.
3. Clique em Gerenciar permissões.
4. Na janela Configurações de Permissão , selecione o usuário, o grupo ou a entidade de serviço.
5. Selecione a permissão para conceder:
   • Pode gerenciar: permite o gerenciamento do Agent Bricks, incluindo permissões de configuração, edição da configuração do agente e melhoria de sua qualidade.
   • Pode consultar: permite consultar o ponto de extremidade do Agent Bricks no AI Playground e por meio da API. Os usuários com apenas essa permissão não podem exibir ou editar o agente no Agent Bricks.
6. Clique em Adicionar.
7. Clique em Salvar.

Consultar o endpoint do agente

Na página do agente, clique no Veja o status do agente no canto superior direito para obter o endpoint do agente implantado e ver os detalhes do endpoint.

Há várias maneiras de consultar o endpoint do assistente de conhecimento criado. Use os exemplos de código fornecidos no AI Playground como ponto de partida:

1. Na guia Compilar, clique em Abrir no playground.
2. No Playground, clique em Obter código.
3. Escolha como você deseja usar o ponto de extremidade:
   • Selecione a API Curl para obter um exemplo de código para consultar o ponto de extremidade usando curl.
   • Selecione API Python para um exemplo de código para interagir com o endpoint usando Python.

Avaliar seu assistente de conhecimento

Este notebook demonstra como avaliar um Assistente de Conhecimento do Databricks usando conjuntos de dados de avaliação e pontuadores personalizados.

Notebook

Obter laptop

Limitations

• .doc arquivos não são suportados.
• Arquivos maiores que 50 MB são ignorados automaticamente durante a ingestão e não são incluídos na base de dados de conhecimento.
• Não há suporte para workspaces com segurança e conformidade avançadas habilitadas.
• Não há suporte para tabelas do Catálogo do Unity.
• Há suporte apenas para índices de pesquisa de vetor que usam databricks-gte-large-en como modelo de inserção.
• Os guardrails de IA e os limites de taxa devem ser desabilitados no ponto de extremidade do databricks-gte-large-en modelo. Consulte Configurar o Gateway de IA nos pontos de extremidade do serviço de modelo.
• Para que o rastreamento funcione, você deve habilitar o monitoramento de produção para MLflow (Beta). Consulte Gerenciar visualizações do Azure Databricks.