Use o Agent Bricks: Knowledge Assistant para criar um chatbot de alta qualidade sobre seus documentos

Esta página descreve como usar o Agent Bricks: Knowledge Assistant para criar um chatbot de perguntas e respostas sobre seus documentos e melhorar sua qualidade com base no feedback em linguagem natural de seus especialistas no assunto.

O Agent Bricks fornece uma abordagem simples para criar e otimizar sistemas de agentes de IA específicos do domínio e de alta qualidade para casos de uso comuns de IA.

O que é Agent Bricks: Knowledge Assistant?

Use o Agent Bricks: Knowledge Assistant para criar um chatbot com o qual você pode fazer perguntas sobre seus documentos e receber respostas de alta qualidade com citações. O Knowledge Assistant usa IA avançada e segue uma abordagem de geração aumentada de recuperação (RAG) para fornecer respostas precisas e confiáveis com base no conhecimento especializado em domínio que você fornece.

Agent Bricks: O Knowledge Assistant é ideal para suportar os seguintes casos de uso:

• Responda às perguntas dos utilizadores com base na documentação do produto.
• Responder a perguntas dos colaboradores relacionadas com as políticas de RH.
• Responda às perguntas dos clientes com base nas bases de conhecimento de suporte.

O Knowledge Assistant permite que você melhore a qualidade do agente de chat e ajuste seu comportamento com base no feedback em linguagem natural de seus especialistas no assunto. Forneça perguntas para uma sessão de rotulagem e envie-as a especialistas para revisão no aplicativo Avaliações. Suas respostas fornecem dados rotulados que ajudam a otimizar o desempenho do agente.

Agent Bricks: o Knowledge Assistant cria um endpoint do agente RAG para aplicações que pode ser utilizado posteriormente nos seus aplicativos. Por exemplo, a imagem abaixo mostra como você pode interagir com o endpoint conversando com ele no AI Playground. Faça perguntas ao agente relacionadas aos seus documentos, e o agente responderá com citações.

O Agent Bricks usa o armazenamento padrão para armazenar transformações de dados temporárias, pontos de verificação de modelo e metadados internos que alimentam cada agente. Na exclusão do agente, todos os dados associados ao agente são removidos do armazenamento padrão.

Requirements

• Um espaço de trabalho que inclui o seguinte:
  • Pré-visualização do Mosaic AI Agent Bricks (Beta) ativada. Consulte Gerenciar visualizações do Azure Databricks.
  • Monitoramento de produção para MLflow (Beta) habilitado. Isso é necessário para que o rastreamento funcione. Consulte Gerenciar visualizações do Azure Databricks.
  • Computação sem servidor habilitada. Consulte Requisitos de computação sem servidor.
  • Catálogo Unity ativado. Consulte Habilitar um espaço de trabalho para o Unity Catalog.
  • Acesso ao Mosaic AI Model Serving.
  • Acesso a modelos de base no Unity Catalog por meio do esquema system.ai.
  • Acesso a uma política de orçamento sem servidor com um orçamento diferente de zero.
• Um espaço de trabalho numa das regiões suportadas: centralus, eastus, eastus2, northcentralus, southcentralus, westus, , ou westus2.
• O endpoint do modelo de embedding deve ter guarda-corpos de IA e limites de velocidade desativados. Consulte Configurar o AI Gateway em pontos de extremidade de disponibilização de modelos.
• Você deve ter os dados de entrada prontos para uso. Pode optar por fornecer:
  • Arquivos num volume ou num diretório de volume do Catálogo Unity. Os tipos de ficheiros suportados são txt, pdf, md, ppt/pptx e docx.
  • Um índice de pesquisa vetorial que usa databricks-gte-large-en como modelo de incorporação. Consulte Criar um índice de pesquisa vetorial.

Criar um agente assistente de conhecimento

Vá para o Agentes no painel de navegação esquerdo do seu espaço de trabalho. A partir do painel Assistente de Conhecimento, clique em Compilar.

Etapa 1: Configurar o agente

No separador Build, configure o seu agente e forneça-lhe fontes de conhecimento para que possa responder a perguntas.

1. No campo Nome , insira um nome para seu agente.

2. No campo Descrição , descreva o que seu agente pode fazer.

3. No painel Fonte de conhecimento , adicione sua fonte de conhecimento. Você pode optar por fornecer arquivos do Catálogo Unity ou um índice de pesquisa vetorial.

   Arquivos UC

   Para ficheiros UC, são suportados os seguintes tipos de ficheiros: txt, pdf, md, ppt/pptx e docx. Os ficheiros com mais de 50 MB são automaticamente ignorados durante a ingestão e não serão incluídos na base de dados de conhecimento.

   

   1. Em Tipo, selecione Arquivos UC.
   2. No campo Origem , selecione o volume do Catálogo Unity ou o diretório de volume que contém seus arquivos.
   3. No campo Nome , insira um nome para sua fonte de conhecimento.
   4. Em Descrever o conteúdo, descreva o conteúdo que a fonte de conhecimento contém para ajudar o agente a entender quando usar essa fonte de dados.

   Índice de pesquisa vetorial

   

   Note

   Os índices de pesquisa vetorial só são suportados se o índice for usado databricks-gte-large-en como modelo de incorporação. Ao criar seu índice de pesquisa vetorial, certifique-se de selecionar esse modelo de incorporação. Para obter mais informações, consulte Criar um índice de pesquisa vetorial.

   1. Em Tipo, selecione Índice de pesquisa vetorial.
   2. No campo Origem , selecione o índice de pesquisa vetorial que deseja fornecer ao agente.
   3. Na coluna URI do documento, selecione a coluna com um link ou referência à origem das informações. O agente usará isso em suas citações.
   4. No campo Coluna de Texto , especifique a coluna que contém o texto bruto que você deseja que o agente recupere.
   5. No campo Nome , insira um nome para sua fonte de conhecimento.
   6. Em Descrever o conteúdo, descreva o conteúdo que a fonte de conhecimento contém para ajudar o agente a entender quando usar essa fonte de dados.

4. (Opcional) Se quiser adicionar mais fontes de conhecimento, clique em Adicionar fonte de conhecimento. Você pode fornecer até 10 fontes de conhecimento.

5. (Opcional) No campo Instruções , especifique diretrizes sobre como o agente deve responder.

   

6. Clique em Criar agente.

Pode levar até algumas horas para criar seu agente e sincronizar as fontes de conhecimento fornecidas. O painel lateral direito será atualizado com links para o agente implantado, experimento e fontes de conhecimento sincronizadas.

Etapa 2: Testar seu agente

Depois de o seu agente terminar de construir, teste-o conversando com ele. O agente deve responder com citações para questões relacionadas com as suas fontes de conhecimento.

1. Em Testar o seu agente, comece a conversar com o seu agente.

2. (Opcional) Também podes clicar em Abrir no Playground para conversar com ele no AI Playground. Se você tiver recursos de assistência de IA habilitados, poderá habilitar o AI Judge e a geração de perguntas sintéticas para ajudá-lo a avaliar seu agente.

3. Insira uma pergunta para o seu agente.

4. Avalie a sua resposta:

   1. Clique em Ver pensamentos para ver como o seu agente abordou a resposta à pergunta.
   2. Clique em Ver fontes para ver que ficheiros o agente está a citar. Isto abre um painel lateral com uma lista de fontes para rever.
   3. Clique em Ver rastreio para ver o rastreio completo. Pode adicionar etiquetas aos rastros na interface do utilizador para acompanhar as avaliações de qualidade durante o processo de desenvolvimento.

Se estiver satisfeito com o desempenho do seu agente, continue a utilizar o agente as-is. Por padrão, os pontos de extremidade do Agent Bricks são dimensionados para zero após 3 dias de inatividade, portanto, você só será cobrado pelo tempo de atividade.

Passo 3: Melhorar a qualidade

Agente Bricks: o Knowledge Assistant pode ajustar o comportamento do agente com base em feedback de linguagem natural. Reúna feedback humano através de uma sessão de etiquetagem para melhorar a qualidade do seu agente. A coleta de dados rotulados para seu agente pode melhorar sua qualidade. O Agent Bricks treinará novamente e otimizará o agente a partir dos novos dados. Para saber mais sobre a recolha de feedback, consulte Feedback de especialistas na área.

Inicie uma sessão de etiquetagem no separador Exemplos e adicione perguntas. Como alternativa, você também pode importar dados rotulados diretamente de uma tabela do Catálogo Unity.

1. Adicione perguntas para incluir na sua sessão de rotulagem:

   1. Clique em + Adicionar para adicionar uma pergunta.
   2. Na modalidade Adicionar uma pergunta , insira sua pergunta.
   3. Clique em Adicionar. A pergunta deve aparecer na interface do usuário.
   4. Repita até adicionar todas as perguntas que deseja avaliar.
   5. Para excluir uma pergunta, clique no menu kebab e, em seguida, clique em Excluir.

   

2. Depois de terminar de adicionar suas perguntas, envie-as a especialistas para revisão para ajudá-lo a criar um conjunto de dados rotulado de alta qualidade. À direita, clique em Iniciar sessão de rotulagem.

   Quando a sessão de rotulagem estiver pronta, a interface do usuário será atualizada conforme mostrado abaixo.

   

3. Partilhe a aplicação de avaliações com especialistas para recolher comentários.

   Para saber mais sobre a App de Revisão e as sessões de rotulagem, consulte Recolher feedback e expectativas rotulando traços existentes e Criar e gerir sessões de rotulagem.

   Note

   Para que os especialistas possam acessar a sessão de rotulagem, você precisa conceder a eles as seguintes permissões:

   • Capacidade de consultar permissão para o endpoint
   • Permissão EDIT para o experimento
   • USE CATALOG, USE SCHEMAe SELECT permissões para o esquema

4. Para rotular os dados por conta própria, clique em Abrir sessão de rotulagem.

   Isso abre o aplicativo de revisão em uma nova guia. Como revisor:

   1. Clique em Iniciar revisão. Para cada pergunta, o revisor verá a pergunta e a resposta do agente.

   2. No lado esquerdo, reveja a pergunta e a resposta. Você pode clicar em Exibir pensamentos para ver como o agente está pensando sobre a pergunta.

   3. No lado direito, em Expectativas, revise todas as diretrizes existentes e adicione mais como achar melhor.

      1. Para adicionar uma diretriz, clique em + Adicionar entrada.
      2. Insira a diretriz na caixa de texto exibida.
      3. Clique em Salvar.

   4. Quando terminar de revisar uma pergunta, clique em Próximo não revisado > no canto superior direito para passar para a próxima.

   5. Quando terminar de analisar todas as perguntas, basta sair do aplicativo de avaliação.

      

5. Quando os seus avaliadores terminarem as sessões de rotulagem, volte ao separador Melhorar a Qualidade do seu agente.

6. Clique em Mesclar para mesclar comentários dos especialistas ao seu conjunto de dados rotulado. A tabela de perguntas do lado direito será atualizada com o feedback mesclado.

   

7. Teste o agente novamente no AI Playground para ver seu desempenho aprimorado. Se necessário, inicie outra sessão de etiquetagem para recolher mais dados etiquetados.

(Opcional) Importar e exportar dados da sessão de rotulagem

Para importar novas perguntas e comentários diretamente de uma tabela do Catálogo Unity:

1. Clique em Importar.

2. No campo Origem , selecione a tabela Catálogo Unity que contém os dados rotulados.

   A tabela deve ter o seguinte esquema:

   • eval_id: string
   • request: string
   • guidelines: array
     • items: string
   • metadata: string
   • tags: string

3. Clique em Importar.

Novas perguntas e orientações são integradas na tabela de dados rotulada à direita.

Para exportar dados de feedback da sessão de rotulagem como uma tabela do Catálogo Unity:

1. Clique em Exportar.
2. No campo Esquema , selecione o local do esquema do Catálogo Unity no qual salvar os dados.
3. No campo Nome da tabela , insira um nome para a tabela.
4. Clique em Exportar.

Uma nova tabela é criada com os dados de feedback da sessão de rotulagem.

Gerenciar permissões

Por padrão, apenas os autores do Agent Bricks e os administradores do espaço de trabalho têm permissões para o agente. Para permitir que outros usuários editem ou consultem seu agente, você precisa conceder explicitamente a eles permissão.

Para gerenciar permissões em seu agente:

1. Abra o seu agente no Agent Bricks.
2. Na parte superior, clique no
3. Clique em Gerenciar permissões.
4. Na janela Configurações de Permissão , selecione o usuário, grupo ou entidade de serviço.
5. Selecione a permissão para conceder:
   • Pode gerir: Permite gerir os Agent Bricks, incluindo a configuração de permissões, editar a configuração do agente e a melhoria da sua qualidade.
   • Can Query: Permite consultar o endpoint Agent Bricks no AI Playground e através da API. Os usuários com apenas essa permissão não podem visualizar ou editar o agente no Agent Bricks.
6. Clique em Adicionar.
7. Clique em Salvar.

Consultar o ponto de extremidade do agente

Na página do agente, clique Consulte o estado do Agente no canto superior direito para obter o endpoint do seu agente implementado e ver os detalhes do endpoint.

Há várias maneiras de consultar o ponto de extremidade do assistente de conhecimento criado. Use os exemplos de código fornecidos no AI Playground como ponto de partida:

1. No separador Build, clique em Abrir no playground.
2. No Playground, clique em Obter código.
3. Escolha como deseja usar o ponto de extremidade:
   • Selecione Curl API para obter um exemplo de código para consultar o ponto de extremidade usando curl.
   • Selecione Python API para um exemplo de código para interagir com o endpoint usando Python.

Avalie o seu assistente de conhecimento

Este bloco de anotações demonstra como avaliar um Databricks Knowledge Assistant usando conjuntos de dados de avaliação com curadoria e pontuadores personalizados.

Computador portátil

Obter bloco de notas

Limitations

• Não há suporte para .doc arquivos.
• Os ficheiros com mais de 50 MB são automaticamente ignorados durante a ingestão e não são incluídos na base de dados de conhecimento.
• Não há suporte para espaços de trabalho com Segurança Reforçada e Conformidade habilitadas.
• As tabelas do Catálogo Unity não são suportadas.
• Somente índices de pesquisa vetorial que usam databricks-gte-large-en como modelo de incorporação são suportados.
• Limitações de IA e limitações de velocidade devem ser desativadas no endpoint databricks-gte-large-en do modelo. Consulte Configurar o AI Gateway em pontos de extremidade de disponibilização de modelos.
• Para que o rastreamento funcione, você deve habilitar o monitoramento de produção para MLflow (Beta). Consulte Gerenciar visualizações do Azure Databricks.