Fazer curadoria de um espaço do Genie eficaz

O objetivo de fazer curadoria de um espaço do Genie é criar um ambiente em que os usuários empresariais possam fazer perguntas em linguagem natural e receber respostas precisas e consistentes com base em seus dados. Os espaços do Genie usam modelos avançados que geram consultas sofisticadas e entendem conhecimentos gerais sobre o mundo.

A maioria das questões de negócios são específicas do domínio, portanto, a função de um curador de espaço é preencher a lacuna entre esse conhecimento mundial geral e a linguagem especializada usada em um domínio específico ou por uma determinada empresa. Os curadores usam metadados e instruções para ajudar o Genie a interpretar e responder com precisão às perguntas dos usuários empresariais. Este artigo descreve as práticas recomendadas e os princípios para orientar você no desenvolvimento de um espaço bem-sucedido.

Práticas recomendadas para definir um novo espaço

Tenha esses princípios orientadores em mente ao criar seu espaço do Genie:

• Forneça conjuntos de dados concisos e focados: resolva ambiguidades de coluna e pré-unificar ou desnormalizar tabelas usando exibições ou exibições de métrica. Conjuntos de dados simplificados melhoram a capacidade do Genie de responder perguntas de dados com precisão.
• Priorizar expressões SQL e exemplo de SQL em relação às instruções de texto: use expressões SQL para definir semântica de negócios, como métricas e filtros. Use o SQL de exemplo para ensinar o Genie a lidar com prompts ambíguos comuns. Reserve instruções de texto para diretrizes gerais que não se ajustem a definições estruturadas.
• Escrever instruções de texto claras e específicas: evite instruções vagas. Por exemplo, em vez de "Fazer perguntas de esclarecimento quando perguntados sobre vendas", escreva "Quando os usuários perguntarem sobre as métricas de vendas sem especificar o nome do produto ou o canal de vendas, pergunte: Para prosseguir com a análise de vendas, especifique o nome do produto e o canal de vendas".
• Evite instruções conflitantes: verifique a consistência em todos os tipos de instrução. Por exemplo, se as instruções de texto especificam o arredondamento de decimais para duas casas decimais, as consultas SQL de exemplo também devem arredondar para duas casas decimais.

As seções a seguir fornecem recomendações detalhadas para construir espaços e resolver desafios relacionados à precisão.

Comece pequeno

A curadoria de um espaço do Genie é um processo iterativo. Ao criar um espaço, comece com o menor escopo possível, com instruções mínimas e um conjunto limitado de perguntas a serem respondidas. Depois, você pode adicionar mais elementos à medida que avança com base nos comentários e no monitoramento. Essa abordagem ajuda a simplificar a criação e a manutenção de seu espaço e permite que você faça uma curadoria eficaz em resposta às necessidades reais do usuário.

Use as seguintes diretrizes para ajudar a criar um pequeno espaço do Genie:

• Mantenha-se focado: inclua apenas as tabelas necessárias para responder às perguntas com as quais deseja que o espaço lide. Busque ter cinco tabelas ou menos. Quanto mais focada sua seleção, melhor. Mantenha seu espaço focado em uma quantidade reduzida de dados; portanto, limite o número de colunas nas tabelas incluídas.
• Trabalhar dentro do limite de 25 tabelas: os espaços do Genie dão suporte a até 25 tabelas ou exibições. Se o tópico de dados exigir mais de 25 tabelas, pré-unir tabelas relacionadas em exibições ou exibições de métrica antes de adicioná-las ao seu espaço. As exibições de métrica são particularmente eficazes para espaços do Genie porque predefinim métricas, dimensões e agregações. Essa abordagem ajuda você a permanecer dentro do limite, simplifica seu modelo de dados e pode melhorar a precisão de resposta do Genie. Consulte Gerenciar objetos de dados para obter detalhes sobre como adicionar objetos de dados ao seu espaço.
• Planeje iterar: comece com uma configuração mínima para seu espaço, concentrando-se em tabelas essenciais e instruções básicas. Adicione orientações e exemplos mais detalhados à medida que refina o espaço ao longo do tempo, em vez de buscar a perfeição inicialmente.
• Crie com base em tabelas bem anotadas: o Genie usa os nomes e as descrições das colunas do Catálogo do Unity para gerar respostas. Descrições e nomes de colunas claros ajudam a produzir respostas de alta qualidade. As descrições das colunas devem oferecer informações contextuais precisas. Evite detalhes ambíguos ou desnecessários. Inspecione as descrições geradas por IA para obter precisão e clareza e use-as somente se elas se alinharem ao que você fornecerá manualmente.

Peça a um especialista do domínio que defina o espaço

Um criador de espaços eficaz precisa entender os dados e os insights que podem ser obtidos dele. Analistas de dados que são proficientes no SQL geralmente têm o conhecimento e as habilidades necessárias para organizar o espaço.

Defina a finalidade do seu espaço

Identificar o público e a finalidade específicos do espaço ajuda você a decidir quais dados, instruções e perguntas de teste usar. Um espaço deve responder a perguntas para um tópico e público específicos, não a perguntas gerais sobre diversos domínios. Você pode simplificar seus conjuntos de dados pré-juntando tabelas e removendo colunas desnecessárias antes de adicionar dados a um espaço. À medida que você adiciona dados ao seu espaço, mantenha-os firmemente focados na finalidade definida do espaço. Oculte todas as colunas que possam ser confusas ou não importantes. Consulte Ocultar ou mostrar colunas relevantes.

Adicionar metadados e sinônimos

Você pode adicionar sinônimos de coluna e descrições personalizadas aos dados em um espaço do Genie. Esses metadados têm como escopo o espaço do Genie e não substituem os metadados armazenados no Catálogo do Unity. Descrições de coluna de qualidade e sinônimos ajudam o Genie a entender melhor a coluna, escolhê-la para perguntas relevantes e escrever SQL mais preciso. Consulte Editar metadados de coluna.

Usar amostragem de dados do Genie

A amostragem de dados melhora a precisão do Genie ao extrair valores de conjuntos de dados no espaço, ajudando-o a corresponder melhor os prompts do usuário às colunas e valores corretos. O Genie amostra automaticamente valores de tabelas à medida que você cria o espaço. Você pode gerenciar quais colunas têm dados fazem parte da amostra. Consulte Gerenciar objetos de dados e criar um repositório de conhecimento para espaços Genie mais confiáveis.

Fornecer exemplos e instruções focados

Os espaços Genie têm melhor desempenho com um conjunto limitado e focado de instruções. O Databricks recomenda aproveitar exemplos de consultas SQL para fornecer instruções em seu espaço. Consultas SQL de exemplo permitem que o Genie associe os prompts do usuário a consultas SQL verificadas e aprenda a partir de exemplos para responder perguntas relacionadas. Consulte Adicionar consultas e funções SQL de exemplo.

Para o contexto que deve ser aplicado globalmente no espaço do Genie, um pequeno conjunto bem organizado de instruções de texto sem formatação também pode ajudar a manter a relevância e melhorar a qualidade da resposta. Muitas instruções podem reduzir a eficácia, especialmente em conversas mais longas, porque o Genie pode ter dificuldades para priorizar as diretrizes mais importantes. Para obter detalhes, consulte Fornecer instruções.

Escolha o tipo de instrução correto

Use as seguintes diretrizes para decidir entre expressões SQL e consultas SQL de exemplo:

• Use expressões SQL para termos de negócios comuns: ao definir métricas, filtros ou dimensões usados com frequência que representam conceitos de negócios padrão, use expressões SQL no repositório de conhecimento. As expressões SQL são definições eficientes e reutilizáveis que ajudam o Genie a entender sua lógica de negócios. Os exemplos incluem margem bruta, vendas recentes e taxa de conversão. Consulte Definir expressões SQL.
• Use consultas SQL de exemplo para perguntas complexas: ao abordar perguntas difíceis de interpretar, de várias partes ou complexas, forneça consultas SQL de exemplo completas. Estes exemplos mostram ao Genie como lidar com padrões de consulta intrincados e lógica de várias etapas. Por exemplo, você pode criar consultas SQL para prompts como "detalhar o desempenho da minha equipe" ou "Para clientes que ingressaram recentemente, quais produtos estão fazendo o melhor?". Consulte Adicionar consultas e funções SQL de exemplo.

Solicitar que o Genie faça perguntas de esclarecimento

Para solicitar que o Genie faça perguntas de esclarecimento em determinados cenários, seja explícito sobre quando pedir esclarecimentos e como acompanhar. Use instruções claras e específicas que definem as condições de gatilho e o comportamento de esclarecimento esperado.

Por exemplo, adicione o seguinte tipo de instrução ao seu espaço:

Quando os usuários perguntam sobre a divisão de desempenho de vendas, mas não incluem intervalo de tempo, canal de vendas ou quais KPIs em seu prompt, você deve fazer uma pergunta de esclarecimento primeiro para coletar as informações necessárias. Por exemplo: "Especifique o intervalo de tempo e o canal de vendas que você está procurando".

Estruturar suas instruções de esclarecimento com estes componentes:

• Condição de gatilho: definir quais tópicos ou cenários exigem esclarecimentos (por exemplo, "Quando os usuários perguntam sobre o tópico X...")
• Detalhes ausentes: especifique quais informações devem estar presentes (por exemplo, "... mas não inclua detalhes de Y...")
• Ação necessária: declarar que o Genie deve pedir esclarecimentos (por exemplo, "... você deve fazer uma pergunta de esclarecimento primeiro...")
• Exemplo de esclarecimento: forneça a pergunta específica que o Genie deve fazer (por exemplo, "Por favor, especifique...")

Adicione instruções de pergunta de esclarecimento no final de suas instruções gerais para ajudar o Genie a priorizar esse comportamento ao responder a perguntas ambíguas.

Teste e ajuste

Você deve ser o primeiro usuário do seu espaço. Depois de criar um espaço, comece a fazer perguntas. Examine cuidadosamente o SQL gerado em resposta às suas perguntas. Se o Genie interpretar mal os dados, as perguntas ou o jargão de negócios, você poderá intervir editando o SQL gerado ou fornecendo outras instruções específicas. Continue testando e editando até obter respostas confiáveis.

Depois de examinar uma pergunta, você pode adicioná-la como uma pergunta de referência que pode ser usada para testar e pontuar sistematicamente seu espaço a fim de avaliar a precisão geral. Você pode usar variações e frases de pergunta diferentes para testar as respostas do Genie. Confira Usar parâmetros de comparação em um espaço do Genie.

Para obter ideias sobre como corrigir respostas errôneas, consulte Solucionar problemas de espaços do Genie.

Conduzir testes de usuário

Depois de verificar a qualidade da resposta por meio de testes, recrute um usuário de negócios para experimentar o espaço do Genie. Use as seguintes diretrizes para proporcionar um percurso do usuário fluido e coletar feedback para melhorias contínuas:

• Defina as expectativas de que seu trabalho é ajudar a refinar o espaço.
• Peça para que eles concentrem seus testes no tópico específico e nas perguntas que o espaço foi projetado para responder.
• Se receberem uma resposta incorreta, incentive os usuários a adicionar instruções e esclarecimentos adicionais no chat a fim de refinar a resposta. Quando uma resposta correta for fornecida, eles deverão votar a favor na consulta final a fim de minimizar erros semelhantes em futuras interações.
• Peça aos usuários para votar a favor ou contra as respostas usando o mecanismo de feedback interno.
• Convide os usuários para compartilhar comentários adicionais e perguntas não resolvidas diretamente com os criadores do espaço. Os criadores e os editores podem usar comentários para refinar instruções, exemplos e ativos confiáveis.

Considere fornecer materiais de treinamento ou um documento escrito com diretrizes para testar o espaço e fornecer comentários. Direcione os usuários empresariais a usar um espaço do Genie para explorar dados de negócios para ajudá-los a começar a trabalhar com um novo espaço do Genie.

À medida que os usuários empresariais testam o espaço, os usuários com pelo menos permissões CAN MANAGE podem ver as perguntas feitas na guia Monitoramento . Continue adicionando contexto para ajudar o Genie a interpretar corretamente as perguntas e os dados para fornecer respostas precisas. Consulte Monitorar o espaço para saber mais sobre como monitorar espaços do Genie. Você também pode usar logs de auditoria para monitorar o feedback do espaço do Genie e revisar solicitações. Consulte Monitorar o uso de IA/BI com logs de auditoria e alertas.

Para solucionar problemas comuns com espaços do Genie, consulte Solucionar problemas de espaços do Genie.