Visão geral da Pesquisa de Conteúdo do Aplicativo

A funcionalidade de Pesquisa de Conteúdo de Aplicações habilitada pelas APIs de IA do Windows permite aos programadores de aplicações integrar capacidades de pesquisa inteligente nas suas aplicações Windows usando a API AppContentIndexer . Ao indexar o conteúdo no aplicativo e torná-lo pesquisável por meio de consultas semânticas, os usuários podem recuperar resultados com base não apenas em palavras-chave exatas, mas também no significado semântico. Você pode usar esse índice semântico para aprimorar seus próprios assistentes de IA com conhecimento específico do domínio, criando experiências mais personalizadas e específicas do contexto.

Use esta API para:

• Crie experiências de pesquisa no aplicativo que usam a pesquisa semântica e lexical. Os usuários podem pesquisar por significado, além de correspondências exatas de palavras-chave, tornando mais fácil encontrar informações relevantes.

• Suporte a geração Retrieval-Augmented (RAG) através da ativação de recuperação de conhecimento local. Quando emparelhado com um LLM (Large Language Model), isso permite que você recupere o conteúdo mais relevante da base de conhecimento do seu aplicativo e gere respostas mais precisas e sensíveis ao contexto.

Atualmente, a API ApplicationContentIndexer só está disponível no Windows App SDK versão 2.0 Experimental 2.

O aplicativo AI Dev Gallery oferece uma amostra interativa da API AppContentIndexer, permitindo que você experimente o recurso App Content Search. Saiba mais sobre a AI Dev Gallery, incluindo como instalar a partir da Microsoft Store ou do código-fonte no GitHub.

O que é a API AppContentIndexer?

A API AppContentIndexer permite que os aplicativos tornem seu conteúdo de texto e imagem pesquisável usando a pesquisa baseada em palavras-chave (lexical) e baseada em significado (semântica), sem exigir que os desenvolvedores entendam a complexidade subjacente.

Nos bastidores, ele usa técnicas avançadas, como incorporação de vetores, bancos de dados vetoriais e indexação de texto tradicional, mas esses detalhes são totalmente abstraídos. Os desenvolvedores interagem com uma API simples e de alto nível. Quando o conteúdo é indexado, o sistema armazena vetores de incorporação (que capturam significado semântico) juntamente com identificadores de conteúdo. Em seguida, as solicitações de pesquisa retornam identificadores com base em correspondências de palavras-chave ou semelhança semântica. Por exemplo, pesquisar por "gatinho" pode devolver texto relacionado sobre gatos ou imagens de gatinhos. Pesquisas semânticas funcionam melhor com frases descritivas, por isso uma consulta como "gatos sentados em parapeitos de janela" é mais provável de produzir resultados altamente relevantes.

O índice é mantido no disco, por isso não é necessário reindexar em cada lançamento da aplicação.

Pesquisa semântica e lexical

Internamente, o ApplicationContentIndexer usa uma combinação de indexação de texto tradicional e pesquisa moderna baseada em vetores alimentada por incorporações. Esses detalhes são abstraídos – os desenvolvedores não precisam gerenciar modelos de incorporação, armazenamento vetorial ou infraestrutura de recuperação diretamente.

Você pode consultar o índice usando uma cadeia de caracteres simples. A consulta pode retornar:

• Correspondências lexicais – correspondências exatas de texto (incluindo texto encontrado em imagens).
• Correspondências semânticas – conteúdo que é semelhante em significado, mesmo que as palavras não sejam idênticas.

Por exemplo, uma consulta para "kitten" pode devolver uma referência a:

• Entradas de texto sobre gatos, mesmo que a palavra "gatinho" não seja explicitamente mencionada.
• Imagens que visualmente contêm gatinhos.
• Conteúdo textual em imagens que contenham 'gato' ou palavras com relevância semântica suficiente.

Tipos de conteúdo suportados

ApplicationContentIndexer suporta a adição dos seguintes tipos de conteúdo:

• Texto – conteúdo de texto simples ou estruturado.
• Imagens – incluindo capturas de tela, fotos ou arquivos de imagem que contenham texto ou elementos visuais reconhecíveis.

Identificadores de conteúdo definidos pelo aplicativo

O AppContentIndexer oferece suporte a conteúdo gerenciado por aplicativo, permitindo que os aplicativos indexem itens usando identificadores de conteúdo definidos pelo aplicativo. As consultas retornam esses identificadores, que o aplicativo usa para recuperar o conteúdo real de seu próprio armazenamento de dados.

As consultas de texto retornam objetos AppManagedTextQueryMatch e as consultas de imagem retornam objetos AppManagedImageQueryMatch — ambos incluem apenas o ContentId, não o conteúdo em si.

Para obter orientação sobre como integrar esse recurso ao seu aplicativo e usar a API ApplicationContentIndexer, consulte: Guia de início rápido: Pesquisa de conteúdo do aplicativo

Privacidade e segurança

Índices semânticos e lexicais são gerados em nome da sua aplicação e armazenados na pasta local de dados da aplicação. Como parte da versão de visualização privada, esse recurso destina-se à indexação de conteúdo de aplicativo não confidencial. Para melhores práticas de segurança, não utilize este recurso para indexar dados do utilizador que possam conter informações pessoais, confidenciais ou sensíveis.

Considerações sobre IA responsável

Os recursos de indexação semântica e pesquisa nesta visualização não aplicam nenhuma forma de moderação de conteúdo, nem tentam detetar ou mitigar o viés semântico introduzido pelos modelos subjacentes. Os desenvolvedores são responsáveis por avaliar e gerenciar os riscos potenciais ao implementar recursos baseados em IA.

Recomendamos revisar as diretrizes de Desenvolvimento de IA Generativa Responsável no Windows para conhecer as práticas recomendadas ao criar experiências de IA em seu aplicativo.