Visão geral da Pesquisa de Conteúdo do Aplicativo

O recurso Pesquisa de Conteúdo de Aplicativo habilitado pelas APIs de IA do Windows permite que os desenvolvedores de aplicativos integrem recursos de pesquisa inteligente em seus aplicativos do Windows usando a API AppContentIndexer . Ao indexar o conteúdo no aplicativo e torná-lo pesquisável por meio de consultas semânticas, os usuários podem recuperar resultados com base não apenas em palavras-chave exatas, mas também em significado semântico. Você pode usar esse índice semântico para aprimorar seus próprios assistentes de IA com conhecimento específico do domínio, criando experiências mais personalizadas e específicas de contexto.

Use esta API para:

• Crie experiências de pesquisa no aplicativo que usam pesquisa semântica e lexical. Os usuários podem pesquisar por meio de significado, além de correspondências exatas de palavra-chave, facilitando a localização de informações relevantes.

• Apoiar a RAG (Geração Aumentada de Recuperação) ao habilitar a recuperação de conhecimento local. Quando emparelhado com um LLM (Modelo de Linguagem Grande), isso permite que você recupere o conteúdo mais relevante da base de dados de conhecimento do aplicativo e gere respostas mais precisas e com reconhecimento de contexto.

Atualmente, a API ApplicationContentIndexer só está disponível no SDK do Windows App versão 2.0 Experimental 2.

O aplicativo galeria de desenvolvimento de IA oferece um exemplo interativo da API AppContentIndexer, permitindo que você experimente o recurso Pesquisa de Conteúdo do Aplicativo. Saiba mais sobre a Galeria de Desenvolvimento de IA, incluindo como instalar na Microsoft Store ou no código-fonte no GitHub.

O que é a API AppContentIndexer?

A API AppContentIndexer permite que os aplicativos tornem seu conteúdo de texto e imagem pesquisável usando a pesquisa baseada em palavra-chave (lexical) e baseada em significado (semântica), sem exigir que os desenvolvedores entendam a complexidade subjacente.

Nos bastidores, ele usa técnicas avançadas, como inserir vetores, bancos de dados de vetor e indexação de texto tradicional, mas esses detalhes são totalmente abstraídos. Os desenvolvedores interagem com uma API simples de alto nível. Quando o conteúdo é indexado, o sistema armazena vetores de inserção (que capturam significado semântico) juntamente com identificadores de conteúdo. Em seguida, as solicitações de pesquisa retornam identificadores com base em correspondências de palavra-chave ou similaridade semântica. Por exemplo, procurar "gatinho" pode retornar texto relacionado sobre gatos ou imagens de gatinhos. Pesquisas semânticas funcionam melhor com frases descritivas, portanto, uma consulta como "gatos sentados em janelas" é mais provável que produza resultados altamente relevantes.

O índice é mantido em disco, portanto, a re indexação não é necessária em cada inicialização de aplicativo.

Pesquisa semântica e léxica

Internamente, ApplicationContentIndexer usa uma combinação de indexação de texto tradicional e pesquisa baseada em vetor moderna alimentada por inserções. Esses detalhes são abstraídos – os desenvolvedores não precisam gerenciar modelos de inserção, armazenamento de vetores ou infraestrutura de recuperação diretamente.

Você pode consultar o índice usando uma cadeia de caracteres sem formatação. A consulta pode retornar:

• Correspondências léxicas – correspondências exatas de texto (incluindo texto encontrado em imagens).
• Correspondências semânticas – conteúdo semelhante em significado, mesmo que as palavras não sejam idênticas.

Por exemplo, uma consulta para "gatinho" pode retornar uma referência a:

• Entradas de texto sobre gatos, mesmo que a palavra "gatinho" não seja explicitamente mencionada.
• Imagens que contêm visualmente gatinhos.
• Conteúdo textual em imagens que contêm "gato" ou palavras com relevância semântica suficiente.

Tipos de conteúdo com suporte

ApplicationContentIndexer dá suporte à adição dos seguintes tipos de conteúdo:

• Texto – conteúdo de texto sem formatação ou estruturado.
• Imagens – incluindo capturas de tela, fotos ou arquivos de imagem que contêm texto ou elementos visuais reconhecíveis.

Identificadores de conteúdo definidos pelo aplicativo

AppContentIndexer dá suporte ao conteúdo gerenciado pelo aplicativo, permitindo que os aplicativos indexem itens usando identificadores de conteúdo definidos pelo aplicativo. As consultas retornam esses identificadores, que o aplicativo usa para recuperar o conteúdo real de seu próprio armazenamento de dados.

As consultas de texto retornam objetos AppManagedTextQueryMatch e as consultas de imagem retornam objetos AppManagedImageQueryMatch , ambos incluem apenas o ContentId, não o conteúdo em si.

Para obter diretrizes sobre como integrar esse recurso ao seu aplicativo e usar a API ApplicationContentIndexer, consulte: Início Rápido: Pesquisa de Conteúdo do Aplicativo

Privacidade e segurança

Índices semânticos e léxicos são gerados em nome do aplicativo e armazenados na pasta de dados do aplicativo local do aplicativo. Como parte da versão de visualização privada, esse recurso destina-se à indexação de conteúdo de aplicativo não confidencial. Para práticas recomendadas de segurança, não use esse recurso para indexar dados do usuário que possam conter informações pessoais, confidenciais ou sensíveis.

Considerações sobre IA responsável

Os recursos de indexação semântica e pesquisa nesta versão prévia não aplicam nenhuma forma de moderação de conteúdo, nem tentam detectar ou atenuar o viés semântico introduzido pelos modelos subjacentes. Os desenvolvedores são responsáveis por avaliar e gerenciar os riscos potenciais ao implementar recursos alimentados por IA.

Recomendamos revisar as Diretrizes de Desenvolvimento Responsável de IA Generativa no Windows para melhores práticas ao criar experiências de IA em seu aplicativo.