Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Importante
Esse recurso está atualmente em visualização pública. Essa versão prévia é fornecida sem um contrato de nível de serviço e não é recomendada para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos.
Para obter mais informações, consulte Termos de Uso Complementares de Versões Prévias do Microsoft Azure.
Este artigo descreve repositórios de vetores no Azure Machine Learning que você pode usar para executar RAG (geração aumentada de recuperação). Um repositório de vetores contém inserções, que são representações numéricas de conceitos (dados) convertidos em sequências numéricas. As inserções permitem que os LLMs (grandes modelos de linguagem) entendam as relações entre conceitos. Você pode criar repositórios de vetores para conectar seus dados com LLMs como GPT-4 e recuperar dados com eficiência.
O Microsoft Azure Machine Learning oferece suporte a dois armazenamentos de vetores que contêm seus dados suplementares usados em um fluxo de trabalho RAG:
| Repositório de vetor | Descrição | Recursos e uso |
|---|---|---|
| Faiss | Biblioteca de código aberto | - Usa um armazenamento local baseado em arquivos - Incorre em custos mínimos – Dá suporte a dados somente de vetor – Dá suporte ao desenvolvimento e teste |
| Pesquisa de IA do Azure | Recurso de PaaS do Azure | – Armazena dados de texto em índices de pesquisa - Hospeda um grande número de índices com um único serviço – Dá suporte aos requisitos de negócios de nível empresarial - Fornece recuperação de informação híbrida |
As seções a seguir exploram as considerações para trabalhar com esses repositórios de vetores.
Biblioteca Faiss
O Faiss é uma biblioteca de código aberto que fornece um repositório local baseado em arquivo. O índice de vetores é armazenado na conta de armazenamento do Azure do seu Workspace do Azure Machine Learning. Para trabalhar com o Faiss, baixe a biblioteca e use-a como um componente da sua solução. Como o índice é armazenado localmente, os custos são mínimos.
Você pode usar a biblioteca Faiss como repositório de vetores para executar as seguintes ações:
Armazenar dados de vetor localmente sem custos para criar um índice (somente os custos de armazenamento se aplicam)
Criar e consultar um índice na memória
Compartilhar cópias para uso individual e configurar a hospedagem do índice para um aplicativo
Dimensionar com computação subjacente ao carregar o índice
Pesquisa de IA do Azure
O Azure AI Search é um recurso dedicado de PaaS do Azure que você cria em uma assinatura do Azure. O recurso dá suporte à recuperação de informações sobre seus dados vetoriais e textuais armazenados em índices de pesquisa. Um fluxo de prompt pode criar, preencher e consultar seus dados de vetor armazenados no Azure AI Search. Um único serviço de pesquisa pode hospedar muitos índices, que podem ser consultados e usados em um padrão RAG.
Aqui estão os principais pontos sobre como usar o Azure AI Search para seu repositório de vetores:
Dá suporte aos requisitos de negócios de nível empresarial para escala, segurança e disponibilidade.
Fornece recuperação de informações híbridas. Os dados vetoriais podem coexistir com dados não vetoriais, o que significa que você pode usar qualquer um dos recursos da Pesquisa de IA do Azure para indexação e consultas, incluindo a pesquisa híbrida e o ranking semântico.
O suporte ao vetor está em versão prévia. Atualmente, os vetores devem ser gerados externamente e, em seguida, passados para o Azure AI Search para indexação e codificação de consulta. O prompt flow manipula essas transições para você.
Para usar o Azure AI Search como um repositório de vetores para o Azure Machine Learning, você deve ter um serviço de pesquisa. Depois que o serviço existir e você conceder acesso aos desenvolvedores, poderá escolher o Azure AI Search para usar como índice de vetor em um fluxo de comandos. O fluxo de prompt cria o índice no Azure AI Search, gera vetores de seus dados de origem, envia os vetores para o índice, invoca a pesquisa de similaridade no Azure AI Search e retorna a resposta.