Adicionar um recurso de índice de pesquisa vetorial a uma aplicação Databricks

Adicione índices de pesquisa vetorial como recursos do Databricks Apps para permitir a pesquisa semântica e a recuperação baseada em similaridade nas suas aplicações. Os índices de pesquisa vetorial armazenam e consultam embeddings vetoriais de alta dimensão, impulsionando casos de uso como geração aumentada por recuperação (RAG), pesquisa semântica e sistemas de recomendação.

Requisitos de privilégio

Para aceder a um índice de pesquisa vetorial, o "service principal" da aplicação deve possuir o privilégio USE CATALOG no catálogo pai, o privilégio USE SCHEMA no esquema pai, e o privilégio SELECT no índice. Quando adiciona o recurso de índice, o Azure Databricks concede automaticamente os privilégios ao principal de serviço da aplicação.

Para que essa concessão automática seja bem-sucedida, uma das seguintes opções deve ser verdadeira para cada privilégio:

• Para USE CATALOG: Todos os usuários da conta têm o USE CATALOG privilégio no catálogo ou você tem o MANAGE privilégio no catálogo.
• Para USE SCHEMA: Todos os usuários da conta têm o USE SCHEMA privilégio no esquema ou você tem o MANAGE privilégio no esquema.
• Para SELECT: Ou todos os utilizadores da conta têm o SELECT privilégio no índice, ou tu tens o MANAGE privilégio no índice.

Para mais informações sobre a consulta a índices de pesquisa vetorial com estas permissões, consulte Como consultar um índice de pesquisa vetorial.

Consulte privilégios do Catálogo Unity e objetos securitizáveis.

Adicionar um recurso de índice de pesquisa vetorial

Antes de adicionar um índice de pesquisa vetorial como recurso, reveja os pré-requisitos de recursos da aplicação.

1. Quando criar ou editar uma aplicação, navegue até ao passo Configurar .
2. Na secção de recursos da App , clique em + Adicionar recurso.
3. Selecione o índice de pesquisa vetorial como tipo de recurso.
4. Escolha um índice de pesquisa vetorial entre os índices disponíveis no seu espaço de trabalho. O índice já deve existir no Unity Catalog.
5. Selecione o nível de permissão para seu aplicativo:
   • Pode selecionar: Concede à aplicação permissão para consultar o índice de pesquisa vetorial para pesquisas de similaridade. Corresponde ao privilégio SELECT.
6. (Opcional) Especifique uma chave de recurso personalizada, que é a forma como referenciam o índice na configuração da sua aplicação. A chave padrão é vector-search-index.

Variáveis de ambiente

Quando implementa uma aplicação com um recurso de índice de pesquisa vetorial, o Azure Databricks expõe o nome completo de três níveis através de variáveis de ambiente que pode consultar usando o campo valueFrom.

Exemplo de configuração:

env:
  - name: VECTOR_SEARCH_INDEX
    valueFrom: vector-search-index # Use your custom resource key if different

Usando o índice na sua aplicação:

import os
from databricks.sdk import WorkspaceClient

# Access the vector search index name
index_name = os.getenv("VECTOR_SEARCH_INDEX")

# Initialize workspace client
w = WorkspaceClient()

# Query the vector search index
results = w.vector_search_indexes.query_index(
    index_name=index_name,
    query_text="What is machine learning?",
    num_results=10
)

# Process results
for result in results.manifest.columns:
    print(f"Result: {result}")

Para obter mais informações, consulte Usar variáveis de ambiente para acessar recursos.

Remover um recurso de índice de pesquisa vetorial

Quando remove um recurso de índice de pesquisa vetorial de uma aplicação, o principal de serviço da aplicação perde o acesso ao índice. O índice em si mantém-se inalterado e continua disponível para outros utilizadores e aplicações que tenham permissões apropriadas.

Melhores práticas

Considere o seguinte ao trabalhar com recursos de índice de pesquisa vetorial:

• Certifique-se de que o principal de serviço da aplicação tem acesso às fontes de dados subjacentes caso o índice faça referência a outras tabelas.
• Monitorize o desempenho das consultas e ajuste a configuração do índice ou os modelos de incorporação se os tempos de resposta diminuírem.
• Considere agendas de atualização de índice para manter os embeddings sincronizados com os dados de origem.
• Utilize as métricas de similaridade apropriadas (cosseno, euclidiano, produto escalar) com base no seu modelo de incorporação.