Ajouter une ressource d’index de recherche vectorielle à une application Databricks

Ajoutez des index de recherche vectorielle en tant que ressources Databricks Apps pour activer la recherche sémantique et la récupération basée sur la similarité dans vos applications. Les index de recherche vectorielle stockent et interrogent des incorporations de vecteurs haute dimension, alimentant les cas d’usage tels que la génération augmentée par récupération (RAG), la recherche sémantique et les systèmes de recommandation.

Exigences relatives aux privilèges

Pour accéder à un index de recherche vectorielle, le principal de service de l’application doit avoir le USE CATALOG privilège sur le catalogue parent, le USE SCHEMA privilège sur le schéma parent et le SELECT privilège sur l’index. Lorsque vous ajoutez la ressource d’index, Azure Databricks accorde automatiquement ces privilèges au principal de service de l’application.

Pour que cet octroi automatique réussisse, l’un des éléments suivants doit être vrai pour chaque privilège :

• Pour USE CATALOG: tous les utilisateurs de compte ont le USE CATALOG privilège sur le catalogue ou vous disposez du MANAGE privilège sur le catalogue.
• Pour USE SCHEMA: tous les utilisateurs de compte ont le USE SCHEMA privilège sur le schéma ou vous disposez du MANAGE privilège sur le schéma.
• Pour SELECT: tous les utilisateurs de compte ont le SELECT privilège sur l’index ou vous disposez du MANAGE privilège sur l’index.

Pour plus d’informations sur l’interrogation d’index de recherche vectorielle avec ces autorisations, consultez Comment interroger un index de recherche vectorielle.

Consultez Privilèges Unity Catalog et objets sécurisables.

Ajouter une ressource d’index de recherche vectorielle

Avant d’ajouter un index de recherche vectorielle en tant que ressource, passez en revue les prérequis des ressources d’application.

1. Lorsque vous créez ou modifiez une application, accédez à l’étape Configurer .
2. Dans la section Ressources de l’application , cliquez sur + Ajouter une ressource.
3. Sélectionnez l’index de recherche vectorielle comme type de ressource.
4. Choisissez un index de recherche vectorielle dans les index disponibles dans votre espace de travail. L’index doit déjà exister dans le catalogue Unity.
5. Sélectionnez le niveau d’autorisation de votre application :
   • Peut sélectionner : Octroie à l’application l’autorisation d’interroger l’index de recherche vectorielle pour les recherches de similarité. Correspond au SELECT privilège.
6. (Facultatif) Spécifiez une clé de ressource personnalisée, c’est-à-dire la façon dont vous référencez l’index dans la configuration de votre application. La clé par défaut est vector-search-index.

Variables d’environnement

Lorsque vous déployez une application avec une ressource d’index de recherche vectorielle, Azure Databricks expose le nom complet de trois niveaux par le biais de variables d’environnement que vous pouvez référencer à l’aide du valueFrom champ.

Exemple de configuration :

env:
  - name: VECTOR_SEARCH_INDEX
    valueFrom: vector-search-index # Use your custom resource key if different

Utilisation de l’index dans votre application :

import os
from databricks.sdk import WorkspaceClient

# Access the vector search index name
index_name = os.getenv("VECTOR_SEARCH_INDEX")

# Initialize workspace client
w = WorkspaceClient()

# Query the vector search index
results = w.vector_search_indexes.query_index(
    index_name=index_name,
    query_text="What is machine learning?",
    num_results=10
)

# Process results
for result in results.manifest.columns:
    print(f"Result: {result}")

Pour plus d’informations, consultez Utiliser des variables d’environnement pour accéder aux ressources.

Supprimer une ressource d’index de recherche vectorielle

Lorsque vous supprimez une ressource d’index de recherche vectorielle d’une application, le principal de service de l’application perd l’accès à l’index. L’index lui-même reste inchangé et continue d’être disponible pour d’autres utilisateurs et applications disposant d’autorisations appropriées.

Meilleures pratiques

Tenez compte des éléments suivants lorsque vous travaillez avec les ressources d’index de recherche vectorielle :

• Vérifiez que le principal de service de l’application a accès aux sources de données sous-jacentes si l’index fait référence à d’autres tables.
• Surveillez les performances des requêtes et ajustez la configuration d’index ou incorporez des modèles si les temps de réponse se dégradent.
• Envisagez les planifications d’actualisation d’index pour que les incorporations restent synchronisées avec les données sources.
• Utilisez les métriques de similarité appropriées (cosinus, euclide, produit par points) en fonction de votre modèle d’incorporation.