Optimisation de l’itinéraire sur les points de terminaison de service

Cet article décrit comment activer l’optimisation des routes sur vos points de terminaison de mise en service de modèles ou de mise en service de fonctionnalités. Les points de terminaison de service optimisés pour le routage réduisent considérablement la latence de surcharge et permettre des améliorations substantielles du débit pris en charge par votre point de terminaison.

Les points de terminaison optimisés pour l’itinéraire sont interrogés différemment des points de terminaison non optimisés pour l’itinéraire, notamment à l’aide d’une URL et d’une authentification différentes à l’aide de jetons OAuth. Pour plus d’informations, consultez les points de terminaison de service optimisés pour l’itinéraire des requêtes .

Qu’est-ce que l’optimisation des itinéraires ?

Lorsque vous activez l’optimisation de l’itinéraire sur un point de terminaison, Databricks Model Service améliore le chemin d’accès réseau pour les demandes d’inférence, ce qui entraîne une communication plus rapide et directe entre votre client et le modèle. Ce routage optimisé déverrouille des requêtes plus élevées par seconde (QPS) par rapport aux points de terminaison non optimisés et fournit des latences plus stables et inférieures pour vos applications.

Spécifications

• L’optimisation des itinéraires sur les points de terminaison de service de modèle a les mêmes exigences que les points de terminaison de service de modèle non optimisés pour l’itinéraire.
• L’optimisation de l’itinéraire sur les points de terminaison de service de fonctionnalités présente les mêmes exigences que les points de terminaison de service de fonctionnalités non optimisés pour l’itinéraire.

Activer l’optimisation du routage sur un point de terminaison de service de modèles

Interface utilisateur de mise en service

Vous pouvez activer l’optimisation de l’itinéraire lorsque vous créez un point de fourniture du modèle à l’aide de l’interface utilisateur Serving. Vous ne pouvez activer l’optimisation de l’itinéraire que lors de la création du point de terminaison, vous ne pouvez pas mettre à jour les points de terminaison existants pour qu’ils soient optimisés.

1. Dans la barre latérale, cliquez sur Service pour afficher l’interface utilisateur de service.
2. Cliquez sur Créer un point de terminaison de service.
3. Dans la section Optimisation de l’itinéraire, sélectionnez Activer l’optimisation de l’itinéraire.
4. Une fois votre point de terminaison créé, Databricks vous envoie une notification sur ce qui est nécessaire pour interroger un point de terminaison optimisé pour l’itinéraire.

API REST

Pour configurer votre point de terminaison de service pour optimiser l’itinéraire à l’aide de l’API REST, spécifiez le route_optimized paramètre lors de la création du point de terminaison de service du modèle. Vous ne pouvez spécifier ce paramètre que lors de la création du point de terminaison, vous ne pouvez pas mettre à jour les points de terminaison existants pour qu’ils soient optimisés.

POST /api/2.0/serving-endpoints

{
  "name": "my-endpoint",
  "config":
  {
    "served_entities":
    [{
      "entity_name": "ads1",
      "entity_version": "1",
      "workload_type": "CPU",
      "workload_size": "Small",
      "scale_to_zero_enabled": true,
    }],
  },
  "route_optimized": true
}

Python

Si vous utilisez Python, vous pouvez utiliser le notebook suivant pour créer un point de terminaison de mise en service optimisé pour le routage.

Créer un point de terminaison de mise en service optimisé pour le routage à l’aide du notebook Python

Prendre un bloc-notes

Kit de développement logiciel (SDK) Databricks

Pour configurer votre point de terminaison de service pour l’optimisation de l’itinéraire à l’aide du Kit de développement logiciel (SDK) Databricks, spécifiez le paramètre lors de la route_optimized création du point de terminaison de service du modèle. Vous ne pouvez spécifier ce paramètre que lors de la création du point de terminaison, vous ne pouvez pas mettre à jour les points de terminaison existants pour qu’ils soient optimisés.

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import EndpointCoreConfigInput, ServedEntityInput

workspace = WorkspaceClient()

workspace.serving_endpoints.create(
  name="my-serving-endpoint",
  config = EndpointCoreConfigInput(
    served_entities=[
    ServedEntityInput(
        entity_name="main.default.my-served-entity",
        scale_to_zero_enabled=True,
        workload_size="Small"
      )
    ]
  ),
  route_optimized=True
)

Activer l’optimisation du routage sur un point de terminaison de mise en service de fonctionnalités

Pour utiliser l’optimisation du routage pour la mise en service des fonctionnalités et fonctions, spécifiez le nom complet de la spécification de fonctionnalité dans le champ entity_name pour traiter les demandes de création de point de terminaison. Le entity_version n’est pas nécessaire pour FeatureSpecs.

POST /api/2.0/serving-endpoints

{
  "name": "my-endpoint",
  "config":
  {
    "served_entities":
    [
      {
        "entity_name": "catalog_name.schema_name.feature_spec_name",
        "workload_type": "CPU",
        "workload_size": "Small",
        "scale_to_zero_enabled": true
      }
    ]
  },
  "route_optimized": true
}

Limites

• L’optimisation de l’itinéraire est disponible uniquement pour les points de terminaison de mise en service de modèles personnalisés et les points de terminaison de mise en service de fonctionnalités. Les points de terminaison qui utilisent des API Foundation Model ou des modèles externes ne sont pas pris en charge.
• Les jetons OAuth internes Databricks sont la seule authentification prise en charge pour l’optimisation du routage. Les jetons d’accès personnels ne sont pas pris en charge.

Ressources supplémentaires

• Interroger des points de terminaison de service optimisés pour l’itinéraire
• Optimiser les points de terminaison de service de modèle pour la production