Optimisation des itinéraires sur les Endpoint de service

Cet article décrit comment activer l'optimisation des itinéraires sur vos endpoints de mise en service de modèle. Les endpoints de service optimisés pour l’acheminement réduisent considérablement la latence de surdébit et permettent d’améliorer substantiellement le throughput pris en charge par votre endpoint.

Les Endpoint optimisés pour l'itinéraire sont interrogés différemment des Endpoints non optimisés pour l’itinéraire, y compris en utilisant une URL différente et une authentification avec des jetons OAuth. Consultez Interrogation des Endpoint de diffusion optimisés par l'itinéraire pour plus de détails.

Qu'est-ce que l'optimisation des itinéraires ?

Lorsque vous activez l'optimisation des itinéraires sur un Endpoint, Databricks Model Serving améliore le chemin réseau pour les requêtes d'inférence, ce qui entraîne une communication plus rapide et plus directe entre votre client et le modèle. Ce routage optimisé permet d'atteindre un nombre plus élevé de queries par seconde (QPS) par rapport aux Endpoints non optimisés et offre des latences plus stables et plus faibles pour vos applications.

astuce

L'optimisation des itinéraires est l'une des nombreuses stratégies d'optimisation des workloads de production. Pour un guide complet des techniques d'optimisation, consultez Optimiser les Endpoint de Model Serving pour la production.

Exigences

• L'optimisation d'itinéraire sur les **endpoints de déploiement de modèles** a les mêmes exigences que les endpoints de déploiement de modèles non optimisés pour l'itinéraire.

Activer l'optimisation des itinéraires sur un endpoint de service de modèle

Serving UI

Vous pouvez activer l'optimisation de l'itinéraire lorsque vous créez un endpoint de Model Serving à l'aide de l'interface utilisateur de Serving . Vous ne pouvez activer l'optimisation de l'itinéraire que lors de la création d'un endpoint ; vous ne pouvez pas mettre à jour les endpoints existants pour qu'ils soient optimisés pour l'itinéraire.

1. Dans la barre latérale, cliquez sur Service pour afficher l'interface de Service.
2. Cliquez sur Créer un Endpoint de service .
3. Dans la section Optimisation des itinéraires , sélectionnez Activer l'optimisation des itinéraires.
4. Une fois votre endpoint créé, Databricks vous envoie une notification sur ce qui est nécessaire pour query un endpoint optimisé pour les routes.

REST API

Pour configurer votre Endpoint de diffusion pour l'optimisation des itinéraires à l'aide de l'API REST, spécifiez le parameter route_optimized lors de la création de l'Endpoint de diffusion de modèles. Vous ne pouvez spécifier ce parameter que lors de la création d'un Endpoint ; vous ne pouvez pas mettre à jour des Endpoints existants pour qu'ils soient optimisés pour l'itinéraire.

Bash

POST /api/2.0/serving-endpoints

{
  "name": "my-endpoint",
  "config":
  {
    "served_entities":
    [{
      "entity_name": "ads1",
      "entity_version": "1",
      "workload_type": "CPU",
      "workload_size": "Small",
      "scale_to_zero_enabled": true,
    }],
  },
  "route_optimized": true
}

Python

Si vous utilisez Python, vous pouvez utiliser le notebook suivant pour créer un Endpoint de service optimisé en termes de routage.

Créez un Endpoint de service optimisé pour l'itinéraire à l'aide d'un Notebook Python.

Ouvrir le notebook dans un nouvel ongletOuvrir dans Databricks

Databricks SDK

Pour configurer votre Endpoint de service pour l’optimisation de routage à l’aide du Databricks SDK, spécifiez le paramètre route_optimized lors de la création de l’Endpoint de service de modèle. Vous ne pouvez spécifier ce parameter que lors de la création d'un Endpoint ; vous ne pouvez pas mettre à jour des Endpoints existants pour qu'ils soient optimisés pour l'itinéraire.

Python

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import EndpointCoreConfigInput, ServedEntityInput

workspace = WorkspaceClient()

workspace.serving_endpoints.create(
  name="my-serving-endpoint",
  config = EndpointCoreConfigInput(
    served_entities=[
    ServedEntityInput(
        entity_name="main.default.my-served-entity",
        scale_to_zero_enabled=True,
        workload_size="Small"
      )
    ]
  ),
  route_optimized=True
)

Limitations

• L’optimisation des routes n’est disponible que pour les Endpoint de service de modèle personnalisés. Serving Endpoint that use Foundation Model APIs or external models are not supported.
• Les jetons OAuth internes de Databricks sont la seule authentification prise en charge pour l'optimisation des itinéraires. Les jetons d'accès personnel ne sont pas pris en charge.

Ressources supplémentaires

• Interroger les Endpoint de service optimisés pour l'itinéraire
• Optimiser les Endpoints de Model Serving pour la production