Gérer les budgets pour Unity Gateway

Les budgets vous permettent de surveiller et de contrôler les dépenses mensuelles de Unity Gateway à l’aide de filtres appliqués aux enregistrements de facturation. Vous pouvez définir un budget spécifiquement pour le produit Unity Gateway afin de suivre uniquement les dépenses liées à Unity Gateway, ou inclure Unity Gateway dans un budget à l’échelle du compte.

Les administrateurs de compte et de workspace peuvent consulter un résumé de l'état du budget IA et des dépenses sur la page IA dans le Hub de gouvernance.

remarque

Les budgets Unity Gateway suivent également l'utilisation du produit Genie. Pour définir des budgets spécifiquement pour Genie, consultez Gérer les budgets et les contrôles des coûts pour Genie.

Pour plus de détails sur la création et le monitoring des budgets, voir Créer et monitorer les budgets.

Exigences

• Unity Gateway est activé pour votre compte.

Que couvrent les budgets pour Unity Gateway ?

Les budgets Unity Gateway couvrent les dépenses qui transitent par Unity Gateway :

• utilisation avec paiement par jeton
• ai_query
• Genie. Voir Gérer les budgets et les contrôles des coûts pour Genie.
• (Facultatif) fournisseurs de modèles externes (services de fournisseur de modèles).

Ces budgets ne couvrent pas les éléments suivants :

• Throughput provisionné
• Trafic envoyé directement vers des Endpoint de Model Serving autonomes qui ne transitent pas par Unity Gateway

Fonctionnement des budgets avec Unity Gateway

Lors de la création d'un budget, sélectionnez Unity Gateway comme type de ressource pour suivre uniquement les dépenses liées à Unity Gateway.

Types de threshold : pour les budgets liés à Unity Gateway, vous pouvez configurer :

• Thresholds partagés : Une limite de dépenses collective pour tous les utilisateurs dans le cadre du budget.
• **Thresholds par utilisateur** : Une limite mensuelle qui s'applique à chaque utilisateur individuel.
• Remplacements par utilisateur : accordez à des utilisateurs ou groupes spécifiques une limite de dépenses supérieure au threshold par utilisateur default. Les utilisateurs couverts par un remplacement peuvent dépenser jusqu’au montant du remplacement plutôt que la limite par utilisateur par default. Si un utilisateur appartient à plusieurs groupes de remplacement, le threshold le plus élevé s'applique.

Pour les threshold partagés et par utilisateur, vous pouvez configurer une action ou les deux actions suivantes lorsqu’un threshold est atteint :

• Envoyer une alerte : envoie une notification par e-mail aux adresses configurées. Les utilisateurs conservent l’accès à Unity Gateway.
• Block usage : empêche l’utilisateur d’effectuer d’autres requêtes via Unity Gateway. L’utilisateur voit un message indiquant que son budget est épuisé. L’accès est rétabli une fois le budget resets ou lorsqu’un administrateur augmente le threshold.

Les administrateurs de compte peuvent consulter les dépenses estimées en quasi-temps réel sur la page des détails du budget.

Inclure l’utilisation des modèles externes

info

Bêta

Cette fonctionnalité est en version bêta. Pour l’utiliser, un administrateur de workspace doit activer External Model Spend in Budgets depuis la page Previews . Consultez Gérer les aperçus Databricks.

Lorsque vous créez un budget Unity Gateway, sélectionnez Include external model usage pour inclure les dépenses estimées liées aux requêtes acheminées vers des modèles externes via des services de fournisseur de modèles.

Lorsqu’elle est activée, la dépense liée aux modèles externes est comptabilisée dans les threshold partagés et par utilisateur du budget. Les actions configurées d'alerte et de blocage de l'utilisation s'appliquent lorsque les dépenses combinées atteignent un threshold. Si vous ne sélectionnez pas cette option, le budget exclut les dépenses liées aux modèles externes mais continue d’inclure l’utilisation des modèles hébergés par Databricks.

Databricks estime les dépenses en modèles externes à partir de l’utilisation des jetons et des prix publiés par le fournisseur externe. Ces estimations peuvent différer de la facture finale de votre fournisseur. Pour une analyse historique des dépenses en modèles externes, query la table système system.ai_gateway.external_model_spend. Voir Modèles externes. Les dépenses en modèles externes incluses dans le budget reflètent tout multiplicateur de prix configuré sur le service de fournisseur de modèle.

Les filtres de tag budgétaire s’appliquent aux tags de service de modèle. Les tags de requête sont disponibles dans la table système des dépenses des modèles externes, mais n’affectent pas la correspondance budgétaire.

Limitations

important

Les budgets pour Unity Gateway fournissent une estimation en quasi-temps réel des dépenses suivies par rapport aux seuils configurés, et les coûts réels encourus peuvent différer des seuils configurés. Cette fonctionnalité est destinée à aider au contrôle des coûts en quasi-temps réel. N’utilisez pas cette fonctionnalité comme moyen de garantir un plafond de dépenses absolu sur les montants finaux facturés. Databricks n’est pas responsable des coûts encourus dépassant les seuils budgétaires configurés.

• L'inférence de throughput provisionné n'est pas actuellement suivie.

• Chaque budget prend en charge un maximum de quatre thresholds partagés et 20 remplacements par utilisateur.

• Votre compte peut avoir un maximum de 1 000 budgets.

• Les threshold de blocage de l'utilisation sont appliqués de manière approximative. L'application utilise une estimation du coût en temps réel, de sorte que les dépenses réelles peuvent varier au-dessus ou en dessous du threshold configuré. Cela signifie :

  • Un utilisateur peut être bloqué avant que ses dépenses réelles n’atteignent le threshold.
  • Un montant de dépenses supérieur au threshold peut survenir avant que l'application ne prenne effet. Les requêtes actives en cours lorsque le threshold est atteint ne sont pas interrompues.

  system.billing.usage reste la source de vérité pour l’utilisation réelle facturée par Databricks. En cas de divergence entre l'utilisation suivie par rapport à un budget et les coûts réels, Databricks peut ajuster rétroactivement les estimations budgétaires pour les réconcilier. Pour l’utilisation de modèles externes, la facture du fournisseur externe constitue la source de vérité pour les frais réels du fournisseur.

• Les montants des dépenses dans les e-mails d'alerte budgétaire, la page de détails du budget, system.billing.usage et system.ai_gateway.external_model_spend peuvent différer lorsqu'ils sont comparés au même moment. Ceci est attendu, car chaque source se met à jour à un rythme différent :

  • E-mails d'alerte de budget : Reflètent les dépenses au moment où l'alerte a été Trigger.
  • Page de détails du budget : des mises à jour fréquentes peuvent afficher un montant inférieur à celui d’un e-mail d’alerte récent si elles sont consultées peu après.
  • system.billing.usage : Mises à jour toutes les quelques heures. L'interrogation des tables système peu après avoir reçu une alerte peut renvoyer un chiffre de dépenses inférieur à celui de la page des détails du budget ou des e-mails d'alerte.
  • system.ai_gateway.external_model_spend : Mise à jour horaire avec les dépenses estimées pour les modèles externes. Les estimations peuvent différer de votre facture finale du prestataire.

  L'application du budget, y compris le blocage de l'utilisation et les seuils d'alerte, est basée sur le suivi des dépenses en quasi temps réel et n'est pas affectée par le délai de refresh de la table système.

Ressources supplémentaires

• Analyser le coût de Unity Gateway
• Créer et gérer des API de modèle (services de modèle)
• Créer et surveiller les budgets
• Gérez les budgets et les contrôles des coûts pour Genie.