Gérer les budgets pour Unity AI Gateway

Les budgets vous aident à surveiller et contrôler les dépenses mensuelles de Unity AI Gateway à l'aide de filtres appliqués aux enregistrements de facturation. Vous pouvez allouer un budget spécifiquement au produit **Unity AI Gateway** pour suivre uniquement les dépenses de Unity AI Gateway, ou inclure Unity AI Gateway dans un budget à l’échelle du compte.

Les administrateurs de compte et de workspace peuvent consulter un résumé de l'état du budget IA et des dépenses sur la page IA dans le Hub de gouvernance.

remarque

Les budgets de Unity AI Gateway suivent également l'utilisation du produit Genie. Pour définir spécifiquement des budgets pour Genie, consultez Gérer les budgets et les contrôles des coûts pour Genie.

Pour plus de détails sur la création et le monitoring des budgets, voir Créer et monitorer les budgets.

Exigences

• Unity AI Gateway activée pour votre compte.

Comment fonctionnent les budgets avec Unity AI Gateway

Lors de la création d’un budget, sélectionnez Unity AI Gateway comme type de ressource pour suivre uniquement les dépenses liées à Unity AI Gateway, y compris le paiement par jeton, l’inférence ai_query et l’utilisation optionnelle de modèles externes.

Threshold types : Pour les budgets dont la portée est limitée à Unity AI Gateway, vous pouvez configurer :

• Thresholds partagés : Une limite de dépenses collective pour tous les utilisateurs dans le cadre du budget.
• **Thresholds par utilisateur** : Une limite mensuelle qui s'applique à chaque utilisateur individuel.
• Remplacements par utilisateur : accordez à des utilisateurs ou groupes spécifiques une limite de dépenses supérieure au threshold par utilisateur default. Les utilisateurs couverts par un remplacement peuvent dépenser jusqu’au montant du remplacement plutôt que la limite par utilisateur par default. Si un utilisateur appartient à plusieurs groupes de remplacement, le threshold le plus élevé s'applique.

Pour les threshold partagés et par utilisateur, vous pouvez configurer une action ou les deux actions suivantes lorsqu’un threshold est atteint :

• **Envoyer une alerte** : envoie une notification par e-mail aux adresses configurées. Les utilisateurs conservent l'accès à Unity AI Gateway.
• Bloquer l’utilisation : empêche l’utilisateur d’effectuer d’autres requêtes via Unity AI Gateway. L’utilisateur voit un message indiquant que son budget est épuisé. L’accès est rétabli après le Reset du budget ou lorsqu’un administrateur augmente le threshold.

Les administrateurs de compte peuvent consulter les dépenses estimées en quasi-temps réel sur la page des détails du budget.

Inclure l’utilisation des modèles externes

info

Bêta

Cette fonctionnalité est en version bêta. Pour l’utiliser, un administrateur de workspace doit activer External Model Spend in Budgets depuis la page Previews . Consultez Gérer les aperçus Databricks.

Lorsque vous créez un budget Unity AI Gateway, sélectionnez Inclure l’utilisation des modèles externes pour inclure les dépenses estimées des requêtes acheminées vers des modèles externes via les services de fournisseur de modèles.

Lorsqu’elle est activée, la dépense liée aux modèles externes est comptabilisée dans les threshold partagés et par utilisateur du budget. Les actions configurées d'alerte et de blocage de l'utilisation s'appliquent lorsque les dépenses combinées atteignent un threshold. Si vous ne sélectionnez pas cette option, le budget exclut les dépenses liées aux modèles externes mais continue d’inclure l’utilisation des modèles hébergés par Databricks.

Databricks estime les dépenses liées aux modèles externes à partir de l’utilisation des jetons et des prix publiés par le fournisseur externe. Ces estimations peuvent différer de la facture finale de votre prestataire. Pour une analyse historique des dépenses liées aux modèles externes, query la table système system.ai_gateway.external_model_spend. Voir Modèles externes.

Les filtres de tag budgétaire s’appliquent aux tags de service de modèle. Les tags de requête sont disponibles dans la table système des dépenses des modèles externes, mais n’affectent pas la correspondance budgétaire.

Limitations

important

Les budgets pour Unity AI Gateway fournissent une estimation en quasi-temps réel des dépenses suivies par rapport aux threshold configurés, et les coûts réels encourus peuvent différer des threshold configurés. Cette fonctionnalité est destinée à aider au contrôle des coûts en quasi-temps réel. N'utilisez pas cette fonctionnalité comme moyen de garantir un plafond de dépenses absolu sur les montants finaux facturés. Databricks n'est pas responsable des coûts encourus dépassant les threshold budgétaires configurés.

• L'inférence de throughput provisionné n'est pas actuellement suivie.

• Chaque budget prend en charge un maximum de quatre thresholds partagés et 20 remplacements par utilisateur.

• Votre compte peut avoir un maximum de 1 000 budgets.

• Les threshold de blocage de l'utilisation sont appliqués de manière approximative. L'application utilise une estimation du coût en temps réel, de sorte que les dépenses réelles peuvent varier au-dessus ou en dessous du threshold configuré. Cela signifie :

  • Un utilisateur peut être bloqué avant que ses dépenses réelles n’atteignent le threshold.
  • Un montant de dépenses supérieur au threshold peut survenir avant que l'application ne prenne effet. Les requêtes actives en cours lorsque le threshold est atteint ne sont pas interrompues.

  system.billing.usage reste la source de vérité pour l’utilisation réelle facturée par Databricks. En cas de divergence entre l'utilisation suivie par rapport à un budget et les coûts réels, Databricks peut ajuster rétroactivement les estimations budgétaires pour les réconcilier. Pour l’utilisation de modèles externes, la facture du fournisseur externe constitue la source de vérité pour les frais réels du fournisseur.

• Les montants des dépenses dans les e-mails d'alerte budgétaire, la page de détails du budget, system.billing.usage et system.ai_gateway.external_model_spend peuvent différer lorsqu'ils sont comparés au même moment. Ceci est attendu, car chaque source se met à jour à un rythme différent :

  • E-mails d'alerte de budget : Reflètent les dépenses au moment où l'alerte a été Trigger.
  • Page de détails du budget : des mises à jour fréquentes peuvent afficher un montant inférieur à celui d’un e-mail d’alerte récent si elles sont consultées peu après.
  • system.billing.usage : Mises à jour toutes les quelques heures. L'interrogation des tables système peu après avoir reçu une alerte peut renvoyer un chiffre de dépenses inférieur à celui de la page des détails du budget ou des e-mails d'alerte.
  • system.ai_gateway.external_model_spend : Mise à jour horaire avec les dépenses estimées pour les modèles externes. Les estimations peuvent différer de votre facture finale du prestataire.

  L'application du budget, y compris le blocage de l'utilisation et les seuils d'alerte, est basée sur le suivi des dépenses en quasi temps réel et n'est pas affectée par le délai de refresh de la table système.

Ressources supplémentaires

• Analyser le coût de la passerelle d'IA Unity
• Créer et gérer des API de modèle (services de modèle)
• Créer et surveiller les budgets
• Gérez les budgets et les contrôles des coûts pour Genie.