Surveiller le coût de la passerelle d'IA Unity
Bêta
Cette fonctionnalité est en Bêta.
Observez et analysez le coût de tout le trafic Unity AI Gateway par service de modèle, modèle cible et principal de la demande.
L'observabilité des coûts est basée sur les enregistrements de facturation Databricks. Pour l’analytique d’utilisation au niveau des requêtes, telles que les comptes de jetons, la latence, les détails du demandeur et les tags de requête, consultez Utilisation du modèle pour les services de passerelle IA Unity.
Exigences
- Unity AI Gateway activée pour votre compte.
- Un Databricks workspace dans une région prise en charge par Unity AI Gateway.
- La table système d'utilisation facturable activée pour votre compte. Consultez Activer les tables système.
Attribution
Unity AI Gateway fournit l'attribution des coûts par le biais de la table système d'utilisation facturable (system.billing.usage).
Unity AI Gateway enrichit les enregistrements de facturation MODEL_SERVING dans system.billing.usage avec des métadonnées spécifiques au service, afin que vous puissiez attribuer le coût Databricks aux services associés, aux modèles cibles, aux principaux et aux balises de service. Pour le schéma complet et les définitions de champs, consultez la référence de la table système d'utilisation de la facturation.
La table système d'utilisation facturable inclut l'attribution des coûts pour les modèles hébergés par Databricks. Pour les dépenses liées aux modèles externes, voir Modèles externes.
Pour les requêtes traitées par un service de modèle Unity AI Gateway, Databricks renseigne les champs suivants sur MODEL_SERVING enregistrements dans system.billing.usage:
Champ | Description |
|---|---|
| Le nom du service de modèle Unity AI Gateway qui a reçu la requête. Ceci est le nom complet Unity Catalog, sous la forme |
| L'ID du service de modèle Unity AI Gateway. |
| Le modèle de destination qui a géré la requête, par exemple |
| L'ID de la cible qui a traité la requête. |
| L'utilisateur ou le Service Principal Databricks qui a émis la requête. |
| Tags de service configurés sur le service de modèle Unity AI Gateway, tels que |
L'AI Gateway Unity renseigne ces champs pour les requêtes d'inférence en temps réel et par batch qui lui sont acheminées.
Modèles externes
Pour les requêtes acheminées vers des modèles externes via les services de fournisseurs de modèles dans Unity Catalog, Databricks calcule la dépense USD estimée pour chaque requête à partir de son utilisation de jetons et des prix publiés du fournisseur externe. Les dépenses sont agrégées toutes les heures et enregistrées dans la table système system.ai_gateway.external_model_spend. Utilisez ce tableau pour analyser les dépenses du modèle externe par service de fournisseur de modèles, modèle cible et principal demandeur.
Les dépenses relatives aux modèles externes sont calculées à l'aide des prix publiés par le fournisseur externe et sont fournies à titre indicatif uniquement. Ces chiffres pourraient ne pas refléter votre facture finale de fournisseur, et Databricks n'est pas responsable des écarts de facturation par des tiers.
Schéma de dépense du modèle externe
La table system.ai_gateway.external_model_spend a le schéma suivant :
Nom de colonne | Type | Description |
|---|---|---|
| CHAÎNE | Un identifiant unique pour l'enregistrement des dépenses agrégées. |
| CHAÎNE | L'ID du compte. |
| CHAÎNE | L'identifiant du Workspace où le service de fournisseur de modèle est configuré. |
| Date | La date de l'enregistrement d'utilisation, dérivée de |
| Horodatage | Le start de la fenêtre d'agrégation horaire, en UTC. |
| Horodatage | Fin de la fenêtre d'agrégation horaire, en UTC. |
| Date | La date à laquelle l'enregistrement a été ingéré dans la table. |
| Structure | Métadonnées relatives à l'utilisation du modèle externe, y compris |
| Structure | Étiquettes fournies par l'utilisateur pour l'attribution des coûts, y compris |
| CHAÎNE | L'unité de mesure pour |
| DÉCIMAL | Le coût estimé, en |
| Structure | Métadonnées sur les Tarifs appliqués, y compris |
| Structure | Identité du demandeur, y compris |
Observabilité
Le tableau de bord d'utilisation intégré comprend une page d' analyse des coûts pour le monitoring des coûts et l'analyse de leur répartition dans le temps. Vous pouvez analyser les coûts selon plusieurs dimensions, y compris :
- Service de modèle
- Modèle cible
- Utilisateur demandeur ou Service Principal Databricks
En plus du coût Databricks, le tableau de bord inclut les dépenses de modèles externes de la table system.ai_gateway.external_model_spend.
Pour ouvrir le tableau de bord, cliquez sur Gouverner en haut à droite de la page Unity AI Gateway, puis cliquez sur Tableau de bord d'utilisation . Pour plus de détails sur l'importation et la mise à jour du tableau de bord, consultez le tableau de bord d'utilisation intégré.
L'observabilité des coûts est disponible dans la version 0.4 du tableau de bord et supérieure. Les administrateurs de compte doivent mettre à jour le tableau de bord pour recevoir les dernières modifications de Template. Voir le tableau de bord d'utilisation intégré.
Analyse des coûts
Genie Code (mode Agent) peut le faire pour vous. Essayez cet exemple de prompt :
Query system.billing.usage to show AI Gateway DBU cost for the past 30 days, broken down by usage_metadata.ai_gateway.endpoint_name, destination model, and requesting user. Filter to MODEL_SERVING records. Show top 10 in each.
Modèles hébergés par Databricks
Les requêtes suivantes analysent le coût des modèles hébergés par Databricks dans system.billing.usage. Le coût peut être décomposé par service de modèle, modèle cible et principal.
Par service de modèle
SELECT
usage_metadata.ai_gateway.endpoint_name AS endpoint_name,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY endpoint_name
ORDER BY dbus DESC;
Par modèle de destination
SELECT
usage_metadata.ai_gateway.destination_model AS destination_model,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY dbus DESC;
Par utilisateur ou Service Principal Databricks
SELECT
identity_metadata.run_by AS run_by,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND identity_metadata.run_by IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY dbus DESC;
Modèles externes
Les requêtes suivantes analysent les dépenses des modèles externes dans system.ai_gateway.external_model_spend. Les dépenses peuvent être ventilées par service de fournisseur de modèle, modèle cible et balises de requête.
Par service de fournisseur de modèle
SELECT
usage_metadata.endpoint_name AS model_provider_service,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY model_provider_service
ORDER BY usd DESC;
Par modèle de destination
SELECT
usage_metadata.model AS destination_model,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY usd DESC;
Par utilisateur ou Service Principal Databricks
SELECT
identity_metadata.run_by AS run_by,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY usd DESC;
Par étiquette de demande
Pour associer des tags de requête à vos queries, voir Tags de requête pour le suivi d'utilisation.
SELECT
custom_tags.request_tags['team'] AS team,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY team
ORDER BY usd DESC;
Limitations
- L'attribution des dépenses pour les modèles hébergés par Databricks s'applique à
MODEL_SERVINGenregistrements danssystem.billing.usage. - Pour les services de modèles avec plusieurs destinations, tels que la répartition du trafic ou les fallbacks,
ai_gateway.destination_modeletai_gateway.destination_ididentifient la destination qui a finalement servi la requête. - La dépense de modèle externe n'est prise en charge que pour les services de fournisseur de modèles dans Unity Catalog.
- Le suivi des dépenses pour les modèles externes n'est actuellement pas pris en charge pour le fournisseur personnalisé . Databricks estime les dépenses à partir des prix publiés de chaque fournisseur, qui ne sont pas disponibles pour les endpoints personnalisés.