Observabilité de la passerelle d'IA Unity
L’observabilité de Unity AI Gateway vous permet de surveiller les coûts, l’utilisation, les performances et l’accès à chaque service IA depuis un plan de contrôle unique, pris en charge par les tables système de Unity Catalog. À mesure que les équipes adoptent des agents de codage, des copilotes et des agents personnalisés dans toute l’organisation, il devient plus difficile de savoir qui accède à quels modèles ou outils, combien ils coûtent et si les Endpoint sont sains. Comme chaque requête transite par Unity AI Gateway, vous pouvez répondre à ces questions en un seul endroit.
L'accès à ces tables système nécessite par default les rôles d'administrateur de compte et de métastore. Les administrateurs peuvent gérer l'accès aux tables système ou publier le tableau de bord d'utilisation d'AI Gateway pour partager l'analyse de l'utilisation sans accorder d'accès aux tables.
Exigences
- L'aperçu de Unity AI Gateway est activé pour votre compte. Voir Gérer les aperçus Databricks.
- Un workspace Databricks dans une région prise en charge par Unity AI Gateway.
- Le tableau de bord d’utilisation intégré Unity AI Gateway. Un administrateur de compte peut le créer en utilisant AI Gateway > Govern > Create Usage Dashboard . Voir Créer un tableau de bord d’utilisation intégré.
Surveiller les coûts
Depuis l'interface utilisateur du Workspace, accédez à AI Gateway > Govern > Usage Dashboard > Cost analyse pour suivre les dépenses en dollars par Endpoint, par modèle de base fourni par Databricks ou par utilisateur au fil du temps. Le tableau de bord intégré s'appuie sur les tables d'utilisation et de facturation :
system.ai_gateway.usageLogs des métriques d'utilisation telles que le nombre de jetons et les détails du demandeur pour chaque requête acheminée via la passerellesystem.billing.usageetsystem.billing.list_pricessuivent respectivement la consommation Databricks en unités Databricks (DBU) et le prix catalogue, que vous pouvez combiner pour estimer les dépenses liées aux modèles de fondation (voir comment estimer les dépenses liées aux modèles de fondation)system.ai_gateway.external_model_spendenregistre les dépenses estimées en USD, agrégées par heure, pour les requêtes acheminées vers des modèles externes via des services de fournisseur de modèle
Les dépenses liées aux modèles externes sont calculées à partir des prix publiés par chaque fournisseur et sont fournies uniquement à titre informatif. Voir Modèles externes.
Pour attribuer les dépenses selon des dimensions personnalisées, utilisez des tags de requête ou de service afin de regrouper les coûts par unité commerciale, projet ou toute dimension importante pour votre organisation (voir Suivre les dépenses des modèles de fondation par utilisateur, équipe ou projet).
Voir surveiller le coût de Unity AI Gateway.
Surveiller l'utilisation et la performance
Le tableau de bord d’utilisation de Unity AI Gateway ( AI Gateway > Govern > Usage Dashboard ) suit le volume de requêtes, la consommation de jetons et la latence pour tous les Endpoint gérés via la passerelle. Chaque modèle ou service MCP dispose également d’un tab Metrics intégré pour le monitoring de l’état de santé sans quitter l’interface utilisateur de Catalog Explorer. Pour une analyse plus approfondie, query la table system.ai_gateway.usage afin d’analyser les indicateurs d’utilisation tels que le nombre de jetons, la latence, le demandeur et les tags de requête pour chaque requête acheminée via la passerelle (voir le schéma de la table d’utilisation).
Les Endpoint Unity AI Gateway Logs vers system.ai_gateway.usage, tandis que les Endpoint de mise en service du modèle (hérités) Logs vers system.serving.endpoint_usage.
Cas d'utilisation courants :
- Surveillez et optimisez tous vos services d'IA depuis un seul endroit, sur l'ensemble de votre pile d'IA
- Suivez l’adoption des agents de codage et la popularité des modèles au sein des équipes
- Identifiez les utilisateurs, services et modèles les plus actifs pour repérer les opportunités d'optimisation
Voir l'utilisation des modèles pour les services Unity AI Gateway.
Inspecter les requêtes et les réponses
Activez les tables d’inférence sur un service de modèle pour enregistrer les charges utiles des requêtes et des réponses dans une table Unity Catalog. Utilisez les tables d’inférence pour :
- Dépanner les réponses ayant échoué ou inattendues
- Vérifiez que les garde-fous fonctionnent, comme la rédaction des informations personnelles identifiables (PII)
- Auditer l’exposition des données sensibles
Voir Surveiller les services de modèle à l'aide de tables d'inférence.
Contrôler l’accès
Interrogez la table system.access.audit pour prouver qui a accédé à quel service d’IA et quand. Pour distinguer un appelant humain d’un agent agissant en son nom, utilisez les champs run_by et run_as dans identity_metadata.
Cas d'utilisation courants :
- Produire une piste d'accès à des fins de conformité et de rapports réglementaires
- Distinguer un appelant humain d'un agent agissant en son nom
- Conservez une piste d'audit centrale pour l'ensemble des agents de codage utilisés par vos équipes
Voir Référence de la table système des Logs d'audit.
Suivre les dépendances
La généalogie suit les dépendances entre les modèles de fondation et les services de modèles, ainsi que leurs consommateurs en aval. Utilisez la généalogie pour évaluer l’impact de l’obsolescence ou de la modification d’un modèle ou d’un service MCP et avertir ses propriétaires.
Voir Lineage in Unity Catalog.