Observabilidade do Unity AI Gateway
A observabilidade do Unity AI Gateway permite monitorar custos, uso, desempenho e acesso para cada serviço de IA a partir de um plano de controle, com suporte das tabelas de sistema do Unity Catalog. À medida que as equipes adotam agentes de codificação, copilotos e agentes personalizados em toda a organização, torna-se mais difícil ver quem acessa quais modelos ou ferramentas, quanto eles custam e se os Endpoint estão íntegros. Como todas as solicitações são roteadas pelo Unity AI Gateway, você pode responder a essas perguntas em um só lugar.
O acesso a essas tabelas do sistema requer as funções de administrador de account e de metastore por default. Os administradores podem gerenciar o acesso às tabelas do sistema ou publicar o painel de uso do AI Gateway para compartilhar a análise de uso sem conceder acesso à tabela.
Requisitos
- A prévia do Unity AI Gateway habilitada para sua account. Consulte Gerenciar prévias do Databricks.
- Um workspace do Databricks em uma região com suporte ao Unity AI Gateway.
- O dashboard de uso integrado do Unity AI Gateway. Um administrador da account pode criá-lo usando AI Gateway > Govern > Create Usage Dashboard . Consulte Criar dashboard de uso integrado.
Monitorar custos
Na interface do Workspace, vá para AI Gateway > Govern > Usage Dashboard > Cost análise para rastrear o gasto em dólares por Endpoint, modelo de fundação fornecido pela Databricks ou usuário ao longo do tempo. O dashboard integrada utiliza tabelas de uso e faturamento:
system.ai_gateway.usageLogs métricas de uso, como contagem de tokens e detalhes do solicitante, para cada solicitação encaminhada pelo gatewaysystem.billing.usageesystem.billing.list_pricesrastreiam o consumo do Databricks em unidades Databricks (DBUs) e o preço de lista, respectivamente, que você pode fazer join para estimar os gastos com modelos básicos (consulte como estimar os gastos com modelos básicos)system.ai_gateway.external_model_spendregistra o gasto estimado em USD, agregado por hora, para solicitações roteadas para modelos externos por meio de serviços de provedor de modelo
O gasto com modelos externos é calculado a partir dos preços publicados de cada fornecedor e é apenas para fins informativos. Consulte Modelos externos.
Para atribuir gastos ao longo de dimensões personalizadas, use tags de solicitação ou de serviço para agrupar custos por unidade de negócios, projeto ou qualquer dimensão que seja importante para sua organização (consulte Rastrear gastos de modelos de fundação por usuário, equipe ou projeto).
Consulte Monitorar o custo do Unity AI Gateway.
Monitore o uso e o desempenho
O painel de uso do Unity AI Gateway ( AI Gateway > Govern > Usage Dashboard ) rastreia o volume de solicitações, o consumo de tokens e a latência de todos os Endpoint governados por meio do gateway. Cada Modelo ou Serviço MCP também possui uma tab Métricas integrada para monitoramento de integridade sem sair da IU do Catalog Explorer. Para uma análise mais profunda, faça uma query na tabela system.ai_gateway.usage para analisar métricas de uso como contagem de tokens, latência, solicitante e tags de solicitação para cada solicitação roteada pelo gateway (consulte o esquema da tabela de uso).
Os Endpoint do Unity AI Gateway Logs em system.ai_gateway.usage, enquanto Endpoint de servindo modelo (legado) Logs em system.serving.endpoint_usage.
Usos comuns:
- Monitore e otimize todos os seus serviços de AI a partir de um único local, em toda a sua pilha de AI
- Monitore a adoção de agentes de codificação e a popularidade de modelos entre as equipes
- Identifique os usuários, serviços e modelos mais ativos para detectar oportunidades de otimização
Consulte Model usage for Unity AI Gateway serviços.
Inspecione solicitações e respostas
Habilite tabelas de inferência em um serviço de modelo para registrar cargas úteis de solicitação e resposta em uma tabela do Unity Catalog. Use tabelas de inferência para:
- Solucionar problemas de respostas falhas ou inesperadas
- Verifique se os guardrails estão funcionando, como a ocultação de PII
- Auditar a exposição de dados sensíveis
Veja Monitorar serviços de modelo usando tabelas de inferência.
Acesso para auditoria
query a tabela system.access.audit para comprovar quem acessou qual serviço de AI e quando. Para distinguir um chamador humano de um agente agindo em seu nome, utilize os campos run_by e run_as em identity_metadata.
Usos comuns:
- Produzir uma trilha de acesso para fins de compliance e relatórios regulatórios
- Distinguir um chamador humano de um agente agindo em seu nome
- Mantenha uma trilha de auditoria central em todos os agentes de codificação que suas equipes utilizam
Consulte Referência da tabela do sistema de logs de auditoria.
Acompanhar dependências
Linhagem rastreia dependências entre modelos de fundação e Model serviços, bem como seus consumidores downstream. Use a linhagem para definir o escopo do impacto da descontinuação ou alteração de um Model / MCP serviço e notificar seus proprietários.
Consulte Linhagem no Unity Catalog.