Pular para o conteúdo principal
Última atualização em

Observabilidade do Unity Gateway

A observabilidade do Unity Gateway permite monitorar custos, uso, desempenho e acesso para cada serviço de AI a partir de um único plano de controle, com suporte das tabelas do sistema do Unity Catalog. À medida que as equipes adotam agentes de codificação, copilotos e agentes personalizados em toda a organização, torna-se mais difícil ver quem acessa quais modelos ou ferramentas, quanto eles custam e se os Endpoint estão íntegros. Como todas as solicitações são roteadas pelo Unity Gateway, você pode responder a essas perguntas em um só lugar.

nota

O acesso a essas tabelas do sistema requer funções de admin account e metastore por default. Os administradores podem gerenciar o acesso às tabelas do sistema ou publicar o painel de uso do Unity Gateway para compartilhar a análise de uso sem conceder acesso à tabela.

Requisitos​

Monitorar custos​

Na interface do Workspace, vá para AI Gateway > Govern > Usage Dashboard > Cost análise para rastrear o gasto em dólares por Endpoint, modelo de fundação fornecido pela Databricks ou usuário ao longo do tempo. O dashboard integrada utiliza tabelas de uso e faturamento:

nota

Os gastos com modelos externos são calculados a partir dos preços publicados de cada provedor, ajustados por qualquer multiplicador de preço configurado no serviço de provedor de modelo, e têm apenas caráter informativo. Consulte Modelos externos.

Para atribuir gastos ao longo de dimensões personalizadas, use tags de solicitação ou de serviço para agrupar custos por unidade de negócios, projeto ou qualquer dimensão que seja importante para sua organização (consulte Rastrear gastos de modelos de fundação por usuário, equipe ou projeto).

Consulte Analisar o custo do Unity Gateway.

Monitore o uso e o desempenho​

O painel de uso do Unity Gateway ( AI Gateway > Govern > Painel de Uso ) rastreia o volume de solicitações, consumo de tokens e latência para todos os Endpoint governados pelo gateway. Para análises mais profundas, faça uma query na tabela system.ai_gateway.usage para analisar métricas de uso como contagem de tokens, latência, solicitante e tags de solicitação para cada solicitação roteada pelo gateway (consulte o esquema da tabela de uso).

Tab de métricas​

Cada modelo ou serviço MCP tem uma tab Métricas . Para abri-lo:

  1. Na barra lateral, clique em AI Gateway .
  2. Abra o modelo ou o serviço.
  3. Clique na tab Métricas .

Para modelos pay-per-token hospedados pelo Databricks, Limites de cota mostra os limites atuais deste workspace para tokens de entrada por minuto, tokens de saída por minuto, solicitações por segundo e solicitações por hora. Esses limites aplicam-se ao workspace e são compartilhados entre todos os usos desse modelo. Cada cartão também mostra o pico e o uso p90 para o intervalo de tempo selecionado na página.

Essas cotas de workspace são separadas dos limites de taxa que você configura em um serviço de modelo. Para obter limites default e como eles são aplicados, consulte Limites e quotas de APIs de modelo de fundação.

Os gráficos em Métricas de serviço do modelo mostram o volume de solicitações, o consumo de tokens, os erros e a latência do tráfego para este serviço.

nota

Os endpoints do Unity Gateway registram logs em system.ai_gateway.usage, enquanto os endpoints de servindo modelo (legado) registram logs em system.serving.endpoint_usage.

Usos comuns:

  • Monitore e otimize todos os seus serviços de AI a partir de um único local, em toda a sua pilha de AI
  • Monitore a adoção de agentes de codificação e a popularidade de modelos entre as equipes
  • Identifique os usuários, serviços e modelos mais ativos para detectar oportunidades de otimização

Consulte Acompanhar uso do modelo.

Inspecione solicitações e respostas​

Habilite tabelas de inferência em um serviço de modelo para registrar cargas úteis de solicitação e resposta em uma tabela do Unity Catalog. Use tabelas de inferência para:

  • Solucionar problemas de respostas falhas ou inesperadas
  • Verifique se os guardrails estão funcionando, como a ocultação de PII
  • Auditar a exposição de dados sensíveis

Consulte Logs solicitações e respostas em tabelas de inferência.

Acesso para auditoria​

query a tabela system.access.audit para comprovar quem acessou qual serviço de AI e quando. Para distinguir um chamador humano de um agente agindo em seu nome, utilize os campos run_by e run_as em identity_metadata.

O Unity Gateway Logs estes eventos de auditoria:

  • Solicitações de MCP: Cada solicitação a um MCP, como listar ou chamar suas ferramentas, é registrada como mcpCall no serviço mcpService. Veja Eventos do MCP do Unity Gateway.
  • Uso de Skill: Carregamentos de skill, buscas de arquivos e listagens são registrados no serviço aiGatewaySkills. Consulte Eventos de habilidades do Unity Gateway.
  • Alterações de serviço: A criação, atualização e exclusão de serviços de modelo e MCPs são registradas no serviço unityCatalog. Veja eventos do Unity Catalog.

Usos comuns:

  • Produzir uma trilha de acesso para fins de compliance e relatórios regulatórios
  • Distinguir um chamador humano de um agente agindo em seu nome
  • Mantenha uma trilha de auditoria central em todos os agentes de codificação que suas equipes utilizam

Consulte Referência da tabela do sistema de logs de auditoria.

Acompanhar dependências​

Linhagem rastreia dependências entre modelos de fundação e Model serviços, bem como seus consumidores downstream. Use a linhagem para definir o escopo do impacto da descontinuação ou alteração de um serviço de modelo e notificar seus proprietários.

Consulte Linhagem no Unity Catalog.

Recursos adicionais​

Nesta página