Monitore o custo do Unity AI Gateway
Beta
Este recurso está em Beta.
Observe e analise o custo para todo o tráfego do Unity AI Gateway por serviço de modelo, modelo de destino e principal solicitante.
A observabilidade de custos baseia-se nos registros de faturamento do Databricks. Para analítica de uso em nível de solicitação, como contagens de tokens, latência, detalhes do solicitante e tags de solicitação, consulte Uso de modelos para serviços do Unity AI Gateway.
Requisitos
- Unity AI Gateway habilitado para sua account.
- Um workspace do Databricks em uma região suportada pelo Unity AI Gateway.
- A tabela do sistema de uso faturável habilitada para sua account. Consulte Habilitar tabelas do sistema.
Atribuição
O Unity AI Gateway fornece atribuição de custos por meio da tabela do sistema de uso faturável (system.billing.usage).
O Unity AI Gateway enriquece os registros de faturamento MODEL_SERVING em system.billing.usage com metadados específicos do serviço, para que você possa atribuir o custo do Databricks aos serviços associados, modelos de destino, entidades de segurança e tags de serviço. Para o esquema completo e definições de campo, consulte a referência da tabela do sistema de uso faturável.
A tabela do sistema de uso faturável inclui atribuição de custo para modelos hospedados pelo Databricks. Para análise de custo de modelo externo no painel, consulte Custo de modelo externo.
Para solicitações atendidas por meio de um serviço de modelo Unity AI Gateway, o Databricks preenche os seguintes campos nos registros MODEL_SERVING em system.billing.usage:
campo | Descrição |
|---|---|
| O nome do serviço de modelo do Unity AI Gateway que recebeu a solicitação. Este é o nome totalmente qualificado do Unity Catalog, no formato |
| O ID do serviço de modelo Unity AI Gateway. |
| O modelo de destino que processou a solicitação, por exemplo |
| O ID do destino que processou a solicitação. |
| O usuário ou entidade de serviço do Databricks que emitiu a solicitação. |
| Tags de serviço configuradas no serviço de modelo Unity AI Gateway, como |
O Unity AI Gateway preenche esses campos tanto para solicitações de inferência em tempo real quanto em lote encaminhadas através dele.
Observabilidade
O painel de uso integrada inclui uma página de **Análise de Custos** para monitoramento do custo e analisar detalhamentos de custo ao longo do tempo. É possível analisar o custo em várias dimensões, incluindo:
- Serviço de modelo
- Modelo de destino
- Usuário solicitante ou entidade de serviço do Databricks
Para abrir o painel, clique em Ver Painel na página do AI Gateway. Para obter detalhes sobre como importar e atualizar o painel, consulte Painel de uso integrado.
A observabilidade de custos está disponível na versão 0.4 do painel e acima. Os administradores de account devem atualizar o painel para receber as alterações mais recentes do padrão. Consulte Painel de uso integrado.
Custo do modelo externo
O dashboard de uso pode ser configurado para incluir estimativas de custo para modelos externos especificando uma tabela de preços de modelo na configuração Substituição da Tabela de Preços . A tabela de preços é gerenciada pelo usuário e deve ser fornecida como entrada para o dashboard.
A tabela de preços deve incluir os seguintes campos:
campo | Tipo | Descrição |
|---|---|---|
| String | O nome do modelo usado para atribuição de custos no painel de controle. |
| double | O preço para tokens de entrada. |
| double | O preço para tokens de saída. |
| double | O preço para tokens de entrada lidos do cache, quando houver suporte. |
| double | O preço para tokens de entrada de gravação em cache, quando compatível. |
Estimativas de custo para modelos externos são apenas para fins informativos. Esses valores são calculados com base nos preços de tabela ou de substituição e podem não refletir a fatura final do provedor. A Databricks não se responsabiliza por divergências na cobrança de terceiros.
Análise de custo
Genie Code (modo Agente) pode fazer isso por você. Experimente este exemplo de prompt:
Query system.billing.usage to show AI Gateway DBU cost for the past 30 days, broken down by usage_metadata.ai_gateway.endpoint_name, destination model, and requesting user. Filter to MODEL_SERVING records. Show top 10 in each.
As consultas a seguir analisam o custo para modelos hospedados no Databricks em system.billing.usage. O custo pode ser detalhado por serviço de modelo, modelo de destino e principal.
Por serviço de modelo
SELECT
usage_metadata.ai_gateway.endpoint_name AS endpoint_name,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY endpoint_name
ORDER BY dbus DESC;
Por modelo de destino
SELECT
usage_metadata.ai_gateway.destination_model AS destination_model,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY dbus DESC;
Por usuário ou entidade de serviço do Databricks
SELECT
identity_metadata.run_by AS run_by,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND identity_metadata.run_by IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY dbus DESC;
Limitações
- A atribuição de gastos aplica-se a
MODEL_SERVINGregistros emsystem.billing.usage. As solicitações roteadas para modelos externos que são cobrados diretamente pelo provedor externo não aparecem emsystem.billing.usage. - Para serviço de modelo com vários destinos, como divisão de tráfego ou fallback,
ai_gateway.destination_modeleai_gateway.destination_ididentificam o destino que, em última análise, atendeu à solicitação.