Monitore o custo do Unity AI Gateway
Beta
Este recurso está em Beta.
Observe e analise o custo para todo o tráfego do Unity AI Gateway por serviço de modelo, modelo de destino e principal solicitante.
A observabilidade de custos baseia-se nos registros de faturamento do Databricks. Para analítica de uso em nível de solicitação, como contagens de tokens, latência, detalhes do solicitante e tags de solicitação, consulte Uso de modelos para serviços do Unity AI Gateway.
Requisitos
- Unity AI Gateway habilitado para sua account.
- Um workspace do Databricks em uma região suportada pelo Unity AI Gateway.
- A tabela do sistema de uso faturável habilitada para sua account. Consulte Habilitar tabelas do sistema.
Atribuição
O Unity AI Gateway fornece atribuição de custos por meio da tabela do sistema de uso faturável (system.billing.usage).
O Unity AI Gateway enriquece os registros de faturamento MODEL_SERVING em system.billing.usage com metadados específicos do serviço, para que você possa atribuir o custo do Databricks aos serviços associados, modelos de destino, entidades de segurança e tags de serviço. Para o esquema completo e definições de campo, consulte a referência da tabela do sistema de uso faturável.
A tabela do sistema de uso faturável inclui atribuição de custos para modelos hospedados no Databricks. Para gastos com modelos externos, consulte Modelos externos.
Para solicitações atendidas por meio de um serviço de modelo Unity AI Gateway, o Databricks preenche os seguintes campos nos registros MODEL_SERVING em system.billing.usage:
campo | Descrição |
|---|---|
| O nome do serviço de modelo do Unity AI Gateway que recebeu a solicitação. Este é o nome totalmente qualificado do Unity Catalog, no formato |
| O ID do serviço de modelo Unity AI Gateway. |
| O modelo de destino que processou a solicitação, por exemplo |
| O ID do destino que processou a solicitação. |
| O usuário ou entidade de serviço do Databricks que emitiu a solicitação. |
| Tags de serviço configuradas no serviço de modelo Unity AI Gateway, como |
O Unity AI Gateway preenche esses campos tanto para solicitações de inferência em tempo real quanto em lote encaminhadas através dele.
Modelos Externos
Para solicitações roteadas para modelos externos por meio de serviços de provedor de modelo no Unity Catalog, o Databricks calcula o gasto estimado em USD para cada solicitação a partir do uso de tokens e dos preços publicados pelo provedor externo. Os gastos são agregados por hora e registrados na tabela do sistema system.ai_gateway.external_model_spend. Use esta tabela para analisar o gasto do modelo externo por serviço de provedor de modelo, modelo de destino e principal solicitante.
Os gastos com modelos externos são calculados usando os preços publicados pelo provedor externo e são fornecidos apenas para fins informativos. Esses valores podem não refletir sua fatura final do provedor, e o Databricks não é responsável por discrepâncias na cobrança de terceiros.
Esquema de gastos de modelos externos
A tabela system.ai_gateway.external_model_spend tem o seguinte esquema:
Nome da coluna | Tipo | Descrição |
|---|---|---|
| String | Um identificador exclusivo para o registro de gasto agregado. |
| String | O ID da account. |
| String | A ID do workspace onde o serviço de provedor de modelo está configurado. |
| Data | A data do registro de uso, derivada de |
| Timestamp | O início da janela de agregação horária, em UTC. |
| Timestamp | O fim da janela de agregação por hora, em UTC. |
| Data | A data em que o registro foi ingerido na tabela. |
| struct | Metadados sobre o uso do modelo externo, incluindo |
| struct | Tags fornecidas pelo usuário para atribuição de custos, incluindo |
| String | A unidade de medida para |
| Decimal | O custo estimado, em |
| struct | Metadados sobre os preços aplicados, incluindo |
| struct | Identidade do solicitante, incluindo |
Observabilidade
O painel de uso integrada inclui uma página de **Análise de Custos** para monitoramento do custo e analisar detalhamentos de custo ao longo do tempo. É possível analisar o custo em várias dimensões, incluindo:
- Serviço de modelo
- Modelo de destino
- Usuário solicitante ou entidade de serviço do Databricks
Além do custo do Databricks, o dashboard inclui o gasto com modelos externos da tabela system.ai_gateway.external_model_spend.
Para abrir o dashboard, clique em Governar no canto superior direito da página do Unity AI Gateway e, em seguida, clique em Painel de Uso . Para obter detalhes sobre como importar e atualizar o dashboard, consulte dashboard de uso integrada.
A observabilidade de custos está disponível na versão 0.4 do painel e acima. Os administradores de account devem atualizar o painel para receber as alterações mais recentes do padrão. Consulte Painel de uso integrado.
Análise de custo
Genie Code (modo Agente) pode fazer isso por você. Experimente este exemplo de prompt:
Query system.billing.usage to show AI Gateway DBU cost for the past 30 days, broken down by usage_metadata.ai_gateway.endpoint_name, destination model, and requesting user. Filter to MODEL_SERVING records. Show top 10 in each.
Modelos hospedados pelo Databricks
As consultas a seguir analisam o custo para modelos hospedados no Databricks em system.billing.usage. O custo pode ser detalhado por serviço de modelo, modelo de destino e principal.
Por serviço de modelo
SELECT
usage_metadata.ai_gateway.endpoint_name AS endpoint_name,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY endpoint_name
ORDER BY dbus DESC;
Por modelo de destino
SELECT
usage_metadata.ai_gateway.destination_model AS destination_model,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY dbus DESC;
Por usuário ou Service Principal do Databricks
SELECT
identity_metadata.run_by AS run_by,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND identity_metadata.run_by IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY dbus DESC;
Modelos Externos
As seguintes queries analisam os gastos com modelos externos em system.ai_gateway.external_model_spend. Os gastos podem ser detalhados por serviço de provedor de modelos, modelo de destino e tags de solicitação.
Pelo serviço de provedor de modelos
SELECT
usage_metadata.endpoint_name AS model_provider_service,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY model_provider_service
ORDER BY usd DESC;
Por modelo de destino
SELECT
usage_metadata.model AS destination_model,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY usd DESC;
Por usuário ou Service Principal do Databricks
SELECT
identity_metadata.run_by AS run_by,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY usd DESC;
Por tag de solicitação
Para anexar tags de solicitação às suas queries, consulte Tags de solicitação para acompanhamento de uso.
SELECT
custom_tags.request_tags['team'] AS team,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY team
ORDER BY usd DESC;
Limitações
- A atribuição de gastos para modelos hospedados no Databricks aplica-se a
MODEL_SERVINGregistros emsystem.billing.usage. - Para serviço de modelo com vários destinos, como divisão de tráfego ou fallback,
ai_gateway.destination_modeleai_gateway.destination_ididentificam o destino que, em última análise, atendeu à solicitação. - Gastos com modelos externos são compatíveis apenas com serviços de provedor de modelo no Unity Catalog.
- O acompanhamento de gastos de modelos externos não é atualmente compatível com o provedor **Personalizado**. A Databricks estima os gastos com base nos preços publicados de cada provedor, que não estão disponíveis para endpoints personalizados.