Analisar o custo do Unity Gateway
Observe e analise o custo de todo o tráfego do Unity Gateway por serviço de modelo, modelo de destino e principal solicitante.
Administradores da account e do workspace podem visualizar uma visão geral consolidada de gastos de AI na página de AI no Governance Hub.
A observabilidade de custos baseia-se nos registros de faturamento do Databricks. Para analítica de uso em nível de solicitação, como contagem de tokens, latência, detalhes do solicitante e tags de solicitação, consulte Acompanhar uso do modelo.
Requisitos
- Unity Gateway habilitado para sua account.
- Um workspace do Databricks em uma região com suporte ao Unity Gateway.
- A tabela do sistema de uso faturável habilitada para sua account. Consulte Habilitar tabelas do sistema.
Atribuição
O Unity Gateway fornece atribuição de custos por meio da tabela do sistema de uso faturável (system.billing.usage).
O Unity Gateway enriquece os registros de faturamento MODEL_SERVING em system.billing.usage com metadados específicos do serviço, para que você possa atribuir os custos do Databricks aos serviços associados, modelos de destino, principals e tags de serviço. Para obter o esquema completo e as definições de campo, consulte a Referência da tabela do sistema de uso de faturamento.
A tabela do sistema de uso faturável inclui atribuição de custos para modelos hospedados no Databricks. Para gastos com modelos externos, consulte Modelos externos.
Para solicitações atendidas por meio de um serviço de modelo do Unity Gateway, o Databricks preenche os seguintes campos em registros MODEL_SERVING no system.billing.usage:
campo | Descrição |
|---|---|
| O nome do serviço de modelo do Unity Gateway que recebeu a solicitação. Este é o nome totalmente qualificado do Unity Catalog, no formato |
| O ID do serviço de modelo do Unity Gateway. |
| O modelo de destino que processou a solicitação, por exemplo |
| O ID do destino que processou a solicitação. |
| O usuário ou entidade de serviço do Databricks que emitiu a solicitação. |
| Tags de serviço configuradas no serviço de modelo do Unity Gateway, como |
O Unity Gateway preenche esses campos para solicitações de inferência em tempo real e em lotes roteadas por meio dele.
Modelos Externos
Para solicitações roteadas para modelos externos por meio de serviços de provedor de modelo no Unity Catalog, o Databricks calcula o gasto estimado em USD para cada solicitação a partir do uso de tokens e dos preços publicados pelo provedor externo, ajustados por qualquer multiplicador de preço configurado no serviço de provedor de modelo. Os gastos são agregados por hora e registrados na tabela de sistema system.ai_gateway.external_model_spend. Use esta tabela para analisar os gastos com modelos externos por serviço de provedor de modelo, modelo de destino e principal solicitante.
Os gastos com modelos externos são fornecidos apenas para fins informativos. Essas estimativas podem não refletir a fatura final do seu provedor, e o Databricks não se responsabiliza por discrepâncias na cobrança de terceiros.
Esquema de gastos de modelos externos
A tabela system.ai_gateway.external_model_spend tem o seguinte esquema:
Nome da coluna | Tipo | Descrição |
|---|---|---|
| String | Um identificador exclusivo para o registro de gasto agregado. |
| String | O ID da account. |
| String | A ID do workspace onde o serviço de provedor de modelo está configurado. |
| Data | A data do registro de uso, derivada de |
| Timestamp | O início da janela de agregação horária, em UTC. |
| Timestamp | O fim da janela de agregação por hora, em UTC. |
| Data | A data em que o registro foi ingerido na tabela. |
| struct | Metadados sobre o uso do modelo externo, incluindo |
| struct | Tags fornecidas pelo usuário para atribuição de custos, incluindo |
| String | A unidade de medida para |
| Decimal | O custo estimado, em |
| struct | Metadados sobre os preços aplicados, incluindo |
| struct | Identidade do solicitante, incluindo |
Observabilidade
O painel de uso integrada inclui uma página de **Análise de Custos** para monitoramento do custo e analisar detalhamentos de custo ao longo do tempo. É possível analisar o custo em várias dimensões, incluindo:
- Serviço de modelo
- Modelo de destino
- Usuário solicitante ou entidade de serviço do Databricks
Além do custo do Databricks, o dashboard inclui o gasto com modelos externos da tabela system.ai_gateway.external_model_spend.
Para abrir o painel, clique em Govern no canto superior direito da página do Unity Gateway e, em seguida, clique em Usage Dashboard . Para obter detalhes sobre como importar e atualizar o painel, consulte Painel de uso integrado.
A observabilidade de custos está disponível na versão 0.4 do painel e acima. Os administradores de account devem atualizar o painel para receber as alterações mais recentes do padrão. Consulte Painel de uso integrado.
Análise de custo
Genie Code (modo Agente) pode fazer isso por você. Experimente este exemplo de prompt:
Query system.billing.usage to show AI Gateway DBU cost for the past 30 days, broken down by usage_metadata.ai_gateway.endpoint_name, destination model, and requesting user. Filter to MODEL_SERVING records. Show top 10 in each.
Modelos hospedados pelo Databricks
As consultas a seguir analisam o custo para modelos hospedados no Databricks em system.billing.usage. O custo pode ser detalhado por serviço de modelo, modelo de destino e principal.
Por serviço de modelo
SELECT
usage_metadata.ai_gateway.endpoint_name AS endpoint_name,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY endpoint_name
ORDER BY dbus DESC;
Por modelo de destino
SELECT
usage_metadata.ai_gateway.destination_model AS destination_model,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY dbus DESC;
Por usuário ou Service Principal do Databricks
SELECT
identity_metadata.run_by AS run_by,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND identity_metadata.run_by IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY dbus DESC;
Modelos Externos
As seguintes queries analisam os gastos com modelos externos em system.ai_gateway.external_model_spend. Os gastos podem ser detalhados por serviço de provedor de modelos, modelo de destino e tags de solicitação.
Pelo serviço de provedor de modelos
SELECT
usage_metadata.endpoint_name AS model_provider_service,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY model_provider_service
ORDER BY usd DESC;
Por modelo de destino
SELECT
usage_metadata.model AS destination_model,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY usd DESC;
Por usuário ou Service Principal do Databricks
SELECT
identity_metadata.run_by AS run_by,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY usd DESC;
Por tag de solicitação
Para anexar tags de solicitação às suas queries, consulte Tags de solicitação para acompanhamento de uso.
SELECT
custom_tags.request_tags['team'] AS team,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY team
ORDER BY usd DESC;
Limitações
- A atribuição de gastos para modelos hospedados no Databricks aplica-se a
MODEL_SERVINGregistros emsystem.billing.usage. - Para serviço de modelo com vários destinos, como divisão de tráfego ou fallback,
ai_gateway.destination_modeleai_gateway.destination_ididentificam o destino que, em última análise, atendeu à solicitação. - Gastos com modelos externos são compatíveis apenas com serviços de provedor de modelo no Unity Catalog.
- O acompanhamento de gastos de modelos externos não é atualmente compatível com o provedor **Personalizado**. A Databricks estima os gastos com base nos preços publicados de cada provedor, que não estão disponíveis para endpoints personalizados.