Gerenciar orçamentos para o Unity Gateway
Os orçamentos ajudam você a monitorar e controlar os gastos mensais do Unity Gateway usando filtros aplicados aos registros de faturamento. Você pode definir o escopo de um orçamento especificamente para o produto Unity Gateway para rastrear apenas os gastos do Unity Gateway, ou incluir o Unity Gateway em um orçamento de toda a account.
Admins de account e workspace podem ver um resumo do status e gastos do orçamento de AI na página AI no Centro de Governança.
Os orçamentos do Unity Gateway também rastreiam o uso do produto Genie. Para definir orçamentos especificamente para o Genie, consulte Gerenciar orçamentos e controles de custo para o Genie.
Para obter detalhes sobre a criação e o monitoramento de orçamentos, consulte Criar e monitorar orçamentos.
Requisitos
- Unity Gateway habilitado para sua account.
O que os orçamentos para o Unity Gateway cobrem?
Os orçamentos do Unity Gateway cobrem os gastos que passam pelo Unity Gateway:
- uso de pagamento por token
ai_query- Genie. Consulte Gerenciar orçamentos e controles de custo para o Genie.
- (Opcional) provedores de modelos externos (serviços de provedor de modelos).
Esses orçamentos não cobrem o seguinte:
- Throughput provisionado
- Tráfego enviado diretamente para endpoints de Model Serving autônomos que não passa pelo Unity Gateway
Como os orçamentos funcionam com o Unity Gateway
Ao criar um orçamento, selecione Unity Gateway como o tipo de recurso para rastrear apenas os gastos do Unity Gateway.
Tipos de limite : para orçamentos com escopo no Unity Gateway, você pode configurar:
- Limites compartilhados : Um limite de gastos coletivo para todos os usuários dentro do escopo do orçamento.
- Limites por usuário : Um limite mensal que se aplica a cada usuário individual.
- Substituições por usuário : Concede a usuários ou grupos específicos um limite de gastos mais alto do que o limite default por usuário. Usuários cobertos por uma substituição podem gastar até o valor da substituição, em vez do limite default por usuário. Se um usuário pertencer a vários grupos de substituição, o limite mais alto será aplicado.
Para limites compartilhados e por usuário, você pode configurar uma ou ambas as seguintes ações quando um limite for atingido:
- Enviar alerta : Envia uma notificação por email para os endereços configurados. Os usuários mantêm o acesso ao Unity Gateway.
- Bloquear uso : impede que o usuário faça novas solicitações por meio do Unity Gateway. O usuário vê uma mensagem informando que seu orçamento foi atingido. O acesso é retomado após a redefinição do orçamento ou quando um administrador aumenta o limite.
Os administradores de account podem visualizar os gastos estimados em tempo real na página de detalhes do orçamento.
Incluir uso de modelo externo
Beta
Esse recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar External Model Spend in Budgets na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.
Ao criar um orçamento do Unity Gateway, selecione Incluir uso de modelo externo para incluir o gasto estimado de solicitações roteadas para modelos externos por meio de serviços de provedor de modelos.
Quando ativado, os gastos com modelos externos contam para os limites compartilhados e por usuário do orçamento. As ações configuradas de alerta e bloqueio de uso são aplicadas quando os gastos combinados atingem um limite. Se você não selecionar esta opção, o orçamento exclui os gastos com modelos externos, mas continua a incluir o uso de modelos hospedados no Databricks.
O Databricks estimara o gasto com modelos externos com base no uso de tokens e nos preços publicados pelo provedor externo. Essas estimativas podem ser diferentes da fatura final do provedor. Para uma análise histórica dos gastos com modelos externos, faça uma query na tabela do sistema system.ai_gateway.external_model_spend. Consulte External models. O gasto com modelos externos incluído no orçamento reflete qualquer multiplicador de preço configurado no serviço de provedor de modelo.
Os filtros de tag de orçamento se aplicam às tags de serviço de modelo. As tags de solicitação estão disponíveis na tabela do sistema de gastos de modelos externos, mas não afetam a correspondência de orçamento.
Limitações
Os orçamentos para o Unity Gateway fornecem uma estimativa quase em tempo real dos gastos monitorados em relação aos limites configurados, e os custos reais incorridos podem diferir dos limites configurados. Este recurso destina-se a ajudar no controle de custos quase em tempo real. Não utilize este recurso como uma forma de garantir um limite absoluto de gastos nos valores finais faturados. O Databricks não se responsabiliza por custos incorridos que excedam os limites de orçamento configurados.
-
A inferência de throughput provisionado não é rastreada atualmente.
-
Cada orçamento suporta um máximo de quatro limites compartilhados e 20 substituições por usuário.
-
Sua account pode ter um máximo de 1.000 orçamentos.
-
Os limites de uso de bloqueio são aplicados aproximadamente. A aplicação usa uma estimativa de custo em tempo real, portanto, o gasto real pode variar acima ou abaixo do limite configurado. Isso significa:
- Um usuário pode ser bloqueado antes que seu gasto real atinja o limite.
- Um valor de gasto acima do limite pode ocorrer antes que a aplicação entre em vigor. As solicitações ativas em andamento quando o limite é atingido não são interrompidas.
system.billing.usagepermanece como a fonte da verdade para o uso real faturado pelo Databricks. Para discrepâncias entre o uso rastreado em relação a um orçamento e os custos reais, o Databricks pode ajustar retroativamente as estimativas orçamentárias para reconciliá-las. Para o uso de modelos externos, a fatura do provedor externo é a fonte da verdade para as cobranças reais do provedor. -
Os valores de gastos em e-mails de alerta de orçamento, na página de detalhes do orçamento,
system.billing.usageesystem.ai_gateway.external_model_spendpodem diferir quando comparados no mesmo momento. Isso é esperado, pois cada fonte é atualizada em uma taxa diferente:- Emails de alerta de orçamento : Refletem os gastos no momento em que o alerta foi Trigger.
- Página de detalhes do orçamento : Atualiza com frequência, mas pode mostrar um valor menor do que um email de alerta recente quando visualizado pouco tempo depois.
system.billing.usage: Atualiza a cada poucas horas. A consulta de tabelas do sistema logo após o recebimento de um alerta pode retornar um valor de gastos menor do que a página de detalhes do orçamento ou os emails de alerta.system.ai_gateway.external_model_spend: Atualiza a cada hora com a estimativa de gastos com modelos externos. As estimativas podem diferir da sua fatura final do provedor.
A aplicação do orçamento, incluindo o bloqueio de uso e limites de alerta, é baseada no acompanhamento de gastos quase em tempo real e não é afetada pelo timing de refresh da tabela do sistema.