Gerenciar orçamentos para Unity AI Gateway
Orçamentos ajudam você a monitorar e controlar os gastos mensais do Unity AI Gateway usando filtros aplicados aos registros de cobrança. É possível definir o escopo de um orçamento especificamente para o produto Unity AI Gateway para rastrear apenas os gastos do Unity AI Gateway, ou incluir o Unity AI Gateway em um orçamento de toda a account.
Admins de account e workspace podem ver um resumo do status e gastos do orçamento de AI na página AI no Centro de Governança.
Os orçamentos do Unity AI Gateway também acompanham o uso do produto Genie. Para definir orçamentos especificamente para Genie, consulte Gerenciar orçamentos e controles de custo para Genie.
Para obter detalhes sobre a criação e o monitoramento de orçamentos, consulte Criar e monitorar orçamentos.
Requisitos
- Unity AI Gateway habilitado para sua account.
Como os orçamentos funcionam com o Unity AI Gateway
Ao criar um orçamento, selecione Unity AI Gateway como o tipo de recurso para rastrear apenas os gastos do Unity AI Gateway, incluindo pagamento por token, inferência de ai_query e uso opcional de modelos externos.
Tipos de limite : Para orçamentos com escopo no Unity AI Gateway, você pode configurar:
- Limites compartilhados : Um limite de gastos coletivo para todos os usuários dentro do escopo do orçamento.
- Limites por usuário : Um limite mensal que se aplica a cada usuário individual.
- Substituições por usuário : Concede a usuários ou grupos específicos um limite de gastos mais alto do que o limite default por usuário. Usuários cobertos por uma substituição podem gastar até o valor da substituição, em vez do limite default por usuário. Se um usuário pertencer a vários grupos de substituição, o limite mais alto será aplicado.
Para limites compartilhados e por usuário, você pode configurar uma ou ambas as seguintes ações quando um limite for atingido:
- Enviar alerta : Envia uma notificação por e-mail para os endereços configurados. Usuários retêm acesso ao Unity AI Gateway.
- Bloquear uso : Impede que o usuário faça mais solicitações através do Unity AI Gateway. O usuário vê uma mensagem de que seu orçamento está esgotado. O acesso é retomado depois que o orçamento é redefinido ou um administrador aumenta o limite.
Os administradores de account podem visualizar os gastos estimados em tempo real na página de detalhes do orçamento.
Incluir uso de modelo externo
Beta
Esse recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar External Model Spend in Budgets na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.
Ao criar um orçamento do Unity AI Gateway, selecione Incluir uso de modelo externo para incluir os gastos estimados de solicitações roteadas para modelos externos por meio de serviços de provedor de modelos.
Quando ativado, os gastos com modelos externos contam para os limites compartilhados e por usuário do orçamento. As ações configuradas de alerta e bloqueio de uso são aplicadas quando os gastos combinados atingem um limite. Se você não selecionar esta opção, o orçamento exclui os gastos com modelos externos, mas continua a incluir o uso de modelos hospedados no Databricks.
O Databricks estima os gastos com modelos externos a partir do uso de tokens e dos preços publicados pelo provedor externo. Essas estimativas podem diferir da sua fatura final do provedor. Para análise histórica de gastos com modelos externos, faça uma query na tabela do sistema system.ai_gateway.external_model_spend. Consulte Modelos externos.
Os filtros de tag de orçamento se aplicam às tags de serviço de modelo. As tags de solicitação estão disponíveis na tabela do sistema de gastos de modelos externos, mas não afetam a correspondência de orçamento.
Limitações
Os orçamentos para o Unity AI Gateway fornecem uma estimativa quase em tempo real dos gastos monitorados em relação aos limites configurados, e os custos reais incorridos podem diferir dos limites configurados. Este recurso destina-se a ajudar no controle de custos quase em tempo real. Não use este recurso como uma forma de garantir um limite absoluto de gastos nos valores finais faturados. A Databricks não é responsável por custos incorridos que excedam os limites de orçamento configurados.
-
A inferência de throughput provisionado não é rastreada atualmente.
-
Cada orçamento suporta um máximo de quatro limites compartilhados e 20 substituições por usuário.
-
Sua account pode ter um máximo de 1.000 orçamentos.
-
Os limites de uso de bloqueio são aplicados aproximadamente. A aplicação usa uma estimativa de custo em tempo real, portanto, o gasto real pode variar acima ou abaixo do limite configurado. Isso significa:
- Um usuário pode ser bloqueado antes que seu gasto real atinja o limite.
- Um valor de gasto acima do limite pode ocorrer antes que a aplicação entre em vigor. As solicitações ativas em andamento quando o limite é atingido não são interrompidas.
system.billing.usagepermanece como a fonte da verdade para o uso real faturado pelo Databricks. Para discrepâncias entre o uso rastreado em relação a um orçamento e os custos reais, o Databricks pode ajustar retroativamente as estimativas orçamentárias para reconciliá-las. Para o uso de modelos externos, a fatura do provedor externo é a fonte da verdade para as cobranças reais do provedor. -
Os valores de gastos em e-mails de alerta de orçamento, na página de detalhes do orçamento,
system.billing.usageesystem.ai_gateway.external_model_spendpodem diferir quando comparados no mesmo momento. Isso é esperado, pois cada fonte é atualizada em uma taxa diferente:- Emails de alerta de orçamento : Refletem os gastos no momento em que o alerta foi Trigger.
- Página de detalhes do orçamento : Atualiza com frequência, mas pode mostrar um valor menor do que um email de alerta recente quando visualizado pouco tempo depois.
system.billing.usage: Atualiza a cada poucas horas. A consulta de tabelas do sistema logo após o recebimento de um alerta pode retornar um valor de gastos menor do que a página de detalhes do orçamento ou os emails de alerta.system.ai_gateway.external_model_spend: Atualiza a cada hora com a estimativa de gastos com modelos externos. As estimativas podem diferir da sua fatura final do provedor.
A aplicação do orçamento, incluindo o bloqueio de uso e limites de alerta, é baseada no acompanhamento de gastos quase em tempo real e não é afetada pelo timing de refresh da tabela do sistema.