APIs do Foundation Model de throughput provisionado reservado
Esta página explica a taxa de throughput provisionada reservada para APIs do Foundation Model e como criar e gerenciar um Endpoint que a utiliza.
O que é throughput provisionado reservado?
O throughput provisionado reservado é uma opção de capacidade para as APIs do Foundation Model da Databricks. Em vez de pagar por token conforme o uso, você reserva um pool fixo de unidades de modelo em um único modelo de fundação por um período definido. A Databricks oferece suporte a esse pool com capacidade dedicada durante o período da reserva.
Se o seu tráfego exceder o pool reservado, o excedente será atendido automaticamente com prioridade no pagamento por token e cobrado de acordo. Consulte Comportamento de excedente.
A Databricks recomenda o throughput provisionado reservado quando você precisa dar suporte a uma aplicação ou agente de missão crítica com throughput e latência garantidos e confiáveis, e seu tráfego é previsível.
Modelos compatíveis
O throughput provisionado reservado está disponível em modelos de fundação com suporte. A Databricks seleciona a elegibilidade por modelo, e o fluxo de criação mostra apenas os modelos que você pode reservar.
O throughput provisionado reservado está disponível para os seguintes modelos:
Conceitos-chave
Termo | O que significa |
|---|---|
Unidade de modelo | A unidade de capacidade provisionada. Mais unidades de modelo significam mais throughput garantido. Use o estimador de unidades de modelo para dimensionar seu pool com base no tráfego esperado. |
Reserva | Uma concessão pré-paga de unidades de modelo e um prazo em um endpoint. Um endpoint pode manter várias reservas ao mesmo tempo, cada uma com suas próprias unidades de modelo e data de término do período. |
Termo | A duração de uma reserva: 1 mês ou 3 meses. Um prazo mais longo tem uma taxa por unidade menor. |
Cobertura | O total de unidades de modelo que as reservas ativas do seu endpoint somam. |
Excedente | Tráfego acima da sua cobertura. Ele é disponibilizado automaticamente com prioridade de pagamento por token em vez de ser rejeitado, limitado pelos seus limites de pagamento por token. O excedente é habilitado automaticamente. |
Throughput provisionado reservado em comparação com o pagamento por token
O throughput provisionado reservado e o pagamento por token são complementares, não excludentes. Um endpoint de throughput provisionado reservado usa o pagamento por token prioritário automaticamente para qualquer tráfego além de seu pool reservado. A tabela a seguir mostra onde cada opção se encaixa.
Capacidade | Pagamento por token | Throughput provisionado reservado |
|---|---|---|
Base de preços | Por token, conforme o uso | Capacidade reservada, cobrada pelo período integral |
Garantia de capacidade | Pool compartilhado, melhor esforço | Pool dedicado, reservado para você |
Latência sob carga | Pode variar com a demanda compartilhada | Consistente para capacidade reservada |
Reserva | Nenhuma | 1 ou 3 meses |
Melhor para | Tráfego com picos, interno ou exploratório | Aplicações ou agentes externos de missão crítica em produção |
Como funcionam os preços
O throughput provisionado reservado é cobrado com base na capacidade que você reserva, não nas solicitações que você envia. Você é cobrado por toda a reserva durante todo o seu período, independentemente de usar a capacidade reservada.
O que acontece | Como é cobrado |
|---|---|
Tráfego dentro da sua capacidade reservada | Cobrado como capacidade reservada pelo período integral. |
Excedente acima da sua capacidade reservada | Pagamento por token prioritário apenas no excedente. |
Tráfego após a expiração de uma reserva | Pagamento por token prioritário. O endpoint continua em serviço, sem um pool reservado. |
- Um prazo mais longo tem uma taxa por unidade menor do que um prazo mais curto.
- Quando um endpoint mantém reservas de diferentes períodos ao mesmo tempo, cada uma é precificada independentemente de acordo com sua própria taxa.
- As taxas específicas dependem do modelo e do prazo.
Antes de começar
Requisito | Detalhe |
|---|---|
Permissão de modelo | Você precisa de |
Um modelo elegível | Você pode criar throughput provisionado reservado apenas em modelos qualificados. Consulte Modelos compatíveis. |
Criar um endpoint de throughput provisionado reservado
Você cria o throughput provisionado reservado na página Serving .
- Vá para a página Serving e comece a criar um endpoint.
- Adicione uma entidade disponibilizada e selecione um modelo básico qualificado. Quando o modelo oferece suporte a throughput provisionado reservado, a opção Throughput provisionado reservado aparece.
- Defina suas unidades de modelo . Use o estimador de unidades de modelo para dimensionar o pool: insira o formato de solicitação esperado — a média de tokens de entrada e saída por solicitação, o número de solicitações concorrentes que você espera e sua taxa de acerto de cache esperada — e o estimador retornará as unidades de modelo de que você precisa.
- Escolha um prazo de reserva : 1 mês ou 3 meses.
- Crie o endpoint. O Databricks faz o provisionamento da capacidade dedicada.
O tipo de capacidade de um endpoint é fixo quando você o cria. Não é possível converter um endpoint existente para throughput provisionado reservado posteriormente. Crie um novo endpoint de throughput provisionado reservado.
Exibir e monitorar
A página de detalhes do endpoint mostra uma seção Configuração ativa intitulada Throughput provisionado reservado que lista suas unidades de modelo reservadas e o período, a data de validade e o status de cada reserva. Quando um endpoint mantém várias reservas empilhadas, provenientes de aumentos de escala ou atualizações, elas aparecem como uma lista.
A tab Métricas mostra a telemetria de serviço usual, incluindo solicitações por minuto, contagem de erros, latência (p50, p90, p95 e p99), contagem de tokens e tempo até o primeiro token, para que você possa monitorar o uso e decidir quando escalar.
Aumentar a capacidade
Para adicionar capacidade, abra Editar > Adicionar capacidade , insira o número de unidades do modelo a serem adicionadas e escolha um termo. Isso cria uma nova reserva empilhada sobre as existentes. Isso não modifica nem interrompe o que você já possui. A página de detalhes lista então cada reserva, expirando em seu próprio cronograma.
Expiração
- No vencimento, o pool reservado expira e o endpoint continua atendendo com prioridade no pagamento por tokens. Este é um fallback, não uma interrupção.
- Para manter a capacidade reservada após o término de um período, crie uma nova reserva antes que a atual expire. Consulte Aumentar a capacidade.
- As reservas expiradas permanecem visíveis com um selo Expired e são retidas, não excluídas.
Comportamento de excedente
O excedente é habilitado automaticamente; não há nada a configurar. Quando o tráfego excede sua capacidade reservada, seja por um pico ou porque uma reserva expirou, essas solicitações são atendidas automaticamente no pagamento por token prioritário em vez de serem rejeitadas com um erro de limite de taxa. Sua carga de trabalho continua em execução, e você paga apenas por token pelo excedente. As solicitações de excedente são limitadas pelas taxas de limite do pagamento por token.
Limitações
- Você pode criar um endpoint de throughput provisionado reservado por modelo, por workspace, na versão atual.
- As reservas são pré-pagas e executadas durante todo o seu período. Não é possível cancelar uma reserva no meio do período.
- Você não pode excluir um endpoint que tenha uma reserva ativa até que a reserva termine.
- Usuários sem
MANAGEno modelo veem views somente leitura.
Para obter mais limites das APIs do Foundation Model, consulte Limites e cotas das APIs do Foundation Model.