Gerenciar compute serverless
Esta página explica como gerenciar o acesso ao compute serverless e como implementar limites de taxa serverless. Os administradores do workspace governam o compute serverless usando objetos de compute serverless integrados. Um objeto de compute serverless é um tipo de recurso que define o limite de permissão para cargas de trabalho serverless. Seu workspace obtém automaticamente dois objetos de compute default:
- Default Interactive Compute : Governa o acesso a notebooks e ao Databricks Connect.
- Default Automated Compute : rege o acesso a jobs e Spark Declarative Pipelines no Lakeflow.
Por **default**, todos os usuários do workspace têm Can Use em ambos os objetos, portanto, as cargas de trabalho existentes continuam a ser executadas sem quaisquer alterações. Um administrador do workspace pode remover usuários ou grupos de qualquer um dos objetos para restringir o acesso. Um usuário que perder o acesso verá a opção de compute Serverless como indisponível nas superfícies de seu produto.
Gerenciar o acesso ao compute serverless
Para controlar quem tem acesso ao compute serverless, os administradores do workspace podem editar as permissões nos objetos Default Interactive Compute e Default Automated Compute . Os administradores do Workspace têm a permissão Can Manage por default, mas podem conceder a permissão a qualquer usuário. Esses objetos de compute default não podem ser renomeados ou excluídos.
Cada objeto de compute serverless oferece suporte a dois níveis de permissão:
Permissão | Permite que você |
|---|---|
Pode usar | Execução cargas de trabalho neste compute |
Can Manage (Pode gerenciar) | Execute cargas de trabalho neste compute e edite as permissões do compute |
Você também pode gerenciar permissões para objetos de compute serverless programaticamente usando a API de Controle de Acesso de Conta.
Restringir o acesso ao serverless interativo
Para limitar quem pode usar o serverless para notebooks e Databricks Connect:
- Clique em Computação na barra lateral do workspace.
- Na tab Serverless , clique no menu kebab
ao lado de Default Interactive Compute e, em seguida, clique em Editar permissões . - Remova o grupo All Users ou o grupo que inclui todos os usuários do workspace.
- Adicione apenas os usuários, grupos ou Service Principals específicos que você deseja autorizar.
Se você revogar as permissões de serverless interativo de um usuário, os notebooks já anexados ao serverless falharão ao conectar quando o usuário executar uma célula e o usuário não verá mais a opção Serverless como disponível no seletor de compute do notebook. Se eles tentarem executar o Databricks Connect, a solicitação de conexão falhará com um erro indicando que o usuário não tem acesso ao serverless.
Restringir o acesso a jobs e pipelines serverless
Para limitar quem pode usar serverless em jobs e pipelines:
- Clique em Computação na barra lateral do workspace.
- Na **tab Serverless**, clique no menu kebab ao lado de **Default Automated Compute** e, em seguida, clique em **Edit permissions**.
- Remova o grupo All Users ou o grupo que inclui todos os usuários do workspace.
- Adicione apenas os usuários, grupos ou Service Principals específicos que você deseja autorizar.
Se você revogar as permissões serverless automatizadas de um usuário, todos os jobs ou pipelines existentes do usuário em execução no serverless falharão ao executar. O usuário verá uma mensagem de erro se tentar executar um job no serverless.
Antes de revogar o acesso de um usuário ao Default Automated Compute , audite quais jobs e pipelines os usuários afetados possuem. A seguinte query identifica cargas de trabalho serverless recentes para um usuário específico:
SELECT *
FROM system.billing.usage
WHERE usage_date >= date_add(now(), -30)
AND billing_origin_product IN ('JOBS', 'DLT')
AND identity_metadata.run_as = '<user_email>';
Verifique a coluna usage_metadata para ver os recursos afetados, como IDs de job e IDs de pipeline.
Auditar uso serverless
Os registros de faturamento serverless incluem um campo serverless_compute_id em usage_metadata. Use-o para rastrear em qual objeto de compute uma carga de trabalho foi executada:
SELECT
usage_metadata.serverless_compute_id,
identity_metadata.run_as,
SUM(usage_quantity) AS total_dbus
FROM system.billing.usage
WHERE billing_origin_product IN ('JOBS', 'DLT', 'INTERACTIVE')
AND usage_metadata.serverless_compute_id IS NOT NULL
AND usage_date >= date_add(now(), -30)
GROUP BY 1, 2
ORDER BY 3 DESC;
Recursos de controle de acesso de compute serverless suportados
Os seguintes recursos estão integrados aos controles de acesso de compute serverless.
Interativo (Compute interativo default)
- Notebooks e notebooks de GPU serverless
- Databricks Connect
Automatizado (Compute automatizado default)
- Jobs e jobs de GPU serverless
- Spark Declarative Pipelines no Lakeflow
Recursos de controle de acesso de compute serverless não suportados
Os seguintes recursos não estão integrados aos controles de acesso do compute serverless:
- Databricks SQL (DBSQL)
- Inferência de lotes (
ai_query()) - Servindo modelo
- Endpoints de throughput provisionada da API do Foundation Model
- Lakebase
- Databricks Apps
- Agent Evaluation e dados sintéticos
- Indexação do Vector Search
- Otimização preditiva
- Monitoramento do lakehouse
- Controle de acesso detalhado em compute dedicado. O acesso ao compute dedicado determina se um usuário pode usar o controle de acesso detalhado.
Para qualquer recurso não listado aqui, entre em contato com sua equipe de account do Databricks para perguntar sobre seu status.
Limitações de controle de acesso serverless
No caso de uma interrupção de serviço, as verificações de acesso podem falhar e permitir o acesso, e usuários que, de outra forma, teriam o acesso negado podem conseguir começar cargas de trabalho serverless. Este recurso destina-se a ajudar a governar o acesso ao compute serverless. Não utilize este recurso para garantir um limite absoluto de gastos nos valores finais faturados. O Databricks não é responsável pelos custos incorridos por cargas de trabalho executadas durante tal evento.
- Você não pode renomear ou excluir objetos de compute default.
- Um job ou pipeline já configurado para ser executado em serverless falhará para qualquer usuário que perder o acesso Can Use ao Default Automated Compute. Revise as cargas de trabalho ativas antes de remover o acesso de um usuário.
- O compute em segundo plano (jobs iniciados pelo sistema) está isento dos controles de acesso do compute serverless.
Definir limites de taxa no compute serverless
Visualização
Os limites de taxa estão em Visualização Privada. Para ingressar nesta pré-visualização, entre em contato com sua equipe de conta Databricks. Após ingressar na pré-visualização, os administradores do workspace podem ativá-la na página Pré-visualizações usando a configuração Serverless Compute Rate Limit .
Um limite de taxa restringe quanto uma carga de trabalho automatizada pode gastar, limitando até onde ela pode realizar o autoscale. Os administradores do Workspace podem criar objetos de compute automatizados personalizados e atribuir a cada um deles um limite de taxa. Quando uma carga de trabalho é executada em um objeto de compute que possui um limite de taxa, o autoscaler serverless não escala os executores Spark da carga de trabalho além do tamanho definido no objeto.
Os limites de taxa aplicam-se apenas a cargas de trabalho automatizadas (jobs e Spark Declarative Pipelines no Lakeflow). Cargas de trabalho interativas (notebooks e Databricks Connect) não possuem limites de taxa.
Um limite de taxa é expresso como um tamanho . Cada tamanho mapeia para um limite aproximado de DBUs que uma carga de trabalho pode consumir por hora. O limite de taxa limita apenas o autoscale do executor Spark. Ele não limita outros componentes de uma carga de trabalho, como o Driver, VMs REPL, GPUs ou refresh de visualizações materializadas e tabelas de streaming.
O limite de taxa é aplicado por carga de trabalho. Cada job e cada pipeline que usa um objeto de compute é limitado de forma independente. Dois jobs que usam o mesmo objeto de compute recebem, cada um, o limite total. Dentro de um único job, o limite é compartilhado entre todas as tarefas do job.
Requisitos de limite de taxa
- Para criar e gerenciar objetos de compute serverless, você deve ser um administrador de workspace ou um usuário com criação de cluster irrestrita.
- Os limites de taxa do Serverless exigem o Databricks Runtime 17.3.1 ou acima. Os jobs usam o runtime mais recente automaticamente. Para o Spark Declarative Pipelines no Lakeflow, opte pelo runtime do canal de visualização.
Criar um compute serverless com um limite de taxa
- Clique em Computação na barra lateral do workspace.
- Na tab Serverless , clique em Criar compute serverless .
- Digite um nome.
- Para Size , selecione o limite de taxa a ser aplicado, de Small a 2X-Large . Deixe definido como Default para usar o limite default do seu workspace.
- Clique em Criar .
O novo objeto de compute aparece na tab Serverless com um tipo de Automated . Para permitir que os usuários executem cargas de trabalho nele, conceda a eles Can Use ou Can Manage conforme descrito em Gerenciar acesso ao compute serverless. Você não pode editar o tamanho de um objeto de compute default.
Tamanhos de limite de taxa
Cada tamanho mapeia para um limite aproximado de DBU por hora:
Tamanho | Limite aproximado |
|---|---|
Pequeno | ~60 DBUs por hora |
Médio | ~120 DBUs por hora |
Grande | ~240 DBUs por hora |
X-Large | ~480 DBUs por hora |
XXL | ~960 DBUs por hora |
Esses limites são thresholds direcionais. O uso real pode flutuar em torno deles devido à variabilidade inerente da infraestrutura serverless.
Escolher Default aplica o limite default do seu workspace: Medium para workspaces de nível premium ou Large para workspaces de nível enterprise. Estes correspondem aos limites máximos de autoscale default existentes para cargas de trabalho automatizadas serverless.
Executar uma carga de trabalho em um compute com limite de taxa
Um usuário com Can Use em um objeto de compute pode selecioná-lo ao configurar um job ou pipeline. A carga de trabalho é então executada sob o limite de taxa do compute. Se uma carga de trabalho não especificar um objeto de compute, ela voltará a usar o Default Automated Compute do seu workspace. Se o usuário não tiver acesso a esse default, a carga de trabalho falhará na execução.
- Jobs : Selecione o objeto de compute serverless no nível do job, seja nas configurações de Compute do job na interface do usuário ou referenciando o ID do compute na API de Jobs. Para copiar o ID, abra o objeto de compute na tab Serverless e clique em Copy compute ID .
- Spark Declarative Pipelines on Lakeflow : Selecione o objeto de compute automatizado como o compute serverless para um pipeline no editor do Lakeflow.
Quando um limite de taxa restringe uma carga de trabalho, você pode visualizar o impacto no histórico de query da carga de trabalho ou, para pipelines, na interface do usuário do Lakeflow.
Limitações de limite de taxa
- Os limites de taxa restringem apenas o autoscale do executor Spark. Outros componentes de custo, como o driver, VMs REPL, GPUs e refreshes de views materializadas ou tabelas de transmissão, não possuem limites.
- O limite de DBU por hora para cada tamanho é uma estimativa. O uso real pode exceder o alvo devido a flutuações modestas no limite aplicado e à variabilidade inerente da infraestrutura serverless.
- Um workload no tamanho 2X-Large pode apresentar desempenho abaixo das expectativas porque o tamanho físico do cluster é limitado a 256 executors. Se dois ou mais workloads 2X-Large forem agendados no mesmo cluster de runtime, cada um poderá atingir um desempenho inferior ao esperado.
- Devido a detalhes de implementação de faturamento, a mesma carga de trabalho pode incorrer em uso de DBU diferente sob diferentes tamanhos de limite de taxa.
- Não é possível definir um limite de taxa em um objeto de compute default.