Monitore e controle seus custos do Databricks
Configure o monitoramento de custos enquanto sua account é pequena, antes que o uso aumente em todas as equipes e Workspace. O Databricks registra o uso faturável de sua account em tabelas do sistema. Use dashboards de uso, tags personalizadas e orçamentos para monitorar gastos, atribuí-los às equipes e projetos que os incorrem e receber alertas quando ultrapassarem um limite.
Comece a usar tags desde o início. Cada registro de uso armazena as tags personalizadas que se aplicam ao compute quando o uso ocorre, portanto, você não pode atribuir o uso que teve execução antes de adicionar as tags.
Tabelas do sistema são a fonte dos dados de custos
As tabelas do sistema são um armazenamento analítico hospedado pelo Databricks dos dados operacionais de sua account, no catálogo system. A tabela system.billing.usage registra o uso faturável de todos os workspaces em sua account, em todas as regiões, incluindo os recursos usados, as tags personalizadas aplicadas a eles e as identidades envolvidas no uso. A tabela system.billing.list_prices registra o preço de lista de cada SKU (Stock Keeping Unit) ao longo do tempo. Os dashboards de uso e as queries de custo nesta seção lêem essas tabelas. Alguns dashboards também lêem outras tabelas do sistema, como tabelas de compute, job e serving.
Usuários com as funções de administrador account e administrador de metastore podem query tabelas do sistema por default. Para permitir que outros usuários as query, conceda USE CATALOG no catálogo system e USE SCHEMA e SELECT nos esquemas do sistema. Consulte Conceder acesso às tabelas do sistema.
Para exemplos de queries, consulte Monitorar custos usando tabelas do sistema. Para o esquema da tabela, consulte Referência da tabela do sistema de uso faturável.
Configurar monitoramento de custos
Conclua as seguintes tarefas na ordem:
Tarefa | Descrição | GUIA |
|---|---|---|
Importação do painel de uso | Detalhamentos de uso pré-construídos por produto, SKU e tag personalizada | |
Instalação adicional de painel (opcional) | Previsões de custos e atribuição de custos para jobs, SQL warehouses e servindo modelo | |
Tagging de compute e workload | Tags personalizadas para atribuição de uso a equipes e projetos | Aplique tags a compute e cargas de trabalho para atribuição de custos |
Criação de orçamento | Limites mensais de gastos e alertas por email |
Os passos seguintes
-
- Importar um dashboard de uso
- Importe um dashboard de uso para view gastos por produto, SKU e tag personalizada
-
- Ferramentas de gerenciamento de custos no Databricks
- Explore os recursos de controle e monitoramento de custos no Databricks