Referência da tabela do sistema de utilização faturável

Este artigo fornece uma visão geral da tabela do sistema de uso faturável, incluindo o esquema e exemplos de consultas. Com as tabelas do sistema, os dados de uso faturável do seu accountsão centralizados e roteados para todas as regiões, de modo que o senhor pode view o uso global do seu accountde qualquer região em que o workspace esteja.

Para obter informações sobre como usar essa tabela para monitorar os custos do trabalho, consulte Monitorar os custos do trabalho & desempenho with system tables.

Para obter estratégias de análise do uso do serverless, consulte Monitorar o custo do serverless compute .

Caminho da tabela: Essa tabela do sistema está localizada em system.billing.usage.

Esquema da tabela de utilização faturável

A tabela do sistema de uso faturável usa o seguinte esquema:

Nome da coluna	Tipo de dados	Descrição	Exemplo
`record_id`	string	ID exclusivo para esse registro de uso	`11e22ba4-87b9-4cc2` `-9770-d10b894b7118`
`account_id`	string	ID do site account para o qual esse relatório foi gerado	`23e22ba4-87b9-4cc2` `-9770-d10b894b7118`
`workspace_id`	string	ID do site workspace ao qual esse uso estava associado	`1234567890123456`
`sku_name`	string	Nome da SKU	`STANDARD_ALL_PURPOSE_COMPUTE`
`cloud`	string	cloud este uso é relevante para. Os valores possíveis são `AWS`, `AZURE` e `GCP`.	`AWS`, `AZURE`, ou `GCP`
`usage_start_time`	timestamp	O tempo de início relevante para esse registro de uso. As informações de fuso horário são registradas no final do valor com `+00:00` representando o fuso horário UTC.	`2023-01-09 10:00:00.000+00:00`
`usage_end_time`	timestamp	A hora final relevante para esse registro de uso. As informações de fuso horário são registradas no final do valor com `+00:00` representando o fuso horário UTC.	`2023-01-09 11:00:00.000+00:00`
`usage_date`	Data	Data do registro de uso, esse campo pode ser usado para uma agregação mais rápida por data	`2023-01-01`
`custom_tags`	map	aplicadas a esse uso. Inclui compute recurso tags, Job tags, e política orçamentária tags.	`{ “env”: “production” }`
`usage_unit`	string	Unidade em que esse uso é medido. Os valores possíveis incluem DBUs.	`DBU`
`usage_quantity`	decimal	Número de unidades consumidas para esse registro.	`259.2958`
`usage_metadata`	struct	Metadados fornecidos pelo sistema sobre o uso, incluindo IDs para compute recurso e Job (se aplicável). Consulte Referência de metadados de uso.	`{cluster_id: null;` `instance_pool_id: null;` `notebook_id: null;` `job_id: null;` `node_type: null}`
`identity_metadata`	struct	Metadados fornecidos pelo sistema sobre as identidades envolvidas no uso. Consulte Referência de metadados de identidade.	`{"run_as": example@email.com,"created_by":null}`
`record_type`	string	Se o registro é original, uma retratação ou uma reformulação. O valor é `ORIGINAL`, a menos que o registro esteja relacionado a uma correção. Consulte Referência do tipo de registro.	`ORIGINAL`
`ingestion_date`	Data	Data em que o registro foi ingerido na tabela `usage`.	`2024-01-01`
`billing_origin_product`	string	O produto que originou o uso. Alguns produtos podem ser faturados como SKUs diferentes. Para obter os valores possíveis, consulte Referência do produto de origem do faturamento.	`JOBS`
`product_features`	struct	Detalhes sobre o produto recurso específico usado.	Para obter os valores possíveis, consulte produto recurso.
`usage_type`	string	O tipo de uso atribuído ao produto ou à carga de trabalho para fins de faturamento. Os valores possíveis são `COMPUTE_TIME`, `STORAGE_SPACE`, `NETWORK_BYTES`, `API_OPERATION`, `TOKEN` ou `GPU_TIME`.	`STORAGE_SPACE`

Referência de metadados de uso

Os valores em usage_metadata informam sobre os objetos e recursos envolvidos no registro de uso.

Valor	Tipo de dados	Descrição
`cluster_id`	string	ID do cluster associado ao registro de uso
`warehouse_id`	string	ID do site SQL warehouse associado ao registro de uso
`instance_pool_id`	string	ID do pool de instâncias associado ao registro de uso
`node_type`	string	O tipo de instância do recurso compute
`job_id`	string	ID do trabalho associado ao registro de uso. Somente retorna um valor para o uso de serverless compute ou Job compute; caso contrário, retorna `null`.
`job_run_id`	string	ID da execução do trabalho associado ao registro de uso. Somente retorna um valor para o uso de serverless compute ou Job compute; caso contrário, retorna `null`.
`job_name`	string	Nome dado pelo usuário do trabalho associado ao registro de uso. Somente retorna um valor para a execução do trabalho em serverless compute, caso contrário, retorna `null`.
`notebook_id`	string	ID do site Notebook associado ao uso. Retorna apenas um valor para serverless compute para uso em Notebook; caso contrário, retorna `null`.
`notebook_path`	string	caminho de armazenamento do espaço de trabalho do Notebook associado ao uso. Somente retorna um valor para serverless compute para uso do Notebook; caso contrário, retorna `null`.
`dlt_pipeline_id`	string	ID do pipeline do Delta Live Tables associado ao registro de uso
`dlt_update_id`	string	ID da atualização do pipeline Delta Live Tables associada ao registro de uso
`dlt_maintenance_id`	string	ID da tarefa de manutenção Delta Live Tables pipeline associada ao registro de uso
`run_name`	string	Identificador único voltado para o usuário da execução do ajuste fino do Foundation Model associado ao registro de uso
`endpoint_name`	string	O nome do modelo de serviço endpoint ou pesquisa vetorial endpoint associado ao registro de uso
`endpoint_id`	string	ID do modelo de serviço endpoint ou pesquisa vetorial endpoint associado ao registro de uso
`central_clean_room_id`	string	ID da sala limpa central associada ao registro de uso
`source_region`	string	Região do site workspace associada ao uso. Retorna somente um valor para os custos relacionados à rede.
`destination_region`	string	Região do recurso que está sendo acessado. Retorna somente um valor para os custos relacionados à rede.
`metastore_id`	string	ID do metastore associado ao registro de uso.
`app_id`	string	ID do aplicativo associado ao registro de uso.
`app_name`	string	Nome dado pelo usuário do aplicativo associado ao registro de uso.

Referência de metadados de identidade

A coluna identity_metadata pode ajudar o senhor a identificar quem é o responsável por um registro de faturamento serverless. A coluna inclui um valor run_as que atribui o uso a uma identidade.

Além disso, o uso atribuído a Databricks Apps log um valor no campo identity_metadata.created_by. Esse valor é preenchido com o endereço email do usuário que criou o aplicativo.

A identidade registrada em identity_metadata.run_as depende do produto associado ao uso. Consulte a tabela a seguir para ver o comportamento identity_metadata.run_as:

Tipo de carga de trabalho	Identidade de `run_as`
Empregos compute	O usuário ou entidade de serviço definido na configuração `run_as`. Em default, a execução do trabalho é a identidade do proprietário do trabalho, mas os administradores podem alterá-la para outro usuário ou entidade de serviço.
sem servidor compute para o trabalho	O usuário ou entidade de serviço definido na configuração `run_as`. Em default, a execução do trabalho é a identidade do proprietário do trabalho, mas os administradores podem alterá-la para outro usuário ou entidade de serviço.
serverless compute para Notebook	O usuário que executou o comando Notebook (especificamente, o usuário que criou a sessão Notebook ). Para o Notebook compartilhado, isso inclui o uso por outros usuários que compartilham a mesma sessão do Notebook.
Pipelines das Delta Live Tables	O usuário cujas permissões são usadas para executar o Delta Live Tables pipeline. Isso pode ser alterado com a transferência da propriedade do pipeline.
Ajuste fino do modelo básico	O usuário ou a entidade de serviço que iniciou a execução do treinamento de ajuste fino.
Otimização preditiva	A Databricks- entidade de serviço de propriedade do senhor que executa operações de otimização preditiva.
Monitoramento do lakehouse	O usuário que criou o monitor.

Observação

No espaço de trabalho habilitado para o padrão FedRamp compliance, todos os valores não nulos na coluna identity_metadata serão substituídos por __REDACTED__.

Referência do tipo de registro

A tabela billing.usage suporta correções. As correções ocorrem quando qualquer campo do registro de uso está incorreto e deve ser corrigido.

Quando ocorre uma correção, o Databricks adiciona dois novos registros à tabela. Um registro de retratação nega o registro incorreto original e, em seguida, um registro de reafirmação inclui as informações corrigidas. Os registros de correção são identificados usando o campo record_type:

RETRACTION: usado para negar o uso incorreto original. Todos os campos são idênticos ao registro ORIGINAL, exceto usage_quantity, que é um valor negativo que cancela a quantidade de uso original. Por exemplo, se a quantidade de uso do registro original fosse 259.4356, o registro de retração teria uma quantidade de uso de -259.4356.
RESTATEMENT: o registro que inclui os campos e a quantidade de uso corretos.

Por exemplo, a consulta a seguir retorna a quantidade correta de uso por hora relacionada a um job_id, mesmo que tenham sido feitas correções. Ao agregar a quantidade de uso, o registro de retração nega o registro original e somente os valores da atualização são retornados.

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

Observação

Para correções em que o registro de uso original não deveria ter sido escrito, uma correção só pode adicionar um registro de retração e nenhum registro de atualização.

Referência do produto de origem do faturamento

Alguns produtos do Databricks são faturados sob o mesmo SKU compartilhado. Para ajudar o senhor a diferenciar o uso, as colunas billing_origin_product e product_features fornecem mais entendimento sobre o produto específico e o recurso associado ao uso.

A coluna billing_origin_product mostra o produto Databricks associado ao registro de uso. Os valores incluem:

JOBS
DLT
SQL
ALL_PURPOSE
MODEL_SERVING
INTERACTIVE
DEFAULT_STORAGE
VECTOR_SEARCH
LAKEHOUSE_MONITORING
PREDICTIVE_OPTIMIZATION
ONLINE_TABLES
FOUNDATION_MODEL_TRAINING
AGENT_EVALUATION
FINE_GRAIN_ACCESS_CONTROL

NETWORKING: Custos associados à conexão do site serverless compute ao seu recurso workspace

APPS: Custos associados à criação e execução de aplicativos da Databricks

produto recurso referência

A coluna product_features é um objeto que contém informações sobre o produto recurso específico usado e inclui o seguinte par chave-valor:

jobs_tierValores: incluem LIGHT, CLASSIC ou null
sql_tierValores: incluem CLASSIC, PRO ou null
dlt_tierValores: incluem CORE, PRO, ADVANCED ou null
is_serverlessValores incluem true ou false, ou null
is_photonValores incluem true ou false, ou null
serving_typeValores: incluem MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATURE ou null

networking.connectivity_type: os valores incluem PUBLIC_IP e PRIVATE_IP

Consultas de amostra

Este artigo inclui os seguintes exemplos de consultas:

Qual é a tendência diária do consumo de DBU?
Quantas DBUs de cada produto foram usadas ao longo deste mês?
Qual trabalho consumiu mais DBUs?
Quanto uso pode ser atribuído ao recurso com uma tag específica?
Mostre-me o produto em que o uso está crescendo
Qual é a tendência de uso do All Purpose compute (Photon)?
Qual é o consumo DBU de uma tabela materializada view ou de transmissão?
Qual é o consumo de DBU de um serverless DLT pipeline?

Qual é a tendência diária do consumo de DBU?

SELECT
  usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
  system.billing.usage
WHERE
  sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
  usage_date
ORDER BY
  usage_date ASC

Quantas DBUs de cada produto foram usadas ao longo deste mês?

SELECT
    billing_origin_product,
    usage_date,
    sum(usage_quantity) as usage_quantity
FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY billing_origin_product, usage_date

Qual trabalho consumiu mais DBUs?

SELECT
  usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id IS NOT NULL
GROUP BY
  `Job ID`
ORDER BY
  `DBUs` DESC

Quanto uso pode ser atribuído ao recurso com uma tag específica?

Você pode dividir os custos de várias maneiras. Este exemplo mostra como dividir os custos por uma tag personalizada. Digite o key e o valor da tag personalizada nos parâmetros de consulta.

SELECT
  sku_name,
  usage_unit,
  SUM(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  custom_tags [:key] = :value
GROUP BY
  1,
  2

Mostre-me o produto em que o uso está crescendo

SELECT
  after.billing_origin_product, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
  (SELECT
     billing_origin_product, sum(usage_quantity) as before_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date BETWEEN "2023-04-01" and "2023-04-30"
   GROUP BY
     billing_origin_product
  ) as before
JOIN
  (SELECT
     billing_origin_product, sum(usage_quantity) as after_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date
   BETWEEN
     "2023-05-01" and "2023-05-30"
   GROUP BY
     billing_origin_product
  ) as after
WHERE
  before.billing_origin_product = after.billing_origin_product
SORT BY
  growth_rate DESC

Qual é a tendência de uso do All Purpose Compute (Photon)?

SELECT
  sku_name,
  usage_date,
  sum(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  year(usage_date) = year(CURRENT_DATE)
AND
  sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
  usage_date > "2023-04-15"
GROUP BY
  sku_name, usage_date

Qual é o consumo DBU de uma tabela materializada view ou de transmissão?

Para obter o DBU usage e o SKU para uma tabela materializada específica view ou transmissão, envie uma consulta à tabela do sistema billable usage para registros em que usage_metadata.dlt_pipeline_id esteja definido como o ID do pipeline associado à tabela materializada view ou transmissão. O senhor pode encontrar o ID pipeline em Details tab no Catalog Explorer ao visualizar a tabela materializada view ou de transmissão.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = :dlt_pipeline_id
  AND usage_start_time > :usage_start_time
GROUP BY
  ALL

Qual é o consumo de DBU de um pipeline de DLT sem servidor?

Para obter o uso de DBU e SKU para um serverless DLT pipeline, envie uma consulta à tabela do sistema de uso faturável para registros em que usage_metadata.dlt_pipeline_id é definido como o ID do pipeline. O senhor pode encontrar o ID do pipeline em Detalhes do pipeline tab ao visualizar um pipeline na interface do usuário Delta Live Tables. Para limitar opcionalmente o consumo por data, especifique uma data de início, uma data final ou um intervalo de datas.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = :dlt_pipeline_id
  AND usage_start_time >= :usage_start_time
  AND usage_end_time < :usage_end_time
GROUP BY
  ALL