Referência da tabela do sistema de utilização faturável

Este artigo fornece uma visão geral da tabela do sistema de uso faturável, incluindo o esquema e exemplos de consultas. Com as tabelas do sistema, os dados de uso faturável do seu accountsão centralizados e roteados para todas as regiões, de modo que o senhor pode view o uso global do seu accountde qualquer região em que o workspace esteja.

Para obter informações sobre como usar essa tabela para monitorar os custos do Job, consulte Monitorar os custos do Job com as tabelas do sistema.

Para obter estratégias de análise do uso do serverless, consulte Monitorar o custo do serverless compute .

Caminho da tabela: Essa tabela do sistema está localizada em system.billing.usage.

Esquema da tabela de utilização faturável

A tabela do sistema de uso faturável usa o seguinte esquema:

Nome da coluna

Tipo de dados

Descrição

Exemplo

record_id

string

ID exclusivo para esse registro

11e22ba4-87b9-4cc2 -9770-d10b894b7118

account_id

string

ID do site account para o qual esse relatório foi gerado

23e22ba4-87b9-4cc2 -9770-d10b894b7118

workspace_id

string

ID do site workspace ao qual esse uso estava associado

1234567890123456

sku_name

string

Nome da SKU

STANDARD_ALL_PURPOSE_COMPUTE

cloud

string

cloud este uso é relevante para. Os valores possíveis são AWS, AZURE e GCP.

AWS, AZURE, ou GCP

usage_start_time

timestamp

O tempo de início relevante para esse registro de uso. As informações de fuso horário são registradas no final do valor com +00:00 representando o fuso horário UTC.

2023-01-09 10:00:00.000+00:00

usage_end_time

timestamp

A hora final relevante para esse registro de uso. As informações de fuso horário são registradas no final do valor com +00:00 representando o fuso horário UTC.

2023-01-09 11:00:00.000+00:00

usage_date

Data

Data do registro de uso, esse campo pode ser usado para uma agregação mais rápida por data

2023-01-01

custom_tags

map

aplicadas a esse uso. Inclui compute recurso tags, Job tags, e política orçamentária tags.

{ “env”: “production” }

usage_unit

string

Unidade em que esse uso é medido. Os valores possíveis incluem DBUs.

DBU

usage_quantity

decimal

Número de unidades consumidas para esse registro.

259.2958

usage_metadata

struct

Metadados fornecidos pelo sistema sobre o uso, incluindo IDs para compute recurso e Job (se aplicável). Consulte Analisar metadados de uso.

{cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null}

identity_metadata

struct

Metadados fornecidos pelo sistema sobre as identidades envolvidas no uso. Consulte Analisar metadados de identidade.

{run_as: example@email.com}

record_type

string

Se o registro é original, uma retratação ou uma reformulação. O valor é ORIGINAL, a menos que o registro esteja relacionado a uma correção. Consulte Analisar registros de correção.

ORIGINAL

ingestion_date

Data

Data em que o registro foi ingerido na tabela usage.

2024-01-01

billing_origin_product

string

O produto que originou o uso. Alguns produtos podem ser faturados como SKUs diferentes. Para obter os valores possíveis, consulte view informações sobre o produto associado ao uso.

JOBS

product_features

struct

Detalhes sobre o produto recurso específico usado.

Para obter os valores possíveis, consulte produto recurso.

usage_type

string

O tipo de uso atribuído ao produto ou à carga de trabalho para fins de faturamento. Os valores possíveis são COMPUTE_TIME, STORAGE_SPACE, NETWORK_BYTES, API_OPERATION, TOKEN ou GPU_TIME.

STORAGE_SPACE

Analisar metadados de uso

Os valores em usage_metadata informam o senhor sobre o recurso envolvido no registro de uso.

Valor

Tipo de dados

Descrição

cluster_id

string

ID do cluster associado ao registro de uso

warehouse_id

string

ID do site SQL warehouse associado ao registro de uso

instance_pool_id

string

ID do pool de instâncias associado ao registro de uso

node_type

string

O tipo de instância do recurso compute

job_id

string

ID do trabalho associado ao registro de uso. Somente retorna um valor para o uso de serverless compute ou Job compute; caso contrário, retorna null.

job_run_id

string

ID da execução do trabalho associado ao registro de uso. Somente retorna um valor para o uso de serverless compute ou Job compute; caso contrário, retorna null.

job_name

string

Nome dado pelo usuário do trabalho associado ao registro de uso. Somente retorna um valor para a execução do trabalho em serverless compute, caso contrário, retorna null.

notebook_id

string

ID do site Notebook associado ao uso. Retorna apenas um valor para serverless compute para uso em Notebook; caso contrário, retorna null.

notebook_path

string

caminho de armazenamento do espaço de trabalho do Notebook associado ao uso. Somente retorna um valor para serverless compute para uso do Notebook; caso contrário, retorna null.

dlt_pipeline_id

string

ID do pipeline do Delta Live Tables associado ao registro de uso

dlt_update_id

string

ID da atualização do pipeline Delta Live Tables associada ao registro de uso

dlt_maintenance_id

string

ID da tarefa de manutenção Delta Live Tables pipeline associada ao registro de uso

run_name

string

Identificador único voltado para o usuário da execução do ajuste fino do Foundation Model associado ao registro de uso

endpoint_name

string

O nome do modelo de serviço endpoint ou pesquisa vetorial endpoint associado ao registro de uso

endpoint_id

string

ID do modelo de serviço endpoint ou pesquisa vetorial endpoint associado ao registro de uso

central_clean_room_id

string

ID da sala limpa central associada ao registro de uso

source_region

string

Região do site workspace associada ao uso. Retorna somente um valor para os custos relacionados à rede.

destination_region

string

Região do recurso que está sendo acessado. Retorna somente um valor para os custos relacionados à rede.

Analisar metadados de identidade

A coluna identity_metadata pode ajudar o senhor a identificar quem é o responsável por um registro de faturamento serverless. A coluna inclui um valor run_as que atribui o uso a uma identidade. A identidade registrada em identity_metadata.run_as depende do produto associado ao uso.

Consulte a tabela a seguir para ver o comportamento identity_metadata.run_as:

Tipo de carga de trabalho

Identidade de run_as

Empregos compute

O usuário ou entidade de serviço definido na configuração run_as. Em default, a execução do trabalho é a identidade do proprietário do trabalho, mas os administradores podem alterá-la para outro usuário ou entidade de serviço.

sem servidor compute para o trabalho

O usuário ou entidade de serviço definido na configuração run_as. Em default, a execução do trabalho é a identidade do proprietário do trabalho, mas os administradores podem alterá-la para outro usuário ou entidade de serviço.

serverless compute para Notebook

O usuário que executou o comando Notebook (especificamente, o usuário que criou a sessão Notebook ). Para o Notebook compartilhado, isso inclui o uso por outros usuários que compartilham a mesma sessão do Notebook.

Pipelines das Delta Live Tables

O usuário cujas permissões são usadas para executar o Delta Live Tables pipeline. Isso pode ser alterado com a transferência da propriedade do pipeline.

Ajuste fino do modelo básico

O usuário ou a entidade de serviço que iniciou a execução do treinamento de ajuste fino.

Analise os registros de correção

A tabela billing.usage suporta correções. As correções ocorrem quando qualquer campo do registro de uso está incorreto e deve ser corrigido.

Quando ocorre uma correção, o Databricks adiciona dois novos registros à tabela. Um registro de retratação nega o registro incorreto original e, em seguida, um registro de reafirmação inclui as informações corrigidas. Os registros de correção são identificados usando o campo record_type:

  • RETRACTION: usado para negar o uso incorreto original. Todos os campos são idênticos ao registro ORIGINAL, exceto usage_quantity, que é um valor negativo que cancela a quantidade de uso original. Por exemplo, se a quantidade de uso do registro original fosse 259.4356, o registro de retração teria uma quantidade de uso de -259.4356.

  • RESTATEMENT: o registro que inclui os campos e a quantidade de uso corretos.

Por exemplo, a consulta a seguir retorna a quantidade correta de uso por hora relacionada a um job_id, mesmo que tenham sido feitas correções. Ao agregar a quantidade de uso, o registro de retração nega o registro original e somente os valores da atualização são retornados.

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

Observação

Para correções em que o registro de uso original não deveria ter sido escrito, uma correção só pode adicionar um registro de retração e nenhum registro de atualização.

view informações sobre o produto associado ao uso

Alguns produtos do Databricks são faturados sob o mesmo SKU compartilhado. Para ajudar o senhor a diferenciar o uso, as colunas billing_origin_product e product_features fornecem mais entendimento sobre o produto específico e o recurso associado ao uso.

A coluna billing_origin_product mostra o produto Databricks associado ao registro de uso. Os valores incluem:

  • JOBS

  • DLT

  • SQL

  • ALL_PURPOSE

  • MODEL_SERVING

  • INTERACTIVE

  • DEFAULT_STORAGE

  • VECTOR_SEARCH

  • LAKEHOUSE_MONITORING

  • PREDICTIVE_OPTIMIZATION

  • ONLINE_TABLES

  • FOUNDATION_MODEL_TRAINING

  • NETWORKING: Custos associados à conexão do site serverless compute ao seu recurso workspace

A coluna product_features é um objeto que contém informações sobre o produto recurso específico usado e inclui o seguinte par chave-valor:

  • jobs_tierValores: incluem LIGHT, CLASSIC ou null

  • sql_tierValores: incluem CLASSIC, PRO ou null

  • dlt_tierValores: incluem CORE, PRO, ADVANCED ou null

  • is_serverlessValores incluem true ou false, ou null

  • is_photonValores incluem true ou false, ou null

  • serving_typeValores: incluem MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATURE ou null

  • networking.connectivity_type: os valores incluem PUBLIC_IP e PRIVATE_IP

Consultas de amostra

O senhor pode usar os exemplos de consultas a seguir para responder a perguntas comuns sobre o uso faturável:

Qual é a tendência diária do consumo de DBU? 

SELECT
  usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
  system.billing.usage
WHERE
  sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
  usage_date
ORDER BY
  usage_date ASC

Quantas DBUs de cada produto foram usadas ao longo deste mês? 

SELECT
    billing_origin_product,
    usage_date,
    sum(usage_quantity) as usage_quantity
FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY billing_origin_product, usage_date

Qual trabalho consumiu mais DBUs? 

SELECT
  usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id IS NOT NULL
GROUP BY
  `Job ID`
ORDER BY
  `DBUs` DESC

Quanto uso pode ser atribuído ao recurso com um tag específico?

O senhor pode dividir os custos de várias maneiras. Este exemplo mostra ao senhor como dividir os custos por uma tag personalizada. Não se esqueça de substituir o tagpersonalizado por key e o valor na consulta.

SELECT
  sku_name, usage_unit, SUM(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2

Mostre-me o produto em que o uso está crescendo 

SELECT
  after.billing_origin_product, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
  (SELECT
     billing_origin_product, sum(usage_quantity) as before_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date BETWEEN "2023-04-01" and "2023-04-30"
   GROUP BY
     billing_origin_product
  ) as before
JOIN
  (SELECT
     billing_origin_product, sum(usage_quantity) as after_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date
   BETWEEN
     "2023-05-01" and "2023-05-30"
   GROUP BY
     billing_origin_product
  ) as after
WHERE
  before.billing_origin_product = after.billing_origin_product
SORT BY
  growth_rate DESC

Qual é a tendência de uso do All Purpose Compute (Photon)? 

SELECT
  sku_name,
  usage_date,
  sum(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  year(usage_date) = year(CURRENT_DATE)
AND
  sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
  usage_date > "2023-04-15"
GROUP BY
  sku_name, usage_date

Qual é o consumo DBU de uma tabela materializada view ou de transmissão?

Para obter o DBU usage e o SKU para uma tabela materializada específica view ou transmissão, envie uma consulta à tabela do sistema billable usage para registros em que usage_metadata.dlt_pipeline_id esteja definido como o ID do pipeline associado à tabela materializada view ou transmissão. O senhor pode encontrar o ID pipeline em Details tab no Catalog Explorer ao visualizar a tabela materializada view ou de transmissão. Para limitar opcionalmente o consumo por data, especifique uma data de início, uma data final ou um intervalo de datas. A consulta a seguir recupera o uso do DBU para o pipeline com ID 00732f83-cd59-4c76-ac0d-57958532ab5b e uma data de início de uso de 2023-05-30:

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
  usage_start_time > "2023-05-30"
GROUP BY
  ALL

Qual é o consumo de DBU de um pipeline DLT sem servidor?

Para obter o uso de DBU e SKU para um serverless DLT pipeline, envie uma consulta à tabela do sistema de uso faturável para registros em que usage_metadata.dlt_pipeline_id é definido como o ID do pipeline. O senhor pode encontrar o ID do pipeline em Detalhes do pipeline tab ao visualizar um pipeline na interface do usuário Delta Live Tables. Para limitar opcionalmente o consumo por data, especifique uma data de início, uma data final ou um intervalo de datas. A consulta a seguir recupera o uso de DBU de dezembro de 2023 para o pipeline com ID 00732f83-cd59-4c76-ac0d-57958532ab5b.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
  usage_start_time >= "2023-12-01"
AND
  usage_end_time < "2024-01-01"
GROUP BY
  ALL