Referência da tabela do sistema de uso faturável

Este artigo fornece uma visão geral da tabela do sistema de uso faturável, incluindo o esquema e exemplos de consultas. Com as tabelas do sistema, os dados de uso faturável do seu accountsão centralizados e roteados para todas as regiões, de modo que o senhor pode view o uso global do seu accountde qualquer região em que o workspace esteja.

Para obter informações sobre como usar essa tabela para monitorar custos e consultas de amostra, consulte Monitorar custos usando tabelas do sistema.

Caminho da tabela : Essa tabela do sistema está localizada em system.billing.usage.

Esquema da tabela de uso faturável

A tabela do sistema de uso faturável usa o seguinte esquema:

Nome da coluna	Tipo de dados	Descrição	Exemplo
record_id	string	ID exclusivo para esse registro de uso	11e22ba4-87b9-4cc2-9770-d10b894b7118
account_id	string	ID do site account para o qual esse relatório foi gerado	23e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id	string	ID do site workspace ao qual esse uso estava associado	1234567890123456
sku_name	string	Nome da SKU	STANDARD_ALL_PURPOSE_COMPUTE
cloud	string	Nuvem associada a esse uso. Os valores possíveis são AWS, AZURE e GCP.	AWS, AZURE ou GCP
usage_start_time	carimbo de data/hora	O tempo de início relevante para esse registro de uso. As informações de fuso horário são registradas no final do valor com +00:00 representando o fuso horário UTC.	2023-01-09 10:00:00.000+00:00
usage_end_time	carimbo de data/hora	A hora de término relevante para esse registro de uso. As informações de fuso horário são registradas no final do valor com +00:00 representando o fuso horário UTC.	2023-01-09 11:00:00.000+00:00
usage_date	Data	Data do registro de uso, esse campo pode ser usado para agregar mais rapidamente por data	2023-01-01
custom_tags	map	Tags personalizadas associadas ao registro de uso	{ “env”: “production” }
usage_unit	string	Unidade em que esse uso é medido	DBU
usage_quantity	Decimal	Número de unidades consumidas para esse registro	259.2958
usage_metadata	struct	Metadados fornecidos pelo sistema sobre o uso, incluindo IDs para compute recurso e Job (se aplicável). Consulte Metadados de uso.	Consulte Metadados de uso
identity_metadata	struct	Metadados fornecidos pelo sistema sobre as identidades envolvidas no uso. Consulte Metadados de identidade.	Consulte Metadados de identidade
record_type	string	Se o registro é original, uma retratação ou uma reformulação. O valor é ORIGINAL, a menos que o registro esteja relacionado a uma correção. Consulte Tipo de registro.	ORIGINAL
ingestion_date	Data	Data em que o registro foi inserido na tabela usage	2024-01-01
billing_origin_product	string	O produto que originou o uso. Alguns produtos podem ser faturados como SKUs diferentes. Para obter os valores possíveis, consulte produto.	JOBS
product_features	struct	Detalhes sobre o produto recurso específico usado. Ver produto recurso.	Ver produto recurso
usage_type	string	O tipo de uso atribuído ao produto ou à carga de trabalho para fins de faturamento. Os valores possíveis são COMPUTE_TIME, STORAGE_SPACE, NETWORK_BYTES, NETWORK_HOUR, API_OPERATION, TOKEN ou GPU_TIME.	STORAGE_SPACE

Referência de metadados de uso

Os valores em usage_metadata são todos strings que informam sobre os objetos workspace e os recursos envolvidos no registro de uso.

Apenas um subconjunto desses valores é preenchido em um determinado registro de uso, dependendo do tipo de compute e do recurso usado. A terceira coluna da tabela mostra quais tipos de uso fazem com que cada valor seja preenchido.

Valor	Descrição	Preenchido para (caso contrário, null)
cluster_id	ID do clustering associado ao registro de uso	Nãoserverless compute uso, incluindo Notebook, Job, DLT e modelo de serviço legado
job_id	ID do trabalho associado ao registro de uso	Trabalho sem servidor e execução de trabalho no site compute (não é preenchido para execução de trabalho no site compute)
warehouse_id	ID do site SQL warehouse associado ao registro de uso	Execução de cargas de trabalho em um SQL warehouse
instance_pool_id	ID do pool de instâncias associado ao registro de uso	Nãoserverless compute uso do pool, incluindo Notebook, Job, DLT e modelo de serviço legado
node_type	O tipo de instância do recurso compute	Uso não relacionado aserverless compute , incluindo Notebook, Job, DLT e todo o depósito SQL
job_run_id	ID da execução do trabalho associado ao registro de uso	Trabalho sem servidor e execução de trabalho no site compute (não é preenchido para execução de trabalho no site compute)
notebook_id	ID do Notebook associado ao uso	Notebook sem servidor
dlt_pipeline_id	ID do pipeline DLT associado ao registro de uso	DLT e recurso que usam o pipeline DLT, como visualização materializada, tabelas on-line, indexação de pesquisa vetorial e LakeFlow Connect
endpoint_name	O nome do modelo de serviço endpoint ou pesquisa vetorial endpoint associado ao registro de uso	servindo modelo e Vector Search
endpoint_id	ID do modelo de serviço endpoint ou pesquisa vetorial endpoint associado ao registro de uso	servindo modelo e Vector Search
dlt_update_id	ID da atualização do pipeline DLT associada ao registro de uso	DLT e recurso que usam o pipeline DLT, como visualização materializada, tabelas on-line, indexação de pesquisa vetorial e LakeFlow Connect
dlt_maintenance_id	ID do DLT pipeline tarefa de manutenção associada ao registro de uso	DLT e recurso que usam o pipeline DLT, como visualização materializada, tabelas on-line, indexação de pesquisa vetorial e LakeFlow Connect
metastore_id	Esse valor não é preenchido no Databricks no GCP	Sempre null
run_name	Nome exclusivo para o usuário da execução do ajuste fino do modelo básico associado ao registro de utilização	Ajuste fino do modelo básico
job_name	Nome dado pelo usuário do trabalho associado ao registro de uso	Execução de trabalhos em serverless compute
notebook_path	caminho de armazenamento do espaço de trabalho do Notebook associado ao uso	Execução do notebook em serverless compute
central_clean_room_id	ID da sala limpa central associada ao registro de uso	Clean Rooms
source_region	Esse valor não é preenchido no Databricks no GCP	Sempre null
destination_region	Esse valor não é preenchido no Databricks no GCP	Sempre null
app_id	ID do aplicativo associado ao registro de uso	Databricks Apps
app_name	Nome dado pelo usuário do aplicativo associado ao registro de uso	Databricks Apps
private_endpoint_name	Esse valor não é preenchido no Databricks no GCP	Sempre null
budget_policy_id	ID da política orçamentária serverless anexada à carga de trabalho	Uso do serverless compute, incluindo Notebook, Job, DLT e endpoint servindo modelo

Referência de metadados de identidade

A coluna identity_metadata fornece mais informações sobre as identidades envolvidas no uso.

• O campo run_as logs que executa a carga de trabalho. Esses valores são preenchidos apenas para determinados tipos de carga de trabalho listados na tabela abaixo.
• O campo owned_by aplica-se apenas ao uso SQL warehouse e logs ao usuário ou entidade de serviço que possui o SQL warehouse responsável pelo uso.

identidades de execução

A identidade registrada em identity_metadata.run_as depende do produto associado ao uso. Consulte a tabela a seguir para ver o comportamento identity_metadata.run_as:

Tipo de carga de trabalho	Identidade de run_as
Empregos compute	O usuário ou entidade de serviço definido na configuração run_as. Em default, a execução do trabalho é a identidade do proprietário do trabalho, mas os administradores podem alterá-la para outro usuário ou entidade de serviço.
sem servidor compute para o trabalho	O usuário ou entidade de serviço definido na configuração run_as. Em default, a execução do trabalho é a identidade do proprietário do trabalho, mas os administradores podem alterá-la para outro usuário ou entidade de serviço.
Compute serverless para notebooks	O usuário que executou o comando do Notebook (especificamente, o usuário que criou a sessão do Notebook). Para o Notebook compartilhado, isso inclui o uso por outros usuários que compartilham a mesma sessão do Notebook.
Pipelines DLT	O usuário cujas permissões são usadas para executar o DLT pipeline. Isso pode ser alterado com a transferência da propriedade do pipeline.
Ajuste fino do modelo básico	O usuário ou a entidade de serviço que iniciou a execução do treinamento de ajuste fino.
Otimização preditiva	A Databricks- entidade de serviço de propriedade do senhor que executa operações de otimização preditiva.
Monitoramento do lakehouse	O usuário que criou o monitor.

Referência do tipo de registro

A tabela billing.usage suporta correções. As correções ocorrem quando qualquer campo do registro de uso está incorreto e deve ser corrigido.

Quando ocorre uma correção, o Databricks adiciona dois novos registros à tabela. Um registro de retratação nega o registro incorreto original e, em seguida, um registro de reafirmação inclui as informações corrigidas. Os registros de correção são identificados usando o campo record_type:

• RETRACTION: usado para negar o uso incorreto original. Todos os campos são idênticos ao registro ORIGINAL, exceto usage_quantity, que é um valor negativo que cancela a quantidade de uso original. Por exemplo, se a quantidade de uso do registro original fosse 259.4356, o registro de retração teria uma quantidade de uso de -259.4356.
• RESTATEMENT: o registro que inclui os campos e a quantidade de uso corretos.

Por exemplo, a consulta a seguir retorna a quantidade correta de uso por hora relacionada a um job_id, mesmo que tenham sido feitas correções. Ao agregar a quantidade de uso, o registro de retração nega o registro original e somente os valores da atualização são retornados.

SQL

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

nota

Para correções em que o registro de uso original não deveria ter sido escrito, uma correção só pode adicionar um registro de retração e nenhum registro de atualização.

Referência do produto de origem do faturamento

Alguns produtos do Databricks são faturados sob o mesmo SKU compartilhado. Por exemplo, o monitoramento de lagoas, a otimização preditiva e o serverless fluxo de trabalho são todos cobrados sob o mesmo serverless Job SKU.

Para ajudar o senhor a diferenciar o uso, as colunas billing_origin_product e product_features fornecem mais entendimento sobre o produto e o recurso específicos associados ao uso.

A coluna billing_origin_product mostra o produto Databricks associado ao registro de uso. Os valores incluem:

• JOBS
• DLT
• SQL
• ALL_PURPOSE
• MODEL_SERVING
• INTERACTIVE
• DEFAULT_STORAGE
• VECTOR_SEARCH
• LAKEHOUSE_MONITORING
• PREDICTIVE_OPTIMIZATION
• ONLINE_TABLES
• FOUNDATION_MODEL_TRAINING
• AGENT_EVALUATION
• FINE_GRAINED_ACCESS_CONTROL

produto recurso referência

A coluna product_features é um objeto que contém informações sobre o produto recurso específico usado e inclui o seguinte par key-value:

• jobs_tier: os valores incluem LIGHT, CLASSIC ou null
• sql_tier: os valores incluem CLASSIC, PRO ou null
• dlt_tier: os valores incluem CORE, PRO, ADVANCED ou null
• is_serverless: os valores incluem true ou false, ou null
• is_photon: os valores incluem true ou false, ou null
• serving_type: os valores incluem MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATURE ou null