Referência da tabela do sistema de uso faturável

Este artigo fornece uma visão geral da tabela do sistema de uso faturável, incluindo o esquema e exemplos de consultas. Com as tabelas do sistema, os dados de uso faturável do seu accountsão centralizados e roteados para todas as regiões, de modo que o senhor pode view o uso global do seu accountde qualquer região em que o workspace esteja.

Para obter informações sobre como usar essa tabela para monitorar custos e consultas de amostra, consulte Monitorar custos usando tabelas do sistema.

Caminho da tabela : Essa tabela do sistema está localizada em system.billing.usage.

Esquema da tabela de uso faturável

A tabela do sistema de uso faturável usa o seguinte esquema:

Nome da coluna	Tipo de dados	Descrição	Exemplo
record_id	string	ID exclusivo para esse registro de uso	11e22ba4-87b9-4cc2-9770-d10b894b7118
account_id	string	ID do site account para o qual esse relatório foi gerado	23e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id	string	ID do site workspace ao qual esse uso estava associado	1234567890123456
sku_name	string	Nome da SKU	STANDARD_ALL_PURPOSE_COMPUTE
cloud	string	Nuvem associada a esse uso. Os valores possíveis são AWS, AZURE e GCP.	AWS, AZURE ou GCP
usage_start_time	carimbo de data/hora	O tempo de início relevante para esse registro de uso. As informações de fuso horário são registradas no final do valor com +00:00 representando o fuso horário UTC.	2023-01-09 10:00:00.000+00:00
usage_end_time	carimbo de data/hora	A hora de término relevante para esse registro de uso. As informações de fuso horário são registradas no final do valor com +00:00 representando o fuso horário UTC.	2023-01-09 11:00:00.000+00:00
usage_date	Data	Data do registro de uso, esse campo pode ser usado para agregar mais rapidamente por data	2023-01-01
custom_tags	map	Tags personalizadas associadas ao registro de uso	{ “env”: “production” }
usage_unit	string	Unidade em que esse uso é medido	DBU
usage_quantity	Decimal	Número de unidades consumidas para esse registro	259.2958
usage_metadata	struct	Metadados fornecidos pelo sistema sobre o uso, incluindo IDs para compute recurso e Job (se aplicável). Consulte Metadados de uso.	{cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null}
identity_metadata	struct	Metadados fornecidos pelo sistema sobre as identidades envolvidas no uso. Consulte Metadados de identidade.	Consulte os metadados de identidade
record_type	string	Se o registro é original, uma retratação ou uma reformulação. O valor é ORIGINAL, a menos que o registro esteja relacionado a uma correção. Consulte Tipo de registro.	ORIGINAL
ingestion_date	Data	Data em que o registro foi inserido na tabela usage	2024-01-01
billing_origin_product	string	O produto que originou o uso. Alguns produtos podem ser faturados como SKUs diferentes. Para obter os valores possíveis, consulte produto.	JOBS
product_features	struct	Detalhes sobre o produto recurso específico usado. Ver produto recurso.	Ver produto recurso
usage_type	string	O tipo de uso atribuído ao produto ou à carga de trabalho para fins de faturamento. Os valores possíveis são COMPUTE_TIME, STORAGE_SPACE, NETWORK_BYTES, NETWORK_HOUR, API_OPERATION, TOKEN ou GPU_TIME.	STORAGE_SPACE

Referência de metadados de uso

Os valores em usage_metadata informam sobre os objetos e recursos envolvidos no registro de uso.

Valor	Tipo de dados	Descrição
cluster_id	string	ID do clustering associado ao registro de uso
warehouse_id	string	ID do site SQL warehouse associado ao registro de uso
instance_pool_id	string	ID do pool de instâncias associado ao registro de uso
node_type	string	O tipo de instância do recurso compute
job_id	string	ID do trabalho associado ao registro de uso. Somente retorna um valor para o uso de serverless compute ou Job compute; caso contrário, retorna null .
job_run_id	string	ID da execução do trabalho associado ao registro de uso. Somente retorna um valor para o uso de serverless compute ou Job compute; caso contrário, retorna null .
job_name	string	Nome dado pelo usuário do trabalho associado ao registro de uso. Somente retorna um valor para a execução do trabalho em serverless compute, caso contrário, retorna null .
notebook_id	string	ID do Notebook associado ao uso. Somente retorna um valor para serverless compute para uso do Notebook; caso contrário, retorna null .
notebook_path	string	caminho de armazenamento do espaço de trabalho do Notebook associado ao uso. Somente retorna um valor para serverless compute para uso do Notebook; caso contrário, retorna null .
dlt_pipeline_id	string	ID do pipeline DLT associado ao registro de uso
dlt_update_id	string	ID da atualização do pipeline DLT associada ao registro de uso
dlt_maintenance_id	string	ID do DLT pipeline tarefa de manutenção associada ao registro de uso
run_name	string	Identificador exclusivo voltado para o usuário do Foundation Model Fine-tuning associado ao registro de uso
endpoint_name	string	O nome do modelo de serviço endpoint ou pesquisa vetorial endpoint associado ao registro de uso
endpoint_id	string	ID do modelo de serviço endpoint ou pesquisa vetorial endpoint associado ao registro de uso
central_clean_room_id	string	ID da sala limpa central associada ao registro de uso
metastore_id	string	ID do metastore associado ao registro de uso.

Referência de metadados de identidade

A coluna identity_metadata fornece mais informações sobre as identidades envolvidas no uso. O campo run_as logs quem executa a carga de trabalho. O campo owned_by aplica-se apenas ao uso SQL warehouse e logs ao usuário ou entidade de serviço que possui o SQL warehouse responsável pelo uso.

identidades de execução

A identidade registrada em identity_metadata.run_as depende do produto associado ao uso. Consulte a tabela a seguir para ver o comportamento identity_metadata.run_as:

Tipo de carga de trabalho	Identidade de run_as
Empregos compute	O usuário ou entidade de serviço definido na configuração run_as. Em default, a execução do trabalho é a identidade do proprietário do trabalho, mas os administradores podem alterá-la para outro usuário ou entidade de serviço.
sem servidor compute para o trabalho	O usuário ou entidade de serviço definido na configuração run_as. Em default, a execução do trabalho é a identidade do proprietário do trabalho, mas os administradores podem alterá-la para outro usuário ou entidade de serviço.
Compute serverless para notebooks	O usuário que executou o comando do Notebook (especificamente, o usuário que criou a sessão do Notebook). Para o Notebook compartilhado, isso inclui o uso por outros usuários que compartilham a mesma sessão do Notebook.
Pipelines DLT	O usuário cujas permissões são usadas para executar o DLT pipeline. Isso pode ser alterado com a transferência da propriedade do pipeline.
Ajuste fino do modelo básico	O usuário ou a entidade de serviço que iniciou a execução do treinamento de ajuste fino.
Otimização preditiva	A Databricks- entidade de serviço de propriedade do senhor que executa operações de otimização preditiva.
Monitoramento do lakehouse	O usuário que criou o monitor.

Referência do tipo de registro

A tabela billing.usage suporta correções. As correções ocorrem quando qualquer campo do registro de uso está incorreto e deve ser corrigido.

Quando ocorre uma correção, o Databricks adiciona dois novos registros à tabela. Um registro de retratação nega o registro incorreto original e, em seguida, um registro de reafirmação inclui as informações corrigidas. Os registros de correção são identificados usando o campo record_type:

• RETRACTION: usado para negar o uso incorreto original. Todos os campos são idênticos ao registro ORIGINAL, exceto usage_quantity, que é um valor negativo que cancela a quantidade de uso original. Por exemplo, se a quantidade de uso do registro original fosse 259.4356, o registro de retração teria uma quantidade de uso de -259.4356.
• RESTATEMENT: o registro que inclui os campos e a quantidade de uso corretos.

Por exemplo, a consulta a seguir retorna a quantidade correta de uso por hora relacionada a um job_id, mesmo que tenham sido feitas correções. Ao agregar a quantidade de uso, o registro de retração nega o registro original e somente os valores da atualização são retornados.

SQL

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

nota

Para correções em que o registro de uso original não deveria ter sido escrito, uma correção só pode adicionar um registro de retração e nenhum registro de atualização.

Referência do produto de origem do faturamento

Alguns Databricks produtos são faturados sob o mesmo SKU compartilhado. Para ajudar o senhor a diferenciar o uso, as colunas billing_origin_product e product_features fornecem mais entendimento sobre o produto e o recurso específicos associados ao uso.

A coluna billing_origin_product mostra o produto Databricks associado ao registro de uso. Os valores incluem:

• JOBS
• DLT
• SQL
• ALL_PURPOSE
• MODEL_SERVING
• INTERACTIVE
• DEFAULT_STORAGE
• VECTOR_SEARCH
• LAKEHOUSE_MONITORING
• PREDICTIVE_OPTIMIZATION
• ONLINE_TABLES
• FOUNDATION_MODEL_TRAINING
• AGENT_EVALUATION
• FINE_GRAIN_ACCESS_CONTROL

produto recurso referência

A coluna product_features é um objeto que contém informações sobre o produto recurso específico usado e inclui o seguinte par key-value:

• jobs_tier: os valores incluem LIGHT, CLASSIC ou null
• sql_tier: os valores incluem CLASSIC, PRO ou null
• dlt_tier: os valores incluem CORE, PRO, ADVANCED ou null
• is_serverless: os valores incluem true ou false, ou null
• is_photon: os valores incluem true ou false, ou null
• serving_type: os valores incluem MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATURE ou null