Referência da tabela do sistema de uso faturável

Visualização

Este recurso está em visualização pública.

Este artigo fornece uma visão geral da tabela do sistema de uso faturável, incluindo o esquema e exemplos de consultas. Com as tabelas do sistema, os dados de uso faturável do seu accountsão centralizados e roteados para todas as regiões, de modo que o senhor pode view o uso global do seu accountde qualquer região em que o workspace esteja.

Esquema da tabela de uso faturável

A tabela do sistema de uso faturável está localizada em system.billing.usage e usa o seguinte esquema:

Nome da coluna

Tipo de dados

Descrição

Exemplo

record_id

String

ID exclusivo para este registro

11e22ba4-87b9-4cc2-9770-d10b894b7118

account_id

String

ID da account para a qual este relatório foi gerado

23e22ba4-87b9-4cc2-9770-d10b894b7118

workspace_id

String

ID do workspace ao qual este uso foi associado

1234567890123456

sku_name

String

Nome do SKU

STANDARD_ALL_PURPOSE_COMPUTE

cloud

String

cloud para a qual esse uso é relevante. Os valores possíveis são AWS, AZURE e GCP.

AWS, AZURE, ou GCP

usage_start_time

Timestamp

O tempo de início relevante para este registro de uso

2023-01-09 10:00:00.000

usage_end_time

Timestamp

A hora final relevante para este registro de uso

2023-01-09 11:00:00.000

usage_date

data

Data do registro de uso. Esse campo pode ser usado para uma agregação mais rápida por data.

2023-01-01

custom_tags

mapa

tags aplicadas pelos usuários a este uso

{ “env”: “production” }

usage_unit

String

Unidade Esse uso é medido em

DBU

usage_quantity

decimal

Número de unidades consumidas para esse registro

259.2958

usage_metadata

estrutura

Metadados fornecidos pelo sistema sobre o uso, incluindo IDs para compute recurso e Job (se aplicável). Consulte Analisar metadados de uso.

{cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null}

identity_metadata

estrutura

Metadados fornecidos pelo sistema sobre as identidades envolvidas no uso. Consulte Analisar metadados de identidade.

{run_as: example@email.com}

record_type

String

Se o registro é uma correção. Os valores possíveis são ORIGINAL, RETRACTION e RESTATEMENT.

ORIGINAL

ingestion_date

data

Data em que o registro foi ingerido na tabela usage

2024-01-01

Analisar metadados de uso

Os valores em usage_metadata informam o senhor sobre o recurso envolvido no registro de uso.

Valor

Tipo de dados

Descrição

cluster_id

string

ID do cluster associado ao registro de uso

instance_pool_id

string

ID do pool de instâncias associado ao registro de uso

node_type

string

O tipo de instância do recurso compute

job_id

string

ID do site Job associado ao registro de uso

job_run_id

string

ID da Job execução associada ao registro de uso

notebook_id

string

ID do site Notebook associado ao registro de uso

dlt_pipeline_id

string

ID do pipeline do Delta Live Tables associado ao registro de uso

Observação

Em casos raros, job_run_id não é preenchido para trabalhos de longa duração cujo compute começou a ser executado antes de Databricks começar a capturar os metadados job_run_id. Reinicie o Job's compute para começar a gravar o job_run_id.

Encontre um Job ou Notebook na interface do usuário usando o Job ou Notebook

Estas instruções explicam como acessar um site específico Job ou Notebook na interface do usuário com base em seu ID.

Para localizar um Job na UI com base em seu job_id:

  1. Copie o job_id do registro de uso. Para este exemplo, suponha que o ID seja 700809544510906.

  2. Navegue até o fluxo de trabalho UI no mesmo Databricks workspace que o Job.

  3. Certifique-se de que o filtro Only Job owned by me esteja desmarcado.

  4. Cole o ID(700809544510906) na barra de pesquisa Filter Job.

Para localizar um Notebook na UI com base em seu notebook_id, use as instruções a seguir:

  1. Copie o notebook_id do registro de uso. Para este exemplo, suponha que o ID seja 700809544510906.

  2. Navegue até a UI do espaço de trabalho no mesmo Databricks workspace que o Notebook.

  3. Clique em qualquer Notebook que o senhor vir.

  4. Depois de abrir o site Notebook, examine o URL na barra de endereços do navegador. Ele deve se parecer com https://<account-console-url>/?o=<workspace ID>#notebook/<notebook ID>/command/<command ID>.

  5. Na barra de endereços do navegador, substitua o ID Notebook pelo ID que o senhor copiou no primeiro passo e, em seguida, exclua tudo após o ID Notebook. Ele deve se parecer com https://<account-console-url>/?o=<workspace ID>#notebook/700809544510906.

  6. Depois de acessar o site Notebook, o senhor pode clicar no botão Share (Compartilhar ) para view o proprietário do site Notebook.

Analisar metadados de identidade

A coluna identity_metadata pode ajudar o senhor a identificar quem é o responsável por um registro de faturamento serverless. A coluna inclui um valor run_as que atribui o uso a uma identidade. A identidade registrada em identity_metadata.run_as depende do produto associado ao uso.

Consulte a tabela a seguir para ver o comportamento identity_metadata.run_as:

Tipo de carga de trabalho

Identidade de run_as

serverless compute para fluxo de trabalho

O usuário ou entidade de serviço definido na execução como configuração. Em default, a execução do trabalho é a identidade do proprietário de Job, mas os administradores podem alterar essa identidade para outro usuário ou entidade de serviço.

serverless compute para Notebook

O usuário que executou o comando Notebook (especificamente, o usuário que criou a sessão Notebook ). Para o Notebook compartilhado, isso inclui o uso por outros usuários que compartilham a mesma sessão do Notebook.

Uso de computação sem servidor

Para obter estratégias de análise do uso do serverless, consulte Monitorar o custo do serverless compute .

Exemplo query

Você pode usar o exemplo query a seguir para responder a perguntas comuns sobre uso faturável:

Qual é a tendência diária do consumo de DBU?

SELECT usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
  FROM system.billing.usage
WHERE sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY usage_date
ORDER BY usage_date ASC

Quantas DBUs de cada SKU foram utilizadas ao longo deste mês?

SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs`
    FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY sku_name, usage_date

Quanto de cada SKU um espaço de trabalho usou em 1º de junho?

Certifique-se de substituir workspace_id por seu ID workspace real.

SELECT sku_name, sum(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE workspace_id = 1234567890123456
AND usage_date = "2023-06-01"
GROUP BY sku_name

Observação

Essa query retorna uma linha por ID de SKU exclusivo usado no workspace na data escolhida.

Qual Job consumiu mais DBUs?

SELECT usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `DBUs`
FROM system.billing.usage
WHERE usage_metadata.job_id IS NOT NULL
GROUP BY `Job ID`
ORDER BY `DBUs` DESC

Quanto uso pode ser atribuído ao recurso com um tag específico?

O senhor pode dividir os custos de várias maneiras. Este exemplo mostra ao senhor como dividir os custos por uma tag personalizada. Não se esqueça de substituir o tagpersonalizado por key e o valor na consulta.

SELECT sku_name, usage_unit, SUM(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2

Mostre-me os SKUs onde o uso está crescendo

SELECT after.sku_name, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
(SELECT sku_name, sum(usage_quantity) as before_dbus
    FROM system.billing.usage
WHERE usage_date BETWEEN "2023-04-01" and "2023-04-30"
GROUP BY sku_name) as before
JOIN
(SELECT sku_name, sum(usage_quantity) as after_dbus
    FROM system.billing.usage
WHERE usage_date BETWEEN "2023-05-01" and "2023-05-30"
GROUP BY sku_name) as after
where before.sku_name = after.sku_name
SORT by growth_rate DESC

Qual é a tendência de uso do All Purpose Compute (Photon)?

SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs consumed`
    FROM system.billing.usage
WHERE year(usage_date) = year(CURRENT_DATE)
AND sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND usage_date > "2023-04-15"
GROUP BY sku_name, usage_date

Qual é o consumo de DBU de uma visualização materializada ou tabela de transmissão?

Para determinar o uso de DBU e SKU para uma tabela materializada específica view ou de transmissão, o senhor precisa do ID pipeline associado (dlt_pipeline_id). Localize o ID do pipeline em Details tab ao visualizar a tabela materializada relevante view ou a tabela de transmissão no Catalog Explorer.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "113739b7-3f45-4a88-b6d9-e97051e773b9"
  AND usage_start_time > "2023-05-30"
GROUP BY
  ALL