Pular para o conteúdo principal

visualizar e consultar o faturamento logs

Este artigo explica como os administradores podem monitorar o uso em sua conta SAP Databricks usando as tabelas do sistema de faturamento.

O que são tabelas do sistema?​

As tabelas do sistema são um armazenamento analítico dos dados operacionais do site account encontrados no catálogo system. As tabelas do sistema podem ser usadas para observação histórica em seu site account. Eles são somente para leitura e não podem ser modificados.

Para conceder acesso ao esquema billing, um usuário que seja administrador do metastore e administrador do account deve conceder permissões para USE e SELECT nos esquemas do sistema.

Tabelas de cobrança disponíveis​

Há duas tabelas que você pode usar para monitorar os custos:

  • system.billing.usage: Dá ao senhor acesso a dados de uso faturáveis em todo o site account.
  • system.billing.list_prices: Dá ao senhor acesso a um histórico log de SKU preços. Um registro é adicionado sempre que há uma alteração no preço de uma SKU.

Esquema de tabela de uso faturável​

Caminho da tabela : Essa tabela do sistema está localizada em system.billing.usage.

A tabela do sistema de uso faturável usa o seguinte esquema:

Nome da coluna

Tipo de dados

Descrição

Exemplo

record_id

string

ID exclusivo para esse registro de uso

11e22ba4-87b9-4cc2-9770-d10b894b7118

account_id

string

ID do site account para o qual esse relatório foi gerado

23e22ba4-87b9-4cc2-9770-d10b894b7118

workspace_id

string

ID do site workspace ao qual esse uso estava associado

1234567890123456

sku_name

string

Nome da SKU

ENTERPRISE_SAP_ALL_PURPOSE_SERVERLESS_COMPUTE_EUROPE_FRANKFURT

cloud

string

Nuvem associada a esse uso. Os valores possíveis são AWS, AZURE e GCP.

AWS

usage_start_time

carimbo de data/hora

O tempo de início relevante para esse registro de uso. As informações de fuso horário são registradas no final do valor com +00:00 representando o fuso horário UTC.

2025-01-09 10:00:00.000+00:00

usage_end_time

carimbo de data/hora

A hora de término relevante para esse registro de uso. As informações de fuso horário são registradas no final do valor com +00:00 representando o fuso horário UTC.

2025-01-09 11:00:00.000+00:00

usage_date

Data

Data do registro de uso, esse campo pode ser usado para agregar mais rapidamente por data

2025-01-01

custom_tags

map

Tags personalizadas propagadas a partir da política de orçamento serverless associada ao uso

{ “team”: “marketing” }

usage_unit

string

Unidade em que esse uso é medido

DBU

usage_quantity

Decimal

Número de unidades consumidas para esse registro

259.2958

usage_metadata

struct

Metadados fornecidos pelo sistema sobre o uso, incluindo IDs para compute recurso e Job (se aplicável). Consulte Metadados de uso.

Consulte Metadados de uso

identity_metadata

struct

Metadados fornecidos pelo sistema sobre as identidades envolvidas no uso. Consulte Metadados de identidade.

Consulte Metadados de identidade

record_type

string

Se o registro é original, uma retratação ou uma reformulação. O valor é ORIGINAL, a menos que o registro esteja relacionado a uma correção.

ORIGINAL

ingestion_date

Data

Data em que o registro foi inserido na tabela usage

2024-01-01

billing_origin_product

string

O produto que originou o uso. Alguns produtos podem ser faturados como SKUs diferentes. Para obter os valores possíveis, consulte produto.

JOBS

product_features

struct

Detalhes sobre o produto recurso específico usado.

is_serverless: true

usage_type

string

O tipo de uso atribuído ao produto ou à carga de trabalho para fins de faturamento. Os valores possíveis são COMPUTE_TIME, STORAGE_SPACE, NETWORK_BYTES, NETWORK_HOUR, API_OPERATION ou TOKEN.

STORAGE_SPACE

Esquema da tabela de preços​

Caminho da tabela : Essa tabela do sistema está localizada em system.billing.list_prices.

A tabela do sistema de preços usa o seguinte esquema:

Nome da coluna

Tipo de dados

Descrição

Exemplo

price_start_time

carimbo de data/hora

A hora em que esse preço entrou em vigor em UTC

2023-01-01T09:59:59.999Z

price_end_time

carimbo de data/hora

A hora em que esse preço deixou de ser efetivo em UTC

2023-01-01T09:59:59.999Z

account_id

string

ID do site account para o qual esse relatório foi gerado

1234567890123456

sku_name

string

Nome da SKU

ENTERPRISE_SAP_ALL_PURPOSE_SERVERLESS_COMPUTE_EUROPE_FRANKFURT

cloud

string

Nome da nuvem à qual esse preço é aplicável. Os valores possíveis são AWS, AZURE e GCP.

AWS, AZURE ou GCP

currency_code

string

A moeda em que esse preço é expresso. O valor será CU

CU

usage_unit

string

A unidade de medida que é monetizada. Os valores possíveis são DBU, DSU, HOUR e GB.

DBU

pricing

struct

Um campo de dados estruturados que inclui informações de preços na taxa de preço de lista publicada. O site key default sempre retornará um preço único que pode ser usado para estimativas simples de longo prazo. O site key promotional representa um preço promocional temporário que todos os clientes recebem e que pode ser usado para a estimativa de custos durante o período temporário. O site key effective_list resolve os preços de lista e promocionais e contém o preço de lista efetivo usado para calcular o custo. Alguns modelos de preços também podem incluir chaves adicionais que fornecem mais detalhes.

{ "default": "0.10", "promotional": {"default": "0.07"}, "effective_list": {"default": "0.07"} }

Como ler a tabela de uso​

Cada registro de faturamento na tabela usage inclui colunas que atribuem o valor de uso ao recurso, às identidades e ao produto específicos envolvidos. Para ajudar a atribuir o uso a cargas de trabalho, recursos e identidades específicos, use as colunas a seguir:

  • A coluna usage_metadata inclui uma estrutura com informações sobre o recurso ou objetos envolvidos no uso.
  • A coluna identity_metadata inclui informações sobre o usuário ou a entidade de serviço que incorreu no uso.
  • A coluna custom_tags inclui tags adicionadas pelas políticas orçamentárias serverless. Para obter mais informações, consulte Uso de atributos com as políticas de orçamento do serverless.
  • A coluna billing_origin_product fornece ao senhor informações sobre o produto exato utilizado.

Referência de metadados de uso​

Os valores em usage_metadata são todos strings que informam sobre os objetos workspace envolvidos no registro de uso.

Apenas um subconjunto desses valores é preenchido em um determinado registro de uso, dependendo do tipo de compute e do recurso usado. A tabela a seguir descreve os valores que o senhor pode esperar que sejam preenchidos no seu SAP Databricks account.

Valor

Descrição

job_id

ID do trabalho associado ao registro de uso

warehouse_id

ID do site SQL warehouse associado ao registro de uso

job_run_id

ID da execução do trabalho associado ao registro de uso

notebook_id

ID do Notebook associado ao uso

endpoint_name

O nome do modelo de serviço endpoint ou pesquisa vetorial endpoint associado ao registro de uso

endpoint_id

ID do modelo de serviço endpoint ou pesquisa vetorial endpoint associado ao registro de uso

run_name

Nome exclusivo para o usuário da execução do ajuste fino do modelo básico associado ao registro de utilização

job_name

Nome dado pelo usuário do trabalho associado ao registro de uso

notebook_path

caminho de armazenamento do espaço de trabalho do Notebook associado ao uso

source_region

Região do site workspace associada ao uso. Retorna apenas um valor para serverless uso relacionado à rede.

destination_region

Região do recurso que está sendo acessado. Retorna apenas um valor para serverless uso relacionado à rede.

budget_policy_id

ID da política orçamentária serverless anexada à carga de trabalho

Referência de metadados de identidade​

A coluna identity_metadata fornece mais informações sobre as identidades envolvidas no uso.

  • O campo run_as logs que executa a carga de trabalho. Esses valores são preenchidos apenas para determinados tipos de carga de trabalho listados na tabela abaixo.
  • O campo owned_by aplica-se apenas ao uso SQL warehouse e logs ao usuário ou entidade de serviço que possui o SQL warehouse responsável pelo uso.

identidades de execução​

A identidade registrada em identity_metadata.run_as depende do produto associado ao uso. Consulte a tabela a seguir para ver o comportamento identity_metadata.run_as:

Tipo de carga de trabalho

Identidade de run_as

sem servidor compute para o trabalho

O usuário ou entidade de serviço definido na configuração run_as. Em default, a execução do trabalho é a identidade do proprietário do trabalho, mas os administradores podem alterá-la para outro usuário ou entidade de serviço.

Compute serverless para notebooks

O usuário que executou o comando do Notebook (especificamente, o usuário que criou a sessão do Notebook). Para o Notebook compartilhado, isso inclui o uso por outros usuários que compartilham a mesma sessão do Notebook.

Ajuste fino do modelo básico

O usuário ou a entidade de serviço que iniciou a execução do treinamento de ajuste fino.

Monitoramento do lakehouse

O usuário que criou o monitor.

Referência do produto de origem do faturamento​

A coluna billing_origin_product mostra o produto Databricks associado ao registro de uso. Os valores incluem:

  • JOBS
  • SQL
  • MODEL_SERVING
  • INTERACTIVE
  • DEFAULT_STORAGE
  • VECTOR_SEARCH
  • LAKEHOUSE_MONITORING
  • FOUNDATION_MODEL_TRAINING
  • AGENT_EVALUATION
  • NETWORKING: Custos associados à conexão do site serverless compute ao seu recurso

Exemplos de consultas​

Use as seguintes consultas para obter percepções sobre o uso em seu site account:

unir a tabela list_prices com a tabela usage​

A tabela list_prices inclui preços de lista ao longo do tempo para cada SKU disponível. O senhor pode join a tabela usage para view o custo de listagem de determinado uso.

Por exemplo, a consulta a seguir retorna o custo total atribuído a um usuário específico durante um mês. Certifique-se de inserir uma identidade válida na seção entre colchetes.

SQL
SELECT
 SUM(usage.usage_quantity * list_prices.pricing.effective_list.default)
 as `Total Dollar Cost`
FROM system.billing.usage
JOIN system.billing.list_prices ON list_prices.sku_name = usage.sku_name
WHERE identity_metadata.run_as = {{'sample identity'}}
AND usage.usage_end_time >= list_prices.price_start_time
AND (list_prices.price_end_time IS NULL OR usage.usage_end_time < list_prices.price_end_time)
AND usage.usage_date BETWEEN "2025-04-01" AND "2025-04-15"

Identificar o Notebook caro​

Essa consulta retorna uma lista de notebooks e quantas DBUs cada notebook consumiu, em ordem decrescente de consumo de DBUs:

SQL
SELECT
  usage_metadata.notebook_id,
  usage_metadata. notebook_path,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  usage_metadata.notebook_id is not null
  and billing_origin_product = 'INTERACTIVE'
  and product_features.is_serverless
  and usage_unit = 'DBU'
  and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
  1,2
ORDER BY
  total_dbu DESC

Identificar o trabalho caro​

Essa consulta retorna uma lista de trabalhos e quantas DBUs cada trabalho consumiu, em ordem decrescente por consumo de DBUs:

SQL
SELECT
  usage_metadata.job_id,
  usage_metadata.job_name,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id is not null
  and usage_unit = 'DBU'
  and usage_date >= DATEADD(day, -30, current_date)
  and sku_name like '%JOBS_SERVERLESS_COMPUTE%'
GROUP BY
  1,2
ORDER BY
  total_dbu DESC

Relatório sobre DBus consumidos por um usuário específico​

Essa consulta retorna uma lista de execução de Notebook e Job por um determinado usuário ou entidade de serviço e o número de DBUs consumidos por cada carga de trabalho. Certifique-se de inserir um endereço válido do usuário email usando os parâmetros.

SQL
SELECT
  usage_metadata.job_id,
  usage_metadata.job_name,
  usage_metadata.notebook_id,
  usage_metadata. notebook_path,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  identity_metadata.run_as = format_string('%s@%s.%s', :user_name, :domain_name, :top_level_domain)
  and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
  1,2,3,4
ORDER BY
  total_dbu DESC

Relatório sobre DBus consumidos por cargas de trabalho que compartilham uma tag personalizada​

Essa consulta retorna uma lista de trabalhos que compartilham a mesma tag personalizada e o número de DBUs consumidos por cada carga de trabalho:

SQL
SELECT
  usage_metadata.job_id,
  usage_metadata.job_name,
  usage_metadata.notebook_id,
  usage_metadata. notebook_path,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  custom_tags.<key> = '<value>'
  and billing_origin_product in ('JOBS','INTERACTIVE')
  and product_features.is_serverless
  and usage_unit = 'DBU'
  and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
  1,2,3,4
ORDER BY
  total_dbu DESC
Última atualização em