Monitorar o custo da computação sem servidor

Este artigo explica como usar a tabela do sistema de uso faturável para monitorar o custo de seu uso do serverless compute .

É possível monitorar o uso do serverless compute para Notebook e Job consultando a tabela do sistema de uso faturável (system.billing.usage), que inclui atributos de usuário e carga de trabalho relacionados aos custos do serverless compute . Os campos aplicáveis incluem:

  • A coluna identity_metadata inclui o campo run_as, que mostra o usuário ou a entidade de serviço cujas credenciais foram usadas para executar a carga de trabalho.

  • A coluna usage_metadata tem campos que descrevem a carga de trabalho: job_run_id, job_name, notebook_id e notebook_path.

Considerações sobre registros de uso sem servidor

Ao analisar o uso do site serverless, considere o seguinte:

  • O senhor pode ver vários registros associados a uma determinada carga de trabalho do serverless compute em uma determinada hora. Por exemplo, o senhor pode ver vários registros com o mesmo job_id, job_run_id ou Job`, mas com valores diferentes de consumo DBU para cada um. A soma dessas DBUs representa coletivamente o consumo horário de DBU para uma determinada execução de trabalho.

Observação

Para obter uma atualização sobre a atribuição de carga de trabalho nula, consulte O que está por vir?

Usar orçamentos para monitorar os gastos

account Os administradores podem definir orçamentos para agrupar custos e definir alertas. Consulte Usar orçamentos para monitorar os gastos da conta.

Importar um painel de controle de uso

account Os administradores podem importar painéis de gerenciamento de custos para qualquer workspace habilitado para o Unity Catalog em seu account. Consulte Importar um painel de uso.

Localizar um trabalho ou notebook na interface do usuário

Para localizar um Job ou Notebook na UI com base em um registro de faturamento, copie o valor usage_metadata.job_id ou usage_metadata.notebook_id do registro de uso. Essas IDs são imutáveis e podem ser usadas mesmo que o nome do trabalho ou o caminho do Notebook seja alterado.

Para localizar um trabalho na UI com base em seu job_id:

  1. Copie o job_id do registro de uso. Neste exemplo, suponha que o ID seja 700809544510906.

  2. Navegue até a interface do usuário do fluxo de trabalho no mesmo site Databricks workspace que o trabalho.

  3. Certifique-se de que o filtro Only Job owned by me esteja desmarcado.

  4. Cole o ID(700809544510906) na barra de pesquisa Filter Job.

Para localizar um Notebook na UI com base em seu notebook_id, use as instruções a seguir:

  1. Copie o notebook_id do registro de uso. Neste exemplo, suponha que o ID seja 700809544510906.

  2. Navegue até a interface do usuário do espaço de trabalho no mesmo Databricks workspace que o Notebook.

  3. Clique em qualquer Notebook da lista.

  4. Depois de abrir o Notebook, examine o URL na barra de endereços do navegador. Deve ter a aparência de https://<account-console-url>/?o=<workspace ID>#notebook/<notebook ID>/command/<command ID>.

  5. Na barra de endereços do navegador, substitua o ID do Notebook pelo ID que o senhor copiou no primeiro passo e, em seguida, exclua tudo após o ID do Notebook. Deve ter a aparência de https://<account-console-url>/?o=<workspace ID>#notebook/700809544510906.

  6. Depois de abrir o Notebook, o senhor pode clicar no botão Share (Compartilhar ) para view o proprietário do Notebook.

Use o alerta para monitorar as despesas em serverless

O alerta é uma maneira poderosa de se manter informado sobre suas despesas no site serverless. Com o alerta, o senhor pode receber notificações quando determinadas condições forem atendidas nos resultados da consulta. Para saber como criar alertas, consulte Criar um alerta.

O senhor pode adicionar alerta às seguintes consultas para monitorar os orçamentos. Em cada consulta, substitua {budget} pelo orçamento escolhido.

alerta quando qualquer gasto do workspace exceder um limite nos últimos 30 dias

O senhor pode definir um alerta para ser acionado sempre que essa consulta retornar uma linha. Substitua {budget} pelo orçamento escolhido.

SELECT
   t1.workspace_id,
   SUM(t1.usage_quantity * list_prices.pricing.default) as list_cost
FROM system.billing.usage t1
INNER JOIN system.billing.list_prices on
   t1.cloud = list_prices.cloud and
   t1.sku_name = list_prices.sku_name and
   t1.usage_start_time >= list_prices.price_start_time and
   (t1.usage_end_time <= list_prices.price_end_time or list_prices.price_end_time is null)
WHERE
   t1.sku_name LIKE '%SERVERLESS%'
   AND billing_origin_product IN ("JOBS", "INTERACTIVE")
   AND t1.usage_date >= CURRENT_DATE() - INTERVAL 30 DAYS
GROUP BY
   t1.workspace_id
HAVING
   list_cost > {budget}

alerta quando um usuário excede o limite nos últimos 30 dias

O senhor pode definir um alerta para ser acionado sempre que essa consulta retornar uma linha. Substitua {budget} pelo orçamento escolhido.

SELECT
   t1.identity_metadata.run_as,
   SUM(t1.usage_quantity * list_prices.pricing.default) as list_cost
FROM system.billing.usage t1
INNER JOIN system.billing.list_prices on
   t1.cloud = list_prices.cloud and
   t1.sku_name = list_prices.sku_name and
   t1.usage_start_time >= list_prices.price_start_time and
   (t1.usage_end_time <= list_prices.price_end_time or list_prices.price_end_time is null)
WHERE
   t1.sku_name LIKE '%SERVERLESS%'
   AND billing_origin_product IN ("JOBS", "INTERACTIVE")
   AND t1.usage_date >= CURRENT_DATE() - INTERVAL 30 DAYS
GROUP BY
   t1.identity_metadata.run_as
HAVING
   list_cost > {budget}

alerta quando um Job excede o limite nos últimos 30 dias

O senhor pode definir um alerta para ser acionado sempre que essa consulta retornar uma linha. Substitua {budget} pelo orçamento escolhido.

SELECT
   t1.workspace_id,
   t1.usage_metadata.job_id,
   SUM(t1.usage_quantity * list_prices.pricing.default) as list_cost
FROM system.billing.usage t1
INNER JOIN system.billing.list_prices on
   t1.cloud = list_prices.cloud and
   t1.sku_name = list_prices.sku_name and
   t1.usage_start_time >= list_prices.price_start_time and
   (t1.usage_end_time <= list_prices.price_end_time or list_prices.price_end_time is null)
WHERE
   t1.sku_name LIKE '%SERVERLESS%'
   AND billing_origin_product IN ("JOBS")
   AND t1.usage_date >= CURRENT_DATE() - INTERVAL 30 DAYS
GROUP BY
   t1.workspace_id, t1.usage_metadata.job_id,
HAVING
   list_cost > {budget}

Consultas de amostra

Use as seguintes consultas para obter percepções sobre o uso do serverless em seu account:

Identifique os caros serverless compute Notebook

Essa consulta retorna uma lista de Notebook e quantos DBUs cada Notebook consumiu, em ordem decrescente pelo consumo de DBU:

SELECT
  usage_metadata.notebook_id,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  usage_metadata.notebook_id is not null
  and billing_origin_product = 'INTERACTIVE'
  and product_features.is_serverless
  and usage_unit = 'DBU'
  and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
  1
ORDER BY
  total_dbu DESC

Identifique os caros serverless compute Job

Essa consulta retorna uma lista de trabalhos e a quantidade de DBUs que cada Job consumiu, em ordem decrescente pelo consumo de DBU:

SELECT
  usage_metadata.job_id,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id is not null
  and billing_origin_product = 'JOBS'
  and product_features.is_serverless
  and usage_unit = 'DBU'
  and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
  1
ORDER BY
  total_dbu DESC

Relatório sobre DBUs consumidas por um determinado usuário

Essa consulta retorna uma lista de Notebook e Job que usam serverless compute execução por um determinado usuário ou entidade de serviço, e o número de DBUs consumidos por cada carga de trabalho:

SELECT
  usage_metadata.job_id,
  usage_metadata.notebook_id,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  identity_metadata.run_as = '<emailaddress@domain.com>'
  and billing_origin_product in ('JOBS','INTERACTIVE')
  and product_features.is_serverless
  and usage_unit = 'DBU'
  and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
  1,2
ORDER BY
  total_dbu DESC

Relatório sobre DBUs de computação sem servidor consumidas por cargas de trabalho que compartilham uma tag personalizada

Essa consulta retorna uma lista de trabalhos que usam serverless compute que compartilham o mesmo tag personalizado e o número de DBUs consumidos por cada carga de trabalho:

SELECT
  usage_metadata.job_id,
  usage_metadata.notebook_id,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  custom_tags.<key> = '<value>'
  and billing_origin_product in ('JOBS','INTERACTIVE')
  and product_features.is_serverless
  and usage_unit = 'DBU'
  and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
  1,2
ORDER BY
  total_dbu DESC