Esquema de registros de uso faturável (legado)

Observação

Este artigo inclui detalhes sobre os logs de uso herdados, que não registram o uso de todos os produtos. A Databricks recomenda o uso da tabela do sistema de uso faturável para acessar e consultar dados completos de uso.

Este artigo explica como ler e analisar os downloads de dados de logs de uso do console account.

Você pode view e downloads do uso faturável diretamente no console da conta ou usando a API da conta.

Esquema de arquivo CSV

Coluna

Tipo

Descrição

Exemplo

workspaceId

string

ID do workspace.

1234567890123456

timestamp

datetime

Fim da hora para o uso fornecido.

2019-02-22T09:59:59.999Z

clusterId

string

ID do cluster (para um cluster) ou do warehouse (para um warehouse SQL)

Exemplo de cluster: 0406-020048-brawl507

Exemplo de warehouse SQL: 8e00f0c8b392983e

clusterName

string

Nome fornecido pelo usuário para o cluster/warehouse.

Shared Autoscaling

clusterNodeType

string

Tipo de instância do cluster/warehouse.

Exemplo de cluster: m4.16xlarge

Exemplo de warehouse SQL: db.xlarge

clusterOwnerUserId

string

ID do usuário que criou o cluster/warehouse.

12345678901234

clusterCustomTags

string (“-escaped json)

Tags personalizadas associadas ao cluster/warehouse durante essa hora.

"{""dept"":""mktg"",""op_phase"":""dev""}"

sku

string

SKU de cobrança. Consulte a tabela SKUs de cobrança para obter uma lista de valores.

STANDARD_ALL_PURPOSE_COMPUTE

dbus

double

Número de DBUs usadas pelo usuário durante essa hora.

1.2345

machineHours

double

Número total de horas de máquina usadas por todos os contêineres no cluster/warehouse.

12.345

clusterOwnerUserName

string

Nome de usuário (email) do usuário que criou o cluster/warehouse.

user@yourcompany.com

tags

string (“-escaped json)

default e clusters/warehouse personalizados tags, e default e pool de instâncias personalizadas tags (se aplicável) associados aos clusters durante essa hora. Consulte Tag de cluster, tags de armazém e tags de pool. Esse é um superconjunto da coluna clusterCustomTags.

"{""dept"":""mktg"",""op_phase"":""dev"", ""Vendor"":""Databricks"", ""ClusterId"":""0405-020048-brawl507"", ""Creator"":""user@yourcompany.com""}"

SKUs de faturamento

  • AWS_ENHANCED_SECURITY_AND_COMPLIANCE

  • ENTERPRISE_ALL_PURPOSE_COMPUTE

  • ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)

  • ENTERPRISE_DLT_CORE_COMPUTE

  • ENTERPRISE_DLT_CORE_COMPUTE_(PHOTON)

  • ENTERPRISE_DLT_PRO_COMPUTE

  • ENTERPRISE_DLT_PRO_COMPUTE_(PHOTON)

  • ENTERPRISE_DLT_ADVANCED_COMPUTE

  • ENTERPRISE_DLT_ADVANCED_COMPUTE_(PHOTON)

  • ENTERPRISE_JOBS_COMPUTE

  • ENTERPRISE_JOBS_COMPUTE_(PHOTON)

  • ENTERPRISE_JOBS_LIGHT_COMPUTE

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_CANADA

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE

  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY

  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA

  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON

  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND

  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY

  • ENTERPRISE_SQL_COMPUTE

  • ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA

  • ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_OHIO

  • ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_OREGON

  • ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA

  • ENTERPRISE_SQL_PRO_COMPUTE_CANADA

  • ENTERPRISE_SQL_PRO_COMPUTE_SA_BRAZIL

  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_IRELAND

  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANKFURT

  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_LONDON

  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANCE

  • ENTERPRISE_SQL_PRO_COMPUTE_AP_SYDNEY

  • ENTERPRISE_SQL_PRO_COMPUTE_AP_MUMBAI

  • ENTERPRISE_SQL_PRO_COMPUTE_AP_SINGAPORE

  • ENTERPRISE_SQL_PRO_COMPUTE_AP_TOKYO

  • ENTERPRISE_SQL_PRO_COMPUTE_AP_SEOUL

  • PREMIUM_ALL_PURPOSE_COMPUTE

  • PREMIUM_ALL_PURPOSE_COMPUTE_(PHOTON)

  • PREMIUM_DLT_CORE_COMPUTE

  • PREMIUM_DLT_CORE_COMPUTE_(PHOTON)

  • PREMIUM_DLT_PRO_COMPUTE

  • PREMIUM_DLT_PRO_COMPUTE_(PHOTON)

  • PREMIUM_DLT_ADVANCED_COMPUTE

  • PREMIUM_DLT_ADVANCED_COMPUTE_(PHOTON)

  • PREMIUM_JOBS_COMPUTE

  • PREMIUM_JOBS_COMPUTE_(PHOTON)

  • PREMIUM_JOBS_LIGHT_COMPUTE

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_CANADA

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE

  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY

  • PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA

  • PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON

  • PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_FRANKFURT

  • PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND

  • PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY

  • PREMIUM_SQL_COMPUTE

  • PREMIUM_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA

  • PREMIUM_SQL_PRO_COMPUTE_US_EAST_OHIO

  • PREMIUM_SQL_PRO_COMPUTE_US_WEST_OREGON

  • PREMIUM_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA

  • PREMIUM_SQL_PRO_COMPUTE_CANADA

  • PREMIUM_SQL_PRO_COMPUTE_SA_BRAZIL

  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_IRELAND

  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANKFURT

  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_LONDON

  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANCE

  • PREMIUM_SQL_PRO_COMPUTE_AP_SYDNEY

  • PREMIUM_SQL_PRO_COMPUTE_AP_MUMBAI

  • PREMIUM_SQL_PRO_COMPUTE_AP_SINGAPORE

  • PREMIUM_SQL_PRO_COMPUTE_AP_TOKYO

  • PREMIUM_SQL_PRO_COMPUTE_AP_SEOUL

  • STANDARD_ALL_PURPOSE_COMPUTE

  • STANDARD_ALL_PURPOSE_COMPUTE_(PHOTON)

  • STANDARD_DLT_CORE_COMPUTE

  • STANDARD_DLT_CORE_COMPUTE_(PHOTON)

  • STANDARD_DLT_PRO_COMPUTE

  • STANDARD_DLT_PRO_COMPUTE_(PHOTON)

  • STANDARD_DLT_ADVANCED_COMPUTE

  • STANDARD_DLT_ADVANCED_COMPUTE_(PHOTON)

  • STANDARD_JOBS_COMPUTE

  • STANDARD_JOBS_COMPUTE_(PHOTON)

  • STANDARD_JOBS_LIGHT_COMPUTE

SKUs descontinuadas

As seguintes SKUs foram descontinuadas:

Nome da SKU descontinuada

Data de descontinuação

SKUs de substituição

LIGHT_AUTOMATED_NON_OPSEC LIGHT_AUTOMATED_OPSEC

Março de 2020

STANDARD_JOBS_LIGHT_COMPUTE PREMIUM_JOBS_LIGHT_COMPUTE ENTERPRISE_JOBS_LIGHT_COMPUTE

STANDARD_AUTOMATED_NON_OPSEC STANDARD_AUTOMATED_OPSEC

Março de 2020

STANDARD_JOBS_COMPUTE PREMIUM_JOBS_COMPUTE ENTERPRISE_JOBS_COMPUTE

STANDARD_INTERACTIVE_NON_OPSEC STANDARD_INTERACTIVE_OPSEC

Março de 2020

STANDARD_ALL_PURPOSE_COMPUTE PREMIUM_ALL_PURPOSE_COMPUTE ENTERPRISE_ALL_PURPOSE_COMPUTE

ENTERPRISE_ALL_PURPOSE_COMPUTE_(DLT) PREMIUM_ALL_PURPOSE_COMPUTE_(DLT) STANDARD_ALL_PURPOSE_COMPUTE_(DLT)

Abril de 2022

ENTERPRISE_DLT_CORE_COMPUTE PREMIUM_DLT_CORE_COMPUTE STANDARD_DLT_CORE_COMPUTE

ENTERPRISE_SERVERLESS_SQL_COMPUTE PREMIUM_SERVERLESS_SQL_COMPUTE STANDARD_SERVERLESS_SQL_COMPUTE

Junho de 2022

ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY

Analisar dados de uso no Databricks

Esta seção descreve como disponibilizar os dados no arquivo CSV de uso faturável ao Databricks para análise.

O arquivo CSV usa um formato que é padrão para aplicativos de planilha comercial, mas requer uma modificação para ser lido pelo Apache Spark. Você deve usar option("escape", "\"") ao criar a tabela de uso no Databricks.

O total de DBUs é a soma da coluna dbus.

Importar o log usando a interface do usuário Criar tabela

Você pode usar a opção Carregar dados usando a interface de usuário de adição de dados para importar o arquivo CSV para o Databricks para análise.

Criar um DataFrame Spark

Você também pode usar o código a seguir para criar a tabela de uso a partir de um caminho para o arquivo CSV:

df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      csv("/FileStore/tables/usage_data.csv"))

df.createOrReplaceTempView("usage")

Se o arquivo estiver armazenado em um bucket do S3, por exemplo, quando for usado com entrega de log, o código terá a seguinte aparência. Você pode especificar um caminho de arquivo ou um diretório. Se você passar um diretório, todos os arquivos serão importados. O exemplo a seguir especifica um arquivo.

df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      load("s3://<bucketname>/<pathprefix>/billable-usage/csv/workspaceId=<workspace-id>-usageMonth=<month>.csv"))

df.createOrReplaceTempView("usage")

O exemplo a seguir importa um diretório de arquivos de uso faturáveis:

df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      load("s3://<bucketname>/<pathprefix>/billable-usage/csv/"))

df.createOrReplaceTempView("usage")

Criar uma tabela Delta

Para criar uma tabela Delta a partir do DataFrame (df) no exemplo anterior, use o código a seguir:

(df.write
    .format("delta")
    .mode("overwrite")
    .saveAsTable("database_name.table_name")
)

Aviso

A tabela Delta salva não é atualizada automaticamente quando você adiciona ou substitui novos arquivos CSV. Se você precisar dos dados mais recentes, execute novamente esses comandos antes de usar a tabela Delta.

Notebook do painel de análise de uso

Se você usar a entrega de uso faturável, poderá usar o notebook a seguir para executar um painel de análise de uso fornecendo um caminho para o bucket S3 onde seus arquivos CSV estão armazenados e inserindo parâmetros de relatório em um widget.

O widget que você usa para inserir parâmetros de relatório aparece acima da primeira célula do notebook quando você importa o notebook para seu workspace do Databricks. O widget não aparece na visualização somente do navegador do notebook. Aqui está uma imagem do widget:

widget de painel de uso

Notebook do painel de análise de uso

Abra o bloco de anotações em outra guia