Uso faturável log schema (legado)

atenção

Este artigo inclui detalhes sobre os logs de uso legados, que apresentam limitações significativas.

Esses logs não incluem cobranças de armazenamento default , rede serverless ou qualquer outra SKU que não seja baseada em DBU. Por exemplo, os seguintes SKUs não estão incluídos nos logs de uso legados:

• INTERNET_EGRESS_FROM_US_WEST_OREGON
• INTER_REGION_EGRESS_FROM_US_WEST_OREGON
• PUBLIC_CONNECTIVITY_DATA_PROCESSED_US_WEST_OREGON
• ENTERPRISE_DATABRICKS_STORAGE_US_WEST_OREGON

Databricks recomenda o uso da tabela de uso faturável do sistema para acessar e consultar dados completos de uso para todos os produtos e SKUs.

Este artigo explica como ler e analisar o uso log downloads de dados do console account.

É possível view e download faturar o uso diretamente no console account ou usando a conta API.

Esquema do arquivo CSV

Coluna	Tipo	Descrição	Exemplo
workspaceId	string	ID do workspace.	1234567890123456
carimbo de data/hora	datetime	Fim da hora para o uso fornecido.	2019-02-22T09:59:59.999Z
clusterId	string	ID do cluster (para um cluster) ou do warehouse (para um warehouse SQL)	Exemplo de cluster: 0406-020048-brawl507 Exemplo de warehouse SQL: 8e00f0c8b392983e
clusterName	string	Nome fornecido pelo usuário para o cluster/warehouse.	Shared Autoscaling
clusterNodeType	string	Tipo de instância do cluster/warehouse.	Exemplo de cluster: m4.16xlarge Exemplo de warehouse SQL: db.xlarge
clusterOwnerUserId	string	ID do usuário que criou o cluster/warehouse.	12345678901234
clusterCustomTags	string (“-escaped json)	Tags personalizadas associadas ao cluster/warehouse durante essa hora.	"{""dept"":""mktg"",""op_phase"":""dev""}"
sku	string	SKU de cobrança. Consulte a tabela SKU de faturamento para obter uma lista de valores.	STANDARD_ALL_PURPOSE_COMPUTE
dbus	double	Número de DBUs usadas pelo usuário durante essa hora.	1.2345
machineHours	double	Número total de horas de máquina usadas por todos os contêineres no cluster/warehouse.	12.345
clusterOwnerUserName	string	Nome de usuário (email) do usuário que criou o cluster/warehouse.	user@yourcompany.com
tags	string (“-escaped json)	tags padrão e personalizadas de clustering/warehouse e default e tags personalizadas de instância pool (se aplicável) associadas ao clustering durante essa hora. Consulte Tag de cluster, tags de armazém e tags de pool. Esse é um superconjunto da coluna clusterCustomTags.	"{""dept"":""mktg"",""op_phase"":""dev"", ""Vendor"":""Databricks"", ""ClusterId"":""0405-020048-brawl507"", ""Creator"":""user@yourcompany.com""}"

SKU de faturamento

• AWS_ENHANCED_SECURITY_AND_COMPLIANCE
• ENTERPRISE_ALL_PURPOSE_COMPUTE
• ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)
• ENTERPRISE_DLT_CORE_COMPUTE
• ENTERPRISE_DLT_CORE_COMPUTE_(PHOTON)
• ENTERPRISE_DLT_PRO_COMPUTE
• ENTERPRISE_DLT_PRO_COMPUTE_(PHOTON)
• ENTERPRISE_DLT_ADVANCED_COMPUTE
• ENTERPRISE_DLT_ADVANCED_COMPUTE_(PHOTON)
• ENTERPRISE_JOBS_COMPUTE
• ENTERPRISE_JOBS_COMPUTE_(PHOTON)
• ENTERPRISE_JOBS_LIGHT_COMPUTE
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_CANADA
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
• ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
• ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
• ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
• ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
• ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
• ENTERPRISE_SQL_COMPUTE
• ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
• ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_OHIO
• ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_OREGON
• ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
• ENTERPRISE_SQL_PRO_COMPUTE_CANADA
• ENTERPRISE_SQL_PRO_COMPUTE_SA_BRAZIL
• ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_IRELAND
• ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
• ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_LONDON
• ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANCE
• ENTERPRISE_SQL_PRO_COMPUTE_AP_SYDNEY
• ENTERPRISE_SQL_PRO_COMPUTE_AP_MUMBAI
• ENTERPRISE_SQL_PRO_COMPUTE_AP_SINGAPORE
• ENTERPRISE_SQL_PRO_COMPUTE_AP_TOKYO
• ENTERPRISE_SQL_PRO_COMPUTE_AP_SEOUL
• PREMIUM_ALL_PURPOSE_COMPUTE
• PREMIUM_ALL_PURPOSE_COMPUTE_(PHOTON)
• PREMIUM_DLT_CORE_COMPUTE
• PREMIUM_DLT_CORE_COMPUTE_(PHOTON)
• PREMIUM_DLT_PRO_COMPUTE
• PREMIUM_DLT_PRO_COMPUTE_(PHOTON)
• PREMIUM_DLT_ADVANCED_COMPUTE
• PREMIUM_DLT_ADVANCED_COMPUTE_(PHOTON)
• PREMIUM_JOBS_COMPUTE
• PREMIUM_JOBS_COMPUTE_(PHOTON)
• PREMIUM_JOBS_LIGHT_COMPUTE
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_CANADA
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
• PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
• PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
• PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
• PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_FRANKFURT
• PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
• PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
• PREMIUM_SQL_COMPUTE
• PREMIUM_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
• PREMIUM_SQL_PRO_COMPUTE_US_EAST_OHIO
• PREMIUM_SQL_PRO_COMPUTE_US_WEST_OREGON
• PREMIUM_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
• PREMIUM_SQL_PRO_COMPUTE_CANADA
• PREMIUM_SQL_PRO_COMPUTE_SA_BRAZIL
• PREMIUM_SQL_PRO_COMPUTE_EUROPE_IRELAND
• PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
• PREMIUM_SQL_PRO_COMPUTE_EUROPE_LONDON
• PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANCE
• PREMIUM_SQL_PRO_COMPUTE_AP_SYDNEY
• PREMIUM_SQL_PRO_COMPUTE_AP_MUMBAI
• PREMIUM_SQL_PRO_COMPUTE_AP_SINGAPORE
• PREMIUM_SQL_PRO_COMPUTE_AP_TOKYO
• PREMIUM_SQL_PRO_COMPUTE_AP_SEOUL
• STANDARD_ALL_PURPOSE_COMPUTE
• STANDARD_ALL_PURPOSE_COMPUTE_(PHOTON)
• STANDARD_DLT_CORE_COMPUTE
• STANDARD_DLT_CORE_COMPUTE_(PHOTON)
• STANDARD_DLT_PRO_COMPUTE
• STANDARD_DLT_PRO_COMPUTE_(PHOTON)
• STANDARD_DLT_ADVANCED_COMPUTE
• STANDARD_DLT_ADVANCED_COMPUTE_(PHOTON)
• STANDARD_JOBS_COMPUTE
• STANDARD_JOBS_COMPUTE_(PHOTON)
• STANDARD_JOBS_LIGHT_COMPUTE

SKU obsoleta

As seguintes SKUs foram descontinuadas:

Nome da SKU descontinuada	Data de descontinuação	SKUs de substituição
LIGHT_AUTOMATED_NON_OPSEC LIGHT_AUTOMATED_OPSEC	Março de 2020	STANDARD_JOBS_LIGHT_COMPUTE PREMIUM_JOBS_LIGHT_COMPUTE ENTERPRISE_JOBS_LIGHT_COMPUTE
STANDARD_AUTOMATED_NON_OPSEC STANDARD_AUTOMATED_OPSEC	Março de 2020	STANDARD_JOBS_COMPUTE PREMIUM_JOBS_COMPUTE ENTERPRISE_JOBS_COMPUTE
STANDARD_INTERACTIVE_NON_OPSEC STANDARD_INTERACTIVE_OPSEC	Março de 2020	STANDARD_ALL_PURPOSE_COMPUTE PREMIUM_ALL_PURPOSE_COMPUTE ENTERPRISE_ALL_PURPOSE_COMPUTE
ENTERPRISE_ALL_PURPOSE_COMPUTE_(DLT) PREMIUM_ALL_PURPOSE_COMPUTE_(DLT) STANDARD_ALL_PURPOSE_COMPUTE_(DLT)	Abril de 2022	ENTERPRISE_DLT_CORE_COMPUTE PREMIUM_DLT_CORE_COMPUTE STANDARD_DLT_CORE_COMPUTE
ENTERPRISE_SERVERLESS_SQL_COMPUTE PREMIUM_SERVERLESS_SQL_COMPUTE STANDARD_SERVERLESS_SQL_COMPUTE	Junho de 2022	ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY

Analisar dados de uso no Databricks

Esta seção descreve como disponibilizar os dados no arquivo CSV de uso faturável ao Databricks para análise.

O arquivo CSV usa um formato que é padrão para aplicativos de planilha comercial, mas requer uma modificação para ser lido pelo Apache Spark. Você deve usar option("escape", "\"") ao criar a tabela de uso no Databricks.

O total de DBUs é a soma da coluna dbus.

Importe o site log usando a interface de usuário Create Table (Criar tabela)

O senhor pode usar o upload de arquivos para Databricks para importar o arquivo CSV para Databricks para análise.

Criar um DataFrame do Spark

Você também pode usar o código a seguir para criar a tabela de uso a partir de um caminho para o arquivo CSV:

Python

df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      csv("/FileStore/tables/usage_data.csv"))

df.createOrReplaceTempView("usage")

Se o arquivo for armazenado em um bucket S3, por exemplo, quando for usado com fornecimento de log, o código será parecido com o seguinte. Você pode especificar um caminho de arquivo ou um diretório. Se você passar um diretório, todos os arquivos serão importados. O exemplo a seguir especifica um arquivo.

Python

df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      load("s3://<bucketname>/<pathprefix>/billable-usage/csv/workspaceId=<workspace-id>-usageMonth=<month>.csv"))

df.createOrReplaceTempView("usage")

O exemplo a seguir importa um diretório de arquivos de uso faturáveis:

Python

df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      load("s3://<bucketname>/<pathprefix>/billable-usage/csv/"))

df.createOrReplaceTempView("usage")

Criar uma tabela Delta

Para criar uma tabela Delta a partir do DataFrame (df) no exemplo anterior, use o código a seguir:

Python

(df.write
    .format("delta")
    .mode("overwrite")
    .saveAsTable("database_name.table_name")
)

atenção

A tabela Delta salva não é atualizada automaticamente quando você adiciona ou substitui novos arquivos CSV. Se você precisar dos dados mais recentes, execute novamente esses comandos antes de usar a tabela Delta.