Esquema de registros de uso faturável (legado)
Observação
Este artigo inclui detalhes sobre os logs de uso herdados, que não registram o uso de todos os produtos. A Databricks recomenda o uso da tabela do sistema de uso faturável para acessar e consultar dados completos de uso.
Este artigo explica como ler e analisar os downloads de dados de logs de uso do console account.
Você pode view e downloads do uso faturável diretamente no console da conta ou usando a API da conta.
Esquema de arquivo CSV
Coluna |
Tipo |
Descrição |
Exemplo |
---|---|---|---|
workspaceId |
string |
ID do workspace. |
|
timestamp |
datetime |
Fim da hora para o uso fornecido. |
|
clusterId |
string |
ID do cluster (para um cluster) ou do warehouse (para um warehouse SQL) |
Exemplo de cluster: Exemplo de warehouse SQL: |
clusterName |
string |
Nome fornecido pelo usuário para o cluster/warehouse. |
|
clusterNodeType |
string |
Tipo de instância do cluster/warehouse. |
Exemplo de cluster: Exemplo de warehouse SQL: |
clusterOwnerUserId |
string |
ID do usuário que criou o cluster/warehouse. |
|
clusterCustomTags |
string (“-escaped json) |
Tags personalizadas associadas ao cluster/warehouse durante essa hora. |
|
sku |
string |
SKU de cobrança. Consulte a tabela SKUs de cobrança para obter uma lista de valores. |
|
dbus |
double |
Número de DBUs usadas pelo usuário durante essa hora. |
|
machineHours |
double |
Número total de horas de máquina usadas por todos os contêineres no cluster/warehouse. |
|
clusterOwnerUserName |
string |
Nome de usuário (email) do usuário que criou o cluster/warehouse. |
|
tags |
string (“-escaped json) |
default e clusters/warehouse personalizados tags, e default e pool de instâncias personalizadas tags (se aplicável) associados aos clusters durante essa hora. Consulte Tag de cluster, tags de armazém e tags de pool. Esse é um superconjunto da coluna |
|
SKUs de faturamento
AWS_ENHANCED_SECURITY_AND_COMPLIANCE
ENTERPRISE_ALL_PURPOSE_COMPUTE
ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)
ENTERPRISE_DLT_CORE_COMPUTE
ENTERPRISE_DLT_CORE_COMPUTE_(PHOTON)
ENTERPRISE_DLT_PRO_COMPUTE
ENTERPRISE_DLT_PRO_COMPUTE_(PHOTON)
ENTERPRISE_DLT_ADVANCED_COMPUTE
ENTERPRISE_DLT_ADVANCED_COMPUTE_(PHOTON)
ENTERPRISE_JOBS_COMPUTE
ENTERPRISE_JOBS_COMPUTE_(PHOTON)
ENTERPRISE_JOBS_LIGHT_COMPUTE
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_CANADA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
ENTERPRISE_SQL_COMPUTE
ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_OHIO
ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_OREGON
ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
ENTERPRISE_SQL_PRO_COMPUTE_CANADA
ENTERPRISE_SQL_PRO_COMPUTE_SA_BRAZIL
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_IRELAND
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_LONDON
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANCE
ENTERPRISE_SQL_PRO_COMPUTE_AP_SYDNEY
ENTERPRISE_SQL_PRO_COMPUTE_AP_MUMBAI
ENTERPRISE_SQL_PRO_COMPUTE_AP_SINGAPORE
ENTERPRISE_SQL_PRO_COMPUTE_AP_TOKYO
ENTERPRISE_SQL_PRO_COMPUTE_AP_SEOUL
PREMIUM_ALL_PURPOSE_COMPUTE
PREMIUM_ALL_PURPOSE_COMPUTE_(PHOTON)
PREMIUM_DLT_CORE_COMPUTE
PREMIUM_DLT_CORE_COMPUTE_(PHOTON)
PREMIUM_DLT_PRO_COMPUTE
PREMIUM_DLT_PRO_COMPUTE_(PHOTON)
PREMIUM_DLT_ADVANCED_COMPUTE
PREMIUM_DLT_ADVANCED_COMPUTE_(PHOTON)
PREMIUM_JOBS_COMPUTE
PREMIUM_JOBS_COMPUTE_(PHOTON)
PREMIUM_JOBS_LIGHT_COMPUTE
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_CANADA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_FRANKFURT
PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
PREMIUM_SQL_COMPUTE
PREMIUM_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
PREMIUM_SQL_PRO_COMPUTE_US_EAST_OHIO
PREMIUM_SQL_PRO_COMPUTE_US_WEST_OREGON
PREMIUM_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
PREMIUM_SQL_PRO_COMPUTE_CANADA
PREMIUM_SQL_PRO_COMPUTE_SA_BRAZIL
PREMIUM_SQL_PRO_COMPUTE_EUROPE_IRELAND
PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
PREMIUM_SQL_PRO_COMPUTE_EUROPE_LONDON
PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANCE
PREMIUM_SQL_PRO_COMPUTE_AP_SYDNEY
PREMIUM_SQL_PRO_COMPUTE_AP_MUMBAI
PREMIUM_SQL_PRO_COMPUTE_AP_SINGAPORE
PREMIUM_SQL_PRO_COMPUTE_AP_TOKYO
PREMIUM_SQL_PRO_COMPUTE_AP_SEOUL
STANDARD_ALL_PURPOSE_COMPUTE
STANDARD_ALL_PURPOSE_COMPUTE_(PHOTON)
STANDARD_DLT_CORE_COMPUTE
STANDARD_DLT_CORE_COMPUTE_(PHOTON)
STANDARD_DLT_PRO_COMPUTE
STANDARD_DLT_PRO_COMPUTE_(PHOTON)
STANDARD_DLT_ADVANCED_COMPUTE
STANDARD_DLT_ADVANCED_COMPUTE_(PHOTON)
STANDARD_JOBS_COMPUTE
STANDARD_JOBS_COMPUTE_(PHOTON)
STANDARD_JOBS_LIGHT_COMPUTE
SKUs descontinuadas
As seguintes SKUs foram descontinuadas:
Nome da SKU descontinuada |
Data de descontinuação |
SKUs de substituição |
---|---|---|
|
Março de 2020 |
|
|
Março de 2020 |
|
|
Março de 2020 |
|
|
Abril de 2022 |
|
|
Junho de 2022 |
|
Analisar dados de uso no Databricks
Esta seção descreve como disponibilizar os dados no arquivo CSV de uso faturável ao Databricks para análise.
O arquivo CSV usa um formato que é padrão para aplicativos de planilha comercial, mas requer uma modificação para ser lido pelo Apache Spark. Você deve usar option("escape", "\"")
ao criar a tabela de uso no Databricks.
O total de DBUs é a soma da coluna dbus
.
Importar o log usando a interface do usuário Criar tabela
Você pode usar a opção Carregar dados usando a interface de usuário de adição de dados para importar o arquivo CSV para o Databricks para análise.
Criar um DataFrame Spark
Você também pode usar o código a seguir para criar a tabela de uso a partir de um caminho para o arquivo CSV:
df = (spark.
read.
option("header", "true").
option("inferSchema", "true").
option("escape", "\"").
csv("/FileStore/tables/usage_data.csv"))
df.createOrReplaceTempView("usage")
Se o arquivo estiver armazenado em um bucket do S3, por exemplo, quando for usado com entrega de log, o código terá a seguinte aparência. Você pode especificar um caminho de arquivo ou um diretório. Se você passar um diretório, todos os arquivos serão importados. O exemplo a seguir especifica um arquivo.
df = (spark.
read.
option("header", "true").
option("inferSchema", "true").
option("escape", "\"").
load("s3://<bucketname>/<pathprefix>/billable-usage/csv/workspaceId=<workspace-id>-usageMonth=<month>.csv"))
df.createOrReplaceTempView("usage")
O exemplo a seguir importa um diretório de arquivos de uso faturáveis:
df = (spark.
read.
option("header", "true").
option("inferSchema", "true").
option("escape", "\"").
load("s3://<bucketname>/<pathprefix>/billable-usage/csv/"))
df.createOrReplaceTempView("usage")
Criar uma tabela Delta
Para criar uma tabela Delta a partir do DataFrame (df
) no exemplo anterior, use o código a seguir:
(df.write
.format("delta")
.mode("overwrite")
.saveAsTable("database_name.table_name")
)
Aviso
A tabela Delta salva não é atualizada automaticamente quando você adiciona ou substitui novos arquivos CSV. Se você precisar dos dados mais recentes, execute novamente esses comandos antes de usar a tabela Delta.
Notebook do painel de análise de uso
Se você usar a entrega de uso faturável, poderá usar o notebook a seguir para executar um painel de análise de uso fornecendo um caminho para o bucket S3 onde seus arquivos CSV estão armazenados e inserindo parâmetros de relatório em um widget.
O widget que você usa para inserir parâmetros de relatório aparece acima da primeira célula do notebook quando você importa o notebook para seu workspace do Databricks. O widget não aparece na visualização somente do navegador do notebook. Aqui está uma imagem do widget: