Pular para o conteúdo principal
Página não listada
Esta página não está listada. Mecanismos de busca não armazenarão nenhuma informação, e somente usuários que possuam o link direto poderão acessá-la

Uso faturável log schema (legado)

important

Essa documentação foi descontinuada e pode não estar atualizada. O produto, serviço ou tecnologia mencionados neste conteúdo não são mais suportados. Para view a documentação atual do administrador, consulte gerenciar seu Databricks account .

nota

Este artigo inclui detalhes sobre o uso legado logs, que não registra o uso de todos os produtos. A Databricks recomenda o uso da tabela do sistema de uso faturável para acessar e consultar dados completos de uso.

Este artigo explica como ler e analisar o uso log downloads de dados do console account.

É possível view e download faturar o uso diretamente no console account ou usando a conta API.

Esquema do arquivo CSV​

Coluna

Tipo

Descrição

Exemplo

workspaceId

string

ID do workspace.

1234567890123456

carimbo de data/hora

datetime

Fim da hora para o uso fornecido.

2019-02-22T09:59:59.999Z

clusterId

string

ID do cluster (para um cluster) ou do warehouse (para um warehouse SQL)

Exemplo de cluster: 0406-020048-brawl507 Exemplo de warehouse SQL: 8e00f0c8b392983e

clusterName

string

Nome fornecido pelo usuário para o cluster/warehouse.

Shared Autoscaling

clusterNodeType

string

Tipo de instância do cluster/warehouse.

Exemplo de cluster: m4.16xlarge Exemplo de warehouse SQL: db.xlarge

clusterOwnerUserId

string

ID do usuário que criou o cluster/warehouse.

12345678901234

clusterCustomTags

string (“-escaped json)

Tags personalizadas associadas ao cluster/warehouse durante essa hora.

"{""dept"":""mktg"",""op_phase"":""dev""}"

sku

string

SKU de cobrança. Consulte a tabela SKU de faturamento para obter uma lista de valores.

STANDARD_ALL_PURPOSE_COMPUTE

dbus

double

Número de DBUs usadas pelo usuário durante essa hora.

1.2345

machineHours

double

Número total de horas de máquina usadas por todos os contêineres no cluster/warehouse.

12.345

clusterOwnerUserName

string

Nome de usuário (email) do usuário que criou o cluster/warehouse.

user@yourcompany.com

tags

string (“-escaped json)

tags padrão e personalizadas de clustering/warehouse e default e tags personalizadas de instância pool (se aplicável) associadas ao clustering durante essa hora. Consulte Tag de cluster, tags de armazém e tags de pool. Esse é um superconjunto da coluna clusterCustomTags.

"{""dept"":""mktg"",""op_phase"":""dev"", ""Vendor"":""Databricks"", ""ClusterId"":""0405-020048-brawl507"", ""Creator"":""user@yourcompany.com""}"

SKU de faturamento​

  • AWS_ENHANCED_SECURITY_AND_COMPLIANCE
  • ENTERPRISE_ALL_PURPOSE_COMPUTE
  • ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)
  • ENTERPRISE_DLT_CORE_COMPUTE
  • ENTERPRISE_DLT_CORE_COMPUTE_(PHOTON)
  • ENTERPRISE_DLT_PRO_COMPUTE
  • ENTERPRISE_DLT_PRO_COMPUTE_(PHOTON)
  • ENTERPRISE_DLT_ADVANCED_COMPUTE
  • ENTERPRISE_DLT_ADVANCED_COMPUTE_(PHOTON)
  • ENTERPRISE_JOBS_COMPUTE
  • ENTERPRISE_JOBS_COMPUTE_(PHOTON)
  • ENTERPRISE_JOBS_LIGHT_COMPUTE
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_CANADA
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
  • ENTERPRISE_SQL_COMPUTE
  • ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
  • ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_OHIO
  • ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_OREGON
  • ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
  • ENTERPRISE_SQL_PRO_COMPUTE_CANADA
  • ENTERPRISE_SQL_PRO_COMPUTE_SA_BRAZIL
  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_IRELAND
  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_LONDON
  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANCE
  • ENTERPRISE_SQL_PRO_COMPUTE_AP_SYDNEY
  • ENTERPRISE_SQL_PRO_COMPUTE_AP_MUMBAI
  • ENTERPRISE_SQL_PRO_COMPUTE_AP_SINGAPORE
  • ENTERPRISE_SQL_PRO_COMPUTE_AP_TOKYO
  • ENTERPRISE_SQL_PRO_COMPUTE_AP_SEOUL
  • PREMIUM_ALL_PURPOSE_COMPUTE
  • PREMIUM_ALL_PURPOSE_COMPUTE_(PHOTON)
  • PREMIUM_DLT_CORE_COMPUTE
  • PREMIUM_DLT_CORE_COMPUTE_(PHOTON)
  • PREMIUM_DLT_PRO_COMPUTE
  • PREMIUM_DLT_PRO_COMPUTE_(PHOTON)
  • PREMIUM_DLT_ADVANCED_COMPUTE
  • PREMIUM_DLT_ADVANCED_COMPUTE_(PHOTON)
  • PREMIUM_JOBS_COMPUTE
  • PREMIUM_JOBS_COMPUTE_(PHOTON)
  • PREMIUM_JOBS_LIGHT_COMPUTE
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_CANADA
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
  • PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
  • PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
  • PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_FRANKFURT
  • PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
  • PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
  • PREMIUM_SQL_COMPUTE
  • PREMIUM_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
  • PREMIUM_SQL_PRO_COMPUTE_US_EAST_OHIO
  • PREMIUM_SQL_PRO_COMPUTE_US_WEST_OREGON
  • PREMIUM_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
  • PREMIUM_SQL_PRO_COMPUTE_CANADA
  • PREMIUM_SQL_PRO_COMPUTE_SA_BRAZIL
  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_IRELAND
  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_LONDON
  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANCE
  • PREMIUM_SQL_PRO_COMPUTE_AP_SYDNEY
  • PREMIUM_SQL_PRO_COMPUTE_AP_MUMBAI
  • PREMIUM_SQL_PRO_COMPUTE_AP_SINGAPORE
  • PREMIUM_SQL_PRO_COMPUTE_AP_TOKYO
  • PREMIUM_SQL_PRO_COMPUTE_AP_SEOUL
  • STANDARD_ALL_PURPOSE_COMPUTE
  • STANDARD_ALL_PURPOSE_COMPUTE_(PHOTON)
  • STANDARD_DLT_CORE_COMPUTE
  • STANDARD_DLT_CORE_COMPUTE_(PHOTON)
  • STANDARD_DLT_PRO_COMPUTE
  • STANDARD_DLT_PRO_COMPUTE_(PHOTON)
  • STANDARD_DLT_ADVANCED_COMPUTE
  • STANDARD_DLT_ADVANCED_COMPUTE_(PHOTON)
  • STANDARD_JOBS_COMPUTE
  • STANDARD_JOBS_COMPUTE_(PHOTON)
  • STANDARD_JOBS_LIGHT_COMPUTE

SKU obsoleta​

As seguintes SKUs foram descontinuadas:

Nome da SKU descontinuada

Data de descontinuação

SKUs de substituição

LIGHT_AUTOMATED_NON_OPSEC LIGHT_AUTOMATED_OPSEC

Março de 2020

STANDARD_JOBS_LIGHT_COMPUTE PREMIUM_JOBS_LIGHT_COMPUTE ENTERPRISE_JOBS_LIGHT_COMPUTE

STANDARD_AUTOMATED_NON_OPSEC STANDARD_AUTOMATED_OPSEC

Março de 2020

STANDARD_JOBS_COMPUTE PREMIUM_JOBS_COMPUTE ENTERPRISE_JOBS_COMPUTE

STANDARD_INTERACTIVE_NON_OPSEC STANDARD_INTERACTIVE_OPSEC

Março de 2020

STANDARD_ALL_PURPOSE_COMPUTE PREMIUM_ALL_PURPOSE_COMPUTE ENTERPRISE_ALL_PURPOSE_COMPUTE

ENTERPRISE_ALL_PURPOSE_COMPUTE_(DLT) PREMIUM_ALL_PURPOSE_COMPUTE_(DLT) STANDARD_ALL_PURPOSE_COMPUTE_(DLT)

Abril de 2022

ENTERPRISE_DLT_CORE_COMPUTE PREMIUM_DLT_CORE_COMPUTE STANDARD_DLT_CORE_COMPUTE

ENTERPRISE_SERVERLESS_SQL_COMPUTE PREMIUM_SERVERLESS_SQL_COMPUTE STANDARD_SERVERLESS_SQL_COMPUTE

Junho de 2022

ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY

Analisar dados de uso no Databricks​

Esta seção descreve como disponibilizar os dados no arquivo CSV de uso faturável ao Databricks para análise.

O arquivo CSV usa um formato que é padrão para aplicativos de planilha comercial, mas requer uma modificação para ser lido pelo Apache Spark. Você deve usar option("escape", "\"") ao criar a tabela de uso no Databricks.

O total de DBUs é a soma da coluna dbus.

Importe o site log usando a interface de usuário Create Table (Criar tabela)​

O senhor pode usar o upload de arquivos para Databricks para importar o arquivo CSV para Databricks para análise.

Criar um DataFrame do Spark​

Você também pode usar o código a seguir para criar a tabela de uso a partir de um caminho para o arquivo CSV:

Python
df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      csv("/FileStore/tables/usage_data.csv"))

df.createOrReplaceTempView("usage")

Se o arquivo for armazenado em um bucket S3, por exemplo, quando for usado com fornecimento de log, o código será parecido com o seguinte. Você pode especificar um caminho de arquivo ou um diretório. Se você passar um diretório, todos os arquivos serão importados. O exemplo a seguir especifica um arquivo.

Python
df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      load("s3://<bucketname>/<pathprefix>/billable-usage/csv/workspaceId=<workspace-id>-usageMonth=<month>.csv"))

df.createOrReplaceTempView("usage")

O exemplo a seguir importa um diretório de arquivos de uso faturáveis:

Python
df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      load("s3://<bucketname>/<pathprefix>/billable-usage/csv/"))

df.createOrReplaceTempView("usage")

Criar uma tabela Delta​

Para criar uma tabela Delta a partir do DataFrame (df) no exemplo anterior, use o código a seguir:

Python
(df.write
    .format("delta")
    .mode("overwrite")
    .saveAsTable("database_name.table_name")
)
atenção

A tabela Delta salva não é atualizada automaticamente quando você adiciona ou substitui novos arquivos CSV. Se você precisar dos dados mais recentes, execute novamente esses comandos antes de usar a tabela Delta.

Última atualização em