Aller au contenu principal
Page non répertoriée
Cette page n'est pas répertoriée. Les moteurs de recherche ne l'indexeront pas, et seuls les utilisateurs ayant un lien direct peuvent y accéder.
Dernière mise à jour le

Schéma des logs d'utilisation facturables (hérité)

attention

Cet article contient des détails sur les Logs d'utilisation hérités, qui présentent des limitations importantes.

Ces Logs n'incluent pas les frais liés au stockage par default, au réseau Serverless ou à toute autre SKU non basée sur les DBU. Par exemple, les SKU suivants ne sont pas inclus dans les logs d'utilisation hérités :

  • INTERNET_EGRESS_FROM_US_WEST_OREGON
  • INTER_REGION_EGRESS_FROM_US_WEST_OREGON
  • PUBLIC_CONNECTIVITY_DATA_PROCESSED_US_WEST_OREGON
  • ENTERPRISE_DATABRICKS_STORAGE_US_WEST_OREGON

Databricks recommande d'utiliser la table système d'utilisation facturable pour accéder et interroger les données d'utilisation complètes pour tous les produits et SKU.

Cet article explique comment lire et analyser les données des Logs d'utilisation téléchargées depuis la console du compte.

Vous pouvez afficher et download l'utilisation facturable directement dans la console du compte, ou en utilisant l'API du compte.

Schéma de fichier CSV​

Colonne

Type

Description

Exemple

workspaceId

chaîne

ID du Workspace.

1234567890123456

Horodatage

Date-heure

Fin de l'heure pour l'utilisation fournie.

2019-02-22T09:59:59.999Z

ID de cluster

chaîne

ID du cluster (pour un cluster) ou du warehouse (pour un SQL Warehouse)

Exemple de cluster : 0406-020048-brawl507 Exemple de SQL Warehouse : 8e00f0c8b392983e

clusterName

chaîne

Nom fourni par l'utilisateur pour le cluster/warehouse.

Shared Autoscaling

clusterNodeType

chaîne

Type d'instance du cluster/warehouse.

Exemple de cluster : m4.16xlarge Exemple de SQL Warehouse : db.xlarge

clusterOwnerUserId

chaîne

ID de l'utilisateur qui a créé le cluster/warehouse.

12345678901234

clusterCustomTags

chaîne (« -escaped json)

Tags personnalisés associés au cluster/au warehouse au cours de cette heure.

"{""dept"":""mktg"",""op_phase"":""dev""}"

SKU

chaîne

SKU de facturation. Consultez la table des SKU de facturation pour obtenir une liste des valeurs.

STANDARD_ALL_PURPOSE_COMPUTE

dbus

double

Nombre de DBU utilisés par l'utilisateur pendant cette heure.

1.2345

heures machine

double

Nombre total d’heures machine utilisées par tous les conteneurs dans le cluster/warehouse.

12.345

clusterOwnerUserName

chaîne

Nom d'utilisateur (e-mail) de l'utilisateur qui a créé le cluster/warehouse.

user@yourcompany.com

Tags

chaîne (« -escaped json)

Tags de cluster/warehouse par default et personnalisés, et tags de Pool d'instance par default et personnalisés (le cas échéant) associés au cluster pendant cette heure. Consultez les Cluster tags, les Warehouse tags et les Pool tags. Il s'agit d'un sur-ensemble de la colonne clusterCustomTags.

"{""dept"":""mktg"",""op_phase"":""dev"", ""Vendor"":""Databricks"", ""ClusterId"":""0405-020048-brawl507"", ""Creator"":""user@yourcompany.com""}"

Colonne

Type

Description

Exemple

workspaceId

chaîne

ID du Workspace.

1234567890123456

Horodatage

Date-heure

Fin de l'heure pour l'utilisation fournie.

2019-02-22T09:59:59.999Z

ID de cluster

chaîne

ID du cluster (pour un cluster) ou du warehouse (pour un SQL Warehouse)

Exemple de cluster : 0406-020048-brawl507 Exemple de SQL Warehouse : 8e00f0c8b392983e

clusterName

chaîne

Nom fourni par l'utilisateur pour le cluster/warehouse.

Shared Autoscaling

clusterNodeType

chaîne

Type d'instance du cluster/warehouse.

Exemple de cluster : m4.16xlarge Exemple de SQL Warehouse : db.xlarge

clusterOwnerUserId

chaîne

ID de l'utilisateur qui a créé le cluster/warehouse.

12345678901234

clusterCustomTags

chaîne (« -escaped json)

Tags personnalisés associés au cluster/au warehouse au cours de cette heure.

"{""dept"":""mktg"",""op_phase"":""dev""}"

SKU

chaîne

SKU de facturation. Consultez la table des SKU de facturation pour obtenir une liste des valeurs.

STANDARD_ALL_PURPOSE_COMPUTE

dbus

double

Nombre de DBU utilisés par l'utilisateur pendant cette heure.

1.2345

heures machine

double

Nombre total d’heures machine utilisées par tous les conteneurs dans le cluster/warehouse.

12.345

clusterOwnerUserName

chaîne

Nom d'utilisateur (e-mail) de l'utilisateur qui a créé le cluster/warehouse.

user@yourcompany.com

Tags

chaîne (« -escaped json)

Tags de cluster/warehouse par default et personnalisés, et tags de Pool d'instance par default et personnalisés (le cas échéant) associés au cluster pendant cette heure. Consultez les Cluster tags, les Warehouse tags et les Pool tags. Il s'agit d'un sur-ensemble de la colonne clusterCustomTags.

"{""dept"":""mktg"",""op_phase"":""dev"", ""Vendor"":""Databricks"", ""ClusterId"":""0405-020048-brawl507"", ""Creator"":""user@yourcompany.com""}"

SKU de facturation​

  • AWS_ENHANCED_SECURITY_AND_COMPLIANCE
  • ENTERPRISE_ALL_PURPOSE_COMPUTE
  • ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)
  • ENTERPRISE_DLT_CORE_COMPUTE
  • ENTERPRISE_DLT_CORE_COMPUTE_(PHOTON)
  • ENTERPRISE_DLT_PRO_COMPUTE
  • ENTERPRISE_DLT_PRO_COMPUTE_(PHOTON)
  • ENTERPRISE_DLT_ADVANCED_COMPUTE
  • ENTERPRISE_DLT_ADVANCED_COMPUTE_(PHOTON)
  • ENTERPRISE_JOBS_COMPUTE
  • ENTERPRISE_JOBS_COMPUTE_(PHOTON)
  • ENTERPRISE_JOBS_LIGHT_COMPUTE
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_CANADA
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
  • ENTERPRISE_SQL_COMPUTE
  • ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
  • ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_OHIO
  • ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_OREGON
  • ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
  • ENTERPRISE_SQL_PRO_COMPUTE_CANADA
  • ENTERPRISE_SQL_PRO_COMPUTE_SA_BRAZIL
  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_IRELAND
  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_LONDON
  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANCE
  • ENTERPRISE_SQL_PRO_COMPUTE_AP_SYDNEY
  • ENTERPRISE_SQL_PRO_COMPUTE_AP_MUMBAI
  • ENTERPRISE_SQL_PRO_COMPUTE_AP_SINGAPORE
  • ENTERPRISE_SQL_PRO_COMPUTE_AP_TOKYO
  • ENTERPRISE_SQL_PRO_COMPUTE_AP_SEOUL
  • PREMIUM_ALL_PURPOSE_COMPUTE
  • PREMIUM_ALL_PURPOSE_COMPUTE_(PHOTON)
  • PREMIUM_DLT_CORE_COMPUTE
  • PREMIUM_DLT_CORE_COMPUTE_(PHOTON)
  • PREMIUM_DLT_PRO_COMPUTE
  • PREMIUM_DLT_PRO_COMPUTE_(PHOTON)
  • PREMIUM_DLT_ADVANCED_COMPUTE
  • PREMIUM_DLT_ADVANCED_COMPUTE_(PHOTON)
  • PREMIUM_JOBS_COMPUTE
  • PREMIUM_JOBS_COMPUTE_(PHOTON)
  • PREMIUM_JOBS_LIGHT_COMPUTE
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_CANADA
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
  • PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
  • PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
  • PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_FRANKFURT
  • PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
  • PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
  • PREMIUM_SQL_COMPUTE
  • PREMIUM_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
  • PREMIUM_SQL_PRO_COMPUTE_US_EAST_OHIO
  • PREMIUM_SQL_PRO_COMPUTE_US_WEST_OREGON
  • PREMIUM_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
  • PREMIUM_SQL_PRO_COMPUTE_CANADA
  • PREMIUM_SQL_PRO_COMPUTE_SA_BRAZIL
  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_IRELAND
  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_LONDON
  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANCE
  • PREMIUM_SQL_PRO_COMPUTE_AP_SYDNEY
  • PREMIUM_SQL_PRO_COMPUTE_AP_MUMBAI
  • PREMIUM_SQL_PRO_COMPUTE_AP_SINGAPORE
  • PREMIUM_SQL_PRO_COMPUTE_AP_TOKYO
  • PREMIUM_SQL_PRO_COMPUTE_AP_SEOUL
  • STANDARD_ALL_PURPOSE_COMPUTE
  • STANDARD_ALL_PURPOSE_COMPUTE_(PHOTON)
  • STANDARD_DLT_CORE_COMPUTE
  • STANDARD_DLT_CORE_COMPUTE_(PHOTON)
  • STANDARD_DLT_PRO_COMPUTE
  • STANDARD_DLT_PRO_COMPUTE_(PHOTON)
  • STANDARD_DLT_ADVANCED_COMPUTE
  • STANDARD_DLT_ADVANCED_COMPUTE_(PHOTON)
  • STANDARD_JOBS_COMPUTE
  • STANDARD_JOBS_COMPUTE_(PHOTON)
  • STANDARD_JOBS_LIGHT_COMPUTE

SKU obsolètes​

Les SKU suivants ont été dépréciés :

Nom de SKU déprécié

Date de dépréciation

UGS de remplacement

LIGHT_AUTOMATED_NON_OPSEC LIGHT_AUTOMATED_OPSEC

Mars 2020

STANDARD_JOBS_LIGHT_COMPUTE PREMIUM_JOBS_LIGHT_COMPUTE ENTERPRISE_JOBS_LIGHT_COMPUTE

STANDARD_AUTOMATED_NON_OPSEC STANDARD_AUTOMATED_OPSEC

Mars 2020

STANDARD_JOBS_COMPUTE PREMIUM_JOBS_COMPUTE ENTERPRISE_JOBS_COMPUTE

STANDARD_INTERACTIVE_NON_OPSEC STANDARD_INTERACTIVE_OPSEC

Mars 2020

STANDARD_ALL_PURPOSE_COMPUTE PREMIUM_ALL_PURPOSE_COMPUTE ENTERPRISE_ALL_PURPOSE_COMPUTE

ENTERPRISE_ALL_PURPOSE_COMPUTE_(DLT) PREMIUM_ALL_PURPOSE_COMPUTE_(DLT) STANDARD_ALL_PURPOSE_COMPUTE_(DLT)

Avril 2022

ENTERPRISE_DLT_CORE_COMPUTE PREMIUM_DLT_CORE_COMPUTE STANDARD_DLT_CORE_COMPUTE

ENTERPRISE_SERVERLESS_SQL_COMPUTE PREMIUM_SERVERLESS_SQL_COMPUTE STANDARD_SERVERLESS_SQL_COMPUTE

Juin 2022

ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY

Nom de SKU déprécié

Date de dépréciation

UGS de remplacement

LIGHT_AUTOMATED_NON_OPSEC LIGHT_AUTOMATED_OPSEC

Mars 2020

STANDARD_JOBS_LIGHT_COMPUTE PREMIUM_JOBS_LIGHT_COMPUTE ENTERPRISE_JOBS_LIGHT_COMPUTE

STANDARD_AUTOMATED_NON_OPSEC STANDARD_AUTOMATED_OPSEC

Mars 2020

STANDARD_JOBS_COMPUTE PREMIUM_JOBS_COMPUTE ENTERPRISE_JOBS_COMPUTE

STANDARD_INTERACTIVE_NON_OPSEC STANDARD_INTERACTIVE_OPSEC

Mars 2020

STANDARD_ALL_PURPOSE_COMPUTE PREMIUM_ALL_PURPOSE_COMPUTE ENTERPRISE_ALL_PURPOSE_COMPUTE

ENTERPRISE_ALL_PURPOSE_COMPUTE_(DLT) PREMIUM_ALL_PURPOSE_COMPUTE_(DLT) STANDARD_ALL_PURPOSE_COMPUTE_(DLT)

Avril 2022

ENTERPRISE_DLT_CORE_COMPUTE PREMIUM_DLT_CORE_COMPUTE STANDARD_DLT_CORE_COMPUTE

ENTERPRISE_SERVERLESS_SQL_COMPUTE PREMIUM_SERVERLESS_SQL_COMPUTE STANDARD_SERVERLESS_SQL_COMPUTE

Juin 2022

ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY

Analyser les données d’utilisation dans Databricks​

Cette section décrit comment rendre les données du fichier CSV d'utilisation facturable disponibles pour Databricks pour analyse.

Le fichier CSV utilise un format standard pour les applications de feuille de calcul commerciales, mais nécessite une modification pour être lu par Apache Spark. Vous devez utiliser option("escape", "\"") lorsque vous créez la table d'utilisation dans Databricks.

Le nombre total de DBU est la somme de la colonne dbus.

Importez le log à l'aide de l'interface utilisateur de création de table​

Vous pouvez utiliser Créer ou modifier une table à l'aide de l'upload de fichier pour importer le fichier CSV dans Databricks pour l'analyse.

Créer un DataFrame Spark​

Vous pouvez également utiliser le code suivant pour créer la table d'utilisation à partir d'un chemin vers le fichier CSV :

Python
df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      csv("/FileStore/tables/usage_data.csv"))

df.createOrReplaceTempView("usage")

Si le fichier est stocké dans un compartiment S3, par exemple lorsqu'il est utilisé avec la livraison de logs, le code ressemblera à ce qui suit. Vous pouvez spécifier un chemin d’accès à un fichier ou un répertoire. Si vous transmettez un répertoire, tous les fichiers sont importés. L’exemple suivant spécifie un fichier.

Python
df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      load("s3://<bucketname>/<pathprefix>/billable-usage/csv/workspaceId=<workspace-id>-usageMonth=<month>.csv"))

df.createOrReplaceTempView("usage")

L'exemple suivant importe un répertoire de fichiers d'utilisation facturable :

Python
df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      load("s3://<bucketname>/<pathprefix>/billable-usage/csv/"))

df.createOrReplaceTempView("usage")

Créer une table Delta​

Pour créer une table Delta à partir du DataFrame (df) de l'exemple précédent, utilisez le code suivant :

Python
(df.write
    .format("delta")
    .mode("overwrite")
    .saveAsTable("database_name.table_name")
)
attention

La table Delta enregistrée n'est pas mise à jour automatiquement lorsque vous ajoutez ou remplacez de nouveaux fichiers CSV. Si vous avez besoin des dernières données, réexécutez ces commandes avant d'utiliser la table Delta.

Sur cette page