メインコンテンツまでスキップ
非公開のページ
このページは非公開です。 検索対象外となり、このページのリンクに直接アクセスできるユーザーのみに公開されます。
に最終更新

課金利用ログ schema (legacy)

警告

この記事には、重大な制限がある従来の使用状況ログに関する詳細が記載されています。

これらのログには、無理ストレージ、サーバレス ネットワーキング、またはその他の非 DBU ベースの SKU からの料金は含まれません。 たとえば、次の SKU は従来の使用状況ログには含まれません。

  • INTERNET_EGRESS_FROM_US_WEST_OREGON
  • INTER_REGION_EGRESS_FROM_US_WEST_OREGON
  • PUBLIC_CONNECTIVITY_DATA_PROCESSED_US_WEST_OREGON
  • ENTERPRISE_DATABRICKS_STORAGE_US_WEST_OREGON

Databricks 、すべての製品と SKU の完全な使用状況データにアクセスしてクエリを実行するには、課金利用システム テーブルを使用することをお勧めします。

この記事では、アカウント コンソールからダウンロードした使用状況ログ データの読み取りと分析の方法について説明します。

課金利用は、アカウントコンソールで直接閲覧・ダウンロードできるほか、アカウント APIを使用してもよろしくお願いします。

CSV ファイル スキーマ​

列

タイプ

説明

例

workspaceId

string

ワークスペースのID。

1234567890123456

タイムスタンプ

datetime

提供された利用時間の終了時刻。

2019-02-22T09:59:59.999Z

ClusterID

string

クラスター（クラスターの場合）またはウェアハウス（SQL ウェアハウスの場合）のID

クラスターの例： 0406-020048-brawl507 SQLウェアハウスの例： 8e00f0c8b392983e

clusterName

string

クラスター/ウェアハウスのユーザー指定の名前。

Shared Autoscaling

clusterNodeType

string

クラスター/ウェアハウスのインスタンスタイプ。

クラスターの例： m4.16xlarge SQLウェアハウスの例： db.xlarge

clusterOwnerUserId

string

クラスター/ウェアハウスを作成したユーザーのID。

12345678901234

clusterCustomTags

string（「"」がエスケープされたJSON）

この時間にクラスター/ウェアハウスに関連付けられたカスタムタグ。

"{""dept"":""mktg"",""op_phase"":""dev""}"

sku

string

請求 SKU。 値の一覧については、 請求 SKU の表 を参照してください。

STANDARD_ALL_PURPOSE_COMPUTE

dbus

double

この時間にユーザーが使用したDBU数。

1.2345

machineHours

double

クラスター/ウェアハウス内のすべてのコンテナで使用されたマシン時間の合計。

12.345

clusterOwnerUserName

string

クラスター/ウェアハウスを作成したユーザーのユーザー名（Eメールアドレス）。

user@yourcompany.com

tags

string（「"」がエスケープされたJSON）

この時間中のクラスターに関連付けられたデフォルトおよびカスタムクラスター/ウェアハウスタグ、およびデフォルトおよびカスタムインスタンスプールタグ(該当する場合)。 クラスタータグ、ウェアハウス タグ、およびプール タグを参照してください。これは、 clusterCustomTags 列のスーパーセットです。

"{""dept"":""mktg"",""op_phase"":""dev"", ""Vendor"":""Databricks"", ""ClusterId"":""0405-020048-brawl507"", ""Creator"":""user@yourcompany.com""}"

請求 SKU​

  • AWS_ENHANCED_SECURITY_AND_COMPLIANCE
  • ENTERPRISE_ALL_PURPOSE_COMPUTE
  • ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)
  • ENTERPRISE_DLT_CORE_COMPUTE
  • ENTERPRISE_DLT_CORE_COMPUTE_(PHOTON)
  • ENTERPRISE_DLT_PRO_COMPUTE
  • ENTERPRISE_DLT_PRO_COMPUTE_(PHOTON)
  • ENTERPRISE_DLT_ADVANCED_COMPUTE
  • ENTERPRISE_DLT_ADVANCED_COMPUTE_(PHOTON)
  • ENTERPRISE_JOBS_COMPUTE
  • ENTERPRISE_JOBS_COMPUTE_(PHOTON)
  • ENTERPRISE_JOBS_LIGHT_COMPUTE
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_CANADA
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
  • ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
  • ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
  • ENTERPRISE_SQL_COMPUTE
  • ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
  • ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_OHIO
  • ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_OREGON
  • ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
  • ENTERPRISE_SQL_PRO_COMPUTE_CANADA
  • ENTERPRISE_SQL_PRO_COMPUTE_SA_BRAZIL
  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_IRELAND
  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_LONDON
  • ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANCE
  • ENTERPRISE_SQL_PRO_COMPUTE_AP_SYDNEY
  • ENTERPRISE_SQL_PRO_COMPUTE_AP_MUMBAI
  • ENTERPRISE_SQL_PRO_COMPUTE_AP_SINGAPORE
  • ENTERPRISE_SQL_PRO_COMPUTE_AP_TOKYO
  • ENTERPRISE_SQL_PRO_COMPUTE_AP_SEOUL
  • PREMIUM_ALL_PURPOSE_COMPUTE
  • PREMIUM_ALL_PURPOSE_COMPUTE_(PHOTON)
  • PREMIUM_DLT_CORE_COMPUTE
  • PREMIUM_DLT_CORE_COMPUTE_(PHOTON)
  • PREMIUM_DLT_PRO_COMPUTE
  • PREMIUM_DLT_PRO_COMPUTE_(PHOTON)
  • PREMIUM_DLT_ADVANCED_COMPUTE
  • PREMIUM_DLT_ADVANCED_COMPUTE_(PHOTON)
  • PREMIUM_JOBS_COMPUTE
  • PREMIUM_JOBS_COMPUTE_(PHOTON)
  • PREMIUM_JOBS_LIGHT_COMPUTE
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_CANADA
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
  • PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
  • PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
  • PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
  • PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_FRANKFURT
  • PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
  • PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
  • PREMIUM_SQL_COMPUTE
  • PREMIUM_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
  • PREMIUM_SQL_PRO_COMPUTE_US_EAST_OHIO
  • PREMIUM_SQL_PRO_COMPUTE_US_WEST_OREGON
  • PREMIUM_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
  • PREMIUM_SQL_PRO_COMPUTE_CANADA
  • PREMIUM_SQL_PRO_COMPUTE_SA_BRAZIL
  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_IRELAND
  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_LONDON
  • PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANCE
  • PREMIUM_SQL_PRO_COMPUTE_AP_SYDNEY
  • PREMIUM_SQL_PRO_COMPUTE_AP_MUMBAI
  • PREMIUM_SQL_PRO_COMPUTE_AP_SINGAPORE
  • PREMIUM_SQL_PRO_COMPUTE_AP_TOKYO
  • PREMIUM_SQL_PRO_COMPUTE_AP_SEOUL
  • STANDARD_ALL_PURPOSE_COMPUTE
  • STANDARD_ALL_PURPOSE_COMPUTE_(PHOTON)
  • STANDARD_DLT_CORE_COMPUTE
  • STANDARD_DLT_CORE_COMPUTE_(PHOTON)
  • STANDARD_DLT_PRO_COMPUTE
  • STANDARD_DLT_PRO_COMPUTE_(PHOTON)
  • STANDARD_DLT_ADVANCED_COMPUTE
  • STANDARD_DLT_ADVANCED_COMPUTE_(PHOTON)
  • STANDARD_JOBS_COMPUTE
  • STANDARD_JOBS_COMPUTE_(PHOTON)
  • STANDARD_JOBS_LIGHT_COMPUTE

非推奨のSKU​

以下のSKUは非推奨になりました。

非推奨のSKU名

非推奨になった日

代替SKU

LIGHT_AUTOMATED_NON_OPSEC LIGHT_AUTOMATED_OPSEC

2020年3月

STANDARD_JOBS_LIGHT_COMPUTE PREMIUM_JOBS_LIGHT_COMPUTE ENTERPRISE_JOBS_LIGHT_COMPUTE

STANDARD_AUTOMATED_NON_OPSEC STANDARD_AUTOMATED_OPSEC

2020年3月

STANDARD_JOBS_COMPUTE PREMIUM_JOBS_COMPUTE ENTERPRISE_JOBS_COMPUTE

STANDARD_INTERACTIVE_NON_OPSEC STANDARD_INTERACTIVE_OPSEC

2020年3月

STANDARD_ALL_PURPOSE_COMPUTE PREMIUM_ALL_PURPOSE_COMPUTE ENTERPRISE_ALL_PURPOSE_COMPUTE

ENTERPRISE_ALL_PURPOSE_COMPUTE_(DLT) PREMIUM_ALL_PURPOSE_COMPUTE_(DLT) STANDARD_ALL_PURPOSE_COMPUTE_(DLT)

2022年4月

ENTERPRISE_DLT_CORE_COMPUTE PREMIUM_DLT_CORE_COMPUTE STANDARD_DLT_CORE_COMPUTE

ENTERPRISE_SERVERLESS_SQL_COMPUTE PREMIUM_SERVERLESS_SQL_COMPUTE STANDARD_SERVERLESS_SQL_COMPUTE

2022年6月

ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY

Databricks で使用状況データを分析する​

このセクションでは、請求対象使用量CSVファイルのデータをDatabricksで分析用に利用できるようにする方法について説明します。

CSVファイルでは市販の表計算アプリケーションの標準的な形式が使用されていますが、Apache Sparkで読み込むには修正が必要です。Databricksで使用状況テーブルを作成するときは、option("escape", "\"")を使用する必要があります。

合計DBUは、dbus列の合計です。

Create Table UIを使用してログをインポートする​

[Databricks へのファイルのアップロード] を使用して、CSV ファイルを Databricks にインポートして分析できます。

Spark データフレーム を作成する​

以下のコードを使用して、CSVファイルへのパスから使用状況テーブルを作成することもできます。

Python
df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      csv("/FileStore/tables/usage_data.csv"))

df.createOrReplaceTempView("usage")

ファイルが S3 バケットに保存されている場合 ( ログ配信で使用される場合など)、コードは次のようになります。 ファイル・パスまたはディレクトリーを指定できます。 ディレクトリを渡すと、すべてのファイルがインポートされます。 次の例では、ファイルを指定します。

Python
df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      load("s3://<bucketname>/<pathprefix>/billable-usage/csv/workspaceId=<workspace-id>-usageMonth=<month>.csv"))

df.createOrReplaceTempView("usage")

以下の例では、課金利用ファイルのディレクトリをインポートしています。

Python
df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      load("s3://<bucketname>/<pathprefix>/billable-usage/csv/"))

df.createOrReplaceTempView("usage")

Delta テーブルを作成する​

前述の例のデータフレーム（df）からDeltaテーブルを作成するには、以下のコードを使用します。

Python
(df.write
    .format("delta")
    .mode("overwrite")
    .saveAsTable("database_name.table_name")
)
警告

保存されたDeltaテーブルは、新しいCSVファイルを追加または置換しても自動的には更新 されません 。最新のデータが必要な場合は、Deltaテーブルを使用する前にこれらのコマンドを再実行してください。