課金利用ログスキーマ (レガシー)
注
この記事には、すべての製品の使用状況が記録されるわけではない、従来の使用状況ログに関する詳細が含まれています。 Databricks では、完全な使用状況データにアクセスしてクエリを実行するには、課金利用システム テーブルを使用することをお勧めします。
この記事では、アカウントコンソールからダウンロードした利用ログデータの見方と分析方法について説明します。
課金利用は、アカウント コンソールで直接、または アカウントAPIを使用して表示およびダウンロードできます。
CSVファイルのスキーマ
列 |
タイプ |
説明 |
例 |
---|---|---|---|
workspaceId |
string |
ワークスペースのID。 |
|
timestamp |
datetime |
提供された利用時間の終了時刻。 |
|
ClusterID |
string |
クラスター(クラスターの場合)またはウェアハウス(SQL ウェアハウスの場合)のID |
クラスターの例: SQLウェアハウスの例: |
clusterName |
string |
クラスター/ウェアハウスのユーザー指定の名前。 |
|
clusterNodeType |
string |
クラスター/ウェアハウスのインスタンスタイプ。 |
クラスターの例: SQLウェアハウスの例: |
clusterOwnerUserId |
string |
クラスター/ウェアハウスを作成したユーザーのID。 |
|
clusterCustomTags |
string(「"」がエスケープされたJSON) |
この時間にクラスター/ウェアハウスに関連付けられたカスタムタグ。 |
|
sku |
string |
課金 SKU。 値の一覧については、 課金 SKU の表 を参照してください。 |
|
dbus |
double |
この時間にユーザーが使用したDBU数。 |
|
machineHours |
double |
クラスター/ウェアハウス内のすべてのコンテナで使用されたマシン時間の合計。 |
|
clusterOwnerUserName |
string |
クラスター/ウェアハウスを作成したユーザーのユーザー名(Eメールアドレス)。 |
|
tags |
string(「"」がエスケープされたJSON) |
この時間中にクラスターに関連付けられたデフォルトおよびカスタムのインスタンス プール タグ (該当する場合)。 「クラスタータグ」 、 「ウェアハウスタグ」 、および「プールタグ」を参照してください。 これは、 |
|
請求SKU
AWS_ENHANCED_SECURITY_AND_COMPLIANCE
ENTERPRISE_ALL_PURPOSE_COMPUTE
ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)
ENTERPRISE_DLT_CORE_COMPUTE
ENTERPRISE_DLT_CORE_COMPUTE_(PHOTON)
ENTERPRISE_DLT_PRO_COMPUTE
ENTERPRISE_DLT_PRO_COMPUTE_(PHOTON)
ENTERPRISE_DLT_ADVANCED_COMPUTE
ENTERPRISE_DLT_ADVANCED_COMPUTE_(PHOTON)
ENTERPRISE_JOBS_COMPUTE
ENTERPRISE_JOBS_COMPUTE_(PHOTON)
ENTERPRISE_JOBS_LIGHT_COMPUTE
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_CANADA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
ENTERPRISE_SQL_COMPUTE
ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_OHIO
ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_OREGON
ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
ENTERPRISE_SQL_PRO_COMPUTE_CANADA
ENTERPRISE_SQL_PRO_COMPUTE_SA_BRAZIL
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_IRELAND
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_LONDON
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANCE
ENTERPRISE_SQL_PRO_COMPUTE_AP_SYDNEY
ENTERPRISE_SQL_PRO_COMPUTE_AP_MUMBAI
ENTERPRISE_SQL_PRO_COMPUTE_AP_SINGAPORE
ENTERPRISE_SQL_PRO_COMPUTE_AP_TOKYO
ENTERPRISE_SQL_PRO_COMPUTE_AP_SEOUL
PREMIUM_ALL_PURPOSE_COMPUTE
PREMIUM_ALL_PURPOSE_COMPUTE_(PHOTON)
PREMIUM_DLT_CORE_COMPUTE
PREMIUM_DLT_CORE_COMPUTE_(PHOTON)
PREMIUM_DLT_PRO_COMPUTE
PREMIUM_DLT_PRO_COMPUTE_(PHOTON)
PREMIUM_DLT_ADVANCED_COMPUTE
PREMIUM_DLT_ADVANCED_COMPUTE_(PHOTON)
PREMIUM_JOBS_COMPUTE
PREMIUM_JOBS_COMPUTE_(PHOTON)
PREMIUM_JOBS_LIGHT_COMPUTE
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_CANADA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_FRANKFURT
PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
PREMIUM_SQL_COMPUTE
PREMIUM_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
PREMIUM_SQL_PRO_COMPUTE_US_EAST_OHIO
PREMIUM_SQL_PRO_COMPUTE_US_WEST_OREGON
PREMIUM_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
PREMIUM_SQL_PRO_COMPUTE_CANADA
PREMIUM_SQL_PRO_COMPUTE_SA_BRAZIL
PREMIUM_SQL_PRO_COMPUTE_EUROPE_IRELAND
PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
PREMIUM_SQL_PRO_COMPUTE_EUROPE_LONDON
PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANCE
PREMIUM_SQL_PRO_COMPUTE_AP_SYDNEY
PREMIUM_SQL_PRO_COMPUTE_AP_MUMBAI
PREMIUM_SQL_PRO_COMPUTE_AP_SINGAPORE
PREMIUM_SQL_PRO_COMPUTE_AP_TOKYO
PREMIUM_SQL_PRO_COMPUTE_AP_SEOUL
STANDARD_ALL_PURPOSE_COMPUTE
STANDARD_ALL_PURPOSE_COMPUTE_(PHOTON)
STANDARD_DLT_CORE_COMPUTE
STANDARD_DLT_CORE_COMPUTE_(PHOTON)
STANDARD_DLT_PRO_COMPUTE
STANDARD_DLT_PRO_COMPUTE_(PHOTON)
STANDARD_DLT_ADVANCED_COMPUTE
STANDARD_DLT_ADVANCED_COMPUTE_(PHOTON)
STANDARD_JOBS_COMPUTE
STANDARD_JOBS_COMPUTE_(PHOTON)
STANDARD_JOBS_LIGHT_COMPUTE
非推奨SKU
以下のSKUは非推奨になりました。
非推奨のSKU名 |
非推奨になった日 |
代替SKU |
---|---|---|
|
2020年3月 |
|
|
2020年3月 |
|
|
2020年3月 |
|
|
2022年4月 |
|
|
2022年6月 |
|
Databricksで使用状況データを分析する
このセクションでは、請求対象使用量CSVファイルのデータをDatabricksで分析用に利用できるようにする方法について説明します。
CSVファイルでは市販の表計算アプリケーションの標準的な形式が使用されていますが、Apache Sparkで読み込むには修正が必要です。Databricksで使用状況テーブルを作成するときは、option("escape", "\"")
を使用する必要があります。
合計DBUは、dbus
列の合計です。
テーブル作成UIを使用してログをインポートする
データ追加UIを使用してデータを読み込むと、CSVファイルをDatabricksにインポートして分析できます。
Spark DataFrameを作成する
以下のコードを使用して、CSVファイルへのパスから使用状況テーブルを作成することもできます。
df = (spark.
read.
option("header", "true").
option("inferSchema", "true").
option("escape", "\"").
csv("/FileStore/tables/usage_data.csv"))
df.createOrReplaceTempView("usage")
ファイルがS3バケットに保存されていて、たとえばログ配信で使用される場合、コードは以下のようになります。ファイルパスまたはディレクトリを指定できます。ディレクトリを指定すると、すべてのファイルがインポートされます。以下の例では、ファイルを指定しています。
df = (spark.
read.
option("header", "true").
option("inferSchema", "true").
option("escape", "\"").
load("s3://<bucketname>/<pathprefix>/billable-usage/csv/workspaceId=<workspace-id>-usageMonth=<month>.csv"))
df.createOrReplaceTempView("usage")
以下の例では、課金利用ファイルのディレクトリをインポートしています。
df = (spark.
read.
option("header", "true").
option("inferSchema", "true").
option("escape", "\"").
load("s3://<bucketname>/<pathprefix>/billable-usage/csv/"))
df.createOrReplaceTempView("usage")