メインコンテンツまでスキップ

コンピュート システムテーブル リファレンス

この記事では、コンピュート システムテーブルのリファレンス ガイドを提供します。 これらのテーブルを使用して、アカウント内の non-Serverレス all-purpose コンピュート、ジョブ コンピュート、および DLT パイプライン コンピュートのアクティビティとメトリクスをモニタできます。 コンピュートテーブルには、次のものが含まれます。

  • clusters: コンピュートの設定をアカウントに記録します。
  • node_types: 現在使用可能なノード・タイプごとに 1 つのレコード (ハードウェア情報を含む) が含まれます。
  • node_timeline: コンピュートの利用メトリクスの分単位の記録が含まれます。

クラスター テーブル スキーマ​

クラスタリング テーブルは、all-purpose コンピュート、ジョブ コンピュート、DLT パイプライン コンピュート、およびパイプライン maintenance コンピュートのコンピュート構成の経時的な履歴を含む、変化の遅いディメンション テーブルです。

Table path : このシステムテーブルは system.compute.clusters

列名

データ型

説明

例

account_id

string

このクラスターが作成されたアカウントの ID。

23e22ba4-87b9- 4cc2-9770-d10b894b7118

workspace_id

string

このクラスターが作成されたワークスペースの ID。

1234567890123456

cluster_id

string

このレコードが関連付けられているクラスターの ID。

0000-123456-xxxxxxxx

cluster_name

string

クラスターのユーザー定義名。

My cluster

owned_by

string

クラスター所有者のユーザー名。 デフォルトはクラスター作成者に与えられますが、クラスターAPI.

sample_user@email.com

create_time

タイムスタンプ

このコンピュート定義に対する変更のタイムスタンプ。

2023-01-09 11:00:00.000

delete_time

タイムスタンプ

クラスターが削除された時点のタイムスタンプ。 クラスターが削除されていない場合、値は null されます。

2023-01-09 11:00:00.000

driver_node_type

string

ドライバー ノードの種類の名前。 これは、クラウドプロバイダーのインスタンスタイプ名と一致します。

i3.xlarge

worker_node_type

string

ワーカー ノードの種類の名前。 これは、クラウドプロバイダーのインスタンスタイプ名と一致します。

i3.xlarge

worker_count

bigint

ワーカーの数。 固定サイズのクラスターに対してのみ定義されます。

4

min_autoscale_workers

bigint

設定されたワーカーの最小数。 このフィールドは、オートスケール クラスターの場合にのみ有効です。

1

max_autoscale_workers

bigint

設定された最大ワーカー数。 このフィールドは、オートスケール クラスターの場合にのみ有効です。

1

auto_termination_minutes

bigint

設定された自動終了期間。

120

enable_elastic_disk

ブーリアン

オートスケール ディスクの有効化ステータス。

true

tags

マップ

クラスターのユーザー定義タグ (デフォルト タグは含まれません)。

{"ResourceClass":"SingleNode"}

cluster_source

string

クラスタリングのソース。 UIまたはAPIの値は、万能コンピュートにのみ適用されます。すべてのジョブ コンピュートは JOBとしてログに記録されます。 パイプラインは PIPELINE または PIPELINE_MAINTENANCEです。

UI

init_scripts

配列

initスクリプトのパスのセットです。

"/Users/example@email.com /files/scripts/install-python-pacakges.sh"

aws_attributes

構造体

AWS 固有の設定。

{ "ebs_volume_count": null, "availability": "SPOT_WITH_FALLBACK", "first_on_demand": "0", "spot_bid_price_percent": "100" }

azure_attributes

構造体

Azure 固有の設定。

null

gcp_attributes

構造体

GCP 固有の設定。 このフィールドは空になります。

null

driver_instance_pool_id

string

インスタンス プール ID: ドライバーがインスタンス プールの上に構成されている場合。

1107-555555-crhod16-pool-DIdnjazB

worker_instance_pool_id

string

ワーカーがインスタンスプールの上に設定されている場合、インスタンスプールID。

1107-555555-crhod16-pool-DIdnjazB

dbr_version

string

クラスターの Databricks Runtime 。

14.x-snapshot-scala2.12

change_time

タイムスタンプ

コンピュート定義の変更のタイムスタンプ。

2023-01-09 11:00:00.000

change_date

日付

日付を変更します。 保持に使用されます。

2023-01-09

ノード タイプ テーブル スキーマ​

ノードタイプテーブルは、現在使用可能なノードタイプとその基本的なハードウェア情報をキャプチャします。

テーブルパス :このシステムテーブルは system.compute.node_typesにあります。

列名

データ型

説明

例

account_id

string

このクラスターが作成されたアカウントの ID。

23e22ba4-87b9-4cc2-9770-d10b894b7118

node_type

string

ノードタイプの一意の識別子。

i3.xlarge

core_count

double

インスタンスの vCPU の数。

48.0

memory_mb

ロング

インスタンスの合計メモリ。

393216

gpu_count

ロング

インスタンスの GPU の数。

0

ノード タイムライン テーブル スキーマ​

ノード タイムライン テーブルは、ノード レベルのリソース使用率データを分単位の粒度でキャプチャします。各レコードには、インスタンスごとに特定の時間分のデータが含まれています。このテーブルは、アカウント内の all-purpose コンピュート、ジョブ コンピュート、DLT パイプライン コンピュート、およびパイプライン maintenance コンピュート リソースのノード タイムラインをキャプチャします。

テーブルパス :このシステムテーブルは system.compute.node_timelineにあります。

列名

データ型

説明

例

account_id

string

このコンピュート リソースが実行されているアカウントの ID。

23e22ba4-87b9-4cc2-9770-d10b894b7118

workspace_id

string

このコンピュート リソースが実行されているワークスペースの ID。

1234567890123456

cluster_id

string

コンピュート リソースの ID。

0000-123456-crmpt124

instance_id

string

特定のインスタンスの ID。

i-1234a6c12a2681234

start_time

タイムスタンプ

レコードの開始時刻 (UTC)。

2024-07-16T12:00:00Z

end_time

タイムスタンプ

レコードの終了時刻 (UTC)。

2024-07-16T13:00:00Z

driver

ブーリアン

インスタンスがドライバー ノードかワーカー ノードか。

true

cpu_user_percent

double

CPU がユーザーランドで費やした時間の割合。

34.76163817234407

cpu_system_percent

double

CPU がカーネルに費やした時間の割合。

1.0895310279488264

cpu_wait_percent

double

CPU が I/O の待機に費やした時間の割合。

0.03445157400629276

mem_used_percent

double

期間中に使用されたコンピュートのメモリの割合 (コンピュートで実行されているバックグラウンド プロセスによって使用されたメモリを含む)。

45.34858216779041

mem_swap_percent

double

メモリ スワップに起因するメモリ使用量の割合。

0.014648443087939

network_sent_bytes

bigint

ネットワーク トラフィックで送信されたバイト数。

517376

network_received_bytes

bigint

ネットワーク トラフィックから受信したバイト数。

179234

disk_free_bytes_per_mount_point

マップ

マウント・ポイント別にグループ化されたディスク使用率。 これは、コンピュートが実行されている間のみの一時的なストレージ プロビジョニングです。

{"/var/lib/lxc":123455551234,"/": 123456789123,"/local_disk0":123412341234}

node_type

string

ノードの種類の名前。 これは、クラウドプロバイダーのインスタンスタイプ名と一致します。

i3.xlarge

既知の制限事項​

  • 2023 年 10 月 23 日より前に削除済みとしてマークされたコンピュート リソースは、クラスター テーブルに表示されません。 これにより、 system.billing.usage テーブルからのジョインがクラスターテーブルのレコードと一致しなくなる可能性があります。 すべてのアクティブなコンピュート リソースがバックフィルされました。
  • これらのテーブルには、all-purpose とジョブ コンピュートのレコードのみが含まれます。 サーバレス コンピュート、DLT コンピュート、 SQLウェアハウスのレコードは含まれていません。
  • 実行時間が 10 分未満のノードは、 node_timeline テーブルに表示されない場合があります。

サンプル クエリ​

次のサンプル クエリを使用して、一般的な質問に答えることができます。

注記

これらの例の一部は、クラスター テーブルと system.billing.usage テーブルを結合します。 請求レコードはクロスリージョンであり、クラスター レコードはリージョン指定であるため、請求レコードはクエリを実行するリージョンのクラスター レコードのみと一致します。 別の地域のレコードを表示するには、その地域でクエリを実行してください。

クラスターレコードを最新の請求レコードと結合する​

このクエリは、時間の経過に伴う支出を理解するのに役立ちます。 usage_start_timeを最新の請求期間に更新すると、請求レコードに対する最新の更新が取得され、クラスター データに結合されます。

各レコードは、その特定の実行中にクラスター所有者に関連付けられます。 そのため、クラスターの所有者が変更された場合、コストはクラスターが使用された時期に基づいて正しい所有者にロールアップされます。

SQL
SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

平均使用率とピーク使用率が最も高いコンピュート リソースを特定します​

平均 CPU 使用率とピーク CPU 使用率が最も高い汎用コンピュートとジョブ コンピュートを特定します。

SQL
SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;
に最終更新