clusters コマンド グループ
この情報は、Databricks CLI バージョン 0.205 以降に適用されます。Databricks CLI は パブリック プレビュー段階です。
Databricks CLI 使用には、使用状況データを含む Databricks ライセンス および Databricks プライバシー通知が適用されます。
Databricks CLI内のclustersコマンドグループを使用すると、クラスターの作成、開始、編集、一覧表示、終了、および削除を行うことができます。
Databricks クラスターは、本番運用 ETL パイプライン、ストリーミング分析、アドホック アナリティクス、機械学習などのデータエンジニアリング、データサイエンス、およびデータ分析ワークロードを実行するための一連の計算リソースと構成です。クラシック・コンピュートの概要を参照してください。
Databricks は、終了したクラスターのクラスター設定情報を 30 日間保持します。 All-Purposeクラスター設定が 30 日以上終了した後でも保持するには、管理者はクラスターをクラスター リストにピン留めすることができます。
databricks clusters change-owner
クラスターの所有者を変更します。 この操作を実行するには、管理者であり、クラスターを終了する必要があります。 サービスプリンシパル アプリケーション ID は、owner_username の引数として指定できます。
databricks clusters change-owner CLUSTER_ID OWNER_USERNAME [flags]
引数
CLUSTER_ID
クラスター ID。
OWNER_USERNAME
この RPC 以降のcluster_idの新しい所有者。
オプション
--json JSON
インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path
databricks clusters create
新しいクラスターを作成します。 このコマンドは、必要に応じてクラウドプロバイダーから新しいインスタンスを取得します。このコマンドは非同期です。返されたcluster_idは、クラスターステータスのポーリングに使用できます。 このコマンドが戻ると、クラスターは PENDING 状態になります。 クラスターは、RUNNING 状態になると使用可能になります。 Databricks は、クラウド プロバイダーの制限 (アカウント制限、スポット価格など) または一時的なネットワークの問題により、要求されたノードの一部を取得できない場合があります。
Databricksが要求されたオンデマンドノードの少なくとも85%を取得すると、クラスターの作成は成功します。そうしないと、クラスターは情報エラーメッセージで終了します。
クラスターの JSON 定義を最初から作成するのではなく Databricks 、 コンピュート作成 UI に入力してから、生成された JSON 定義を UI からコピーすることをお勧めします。
databricks clusters create SPARK_VERSION [flags]
引数
SPARK_VERSION
クラスターの Spark バージョン (例: 13.3.x-scala2.12)。 使用可能な Spark バージョンの一覧は、 使用可能な Spark バージョンの一覧表示 API を使用して取得できます。
オプション
--apply-policy-default-values
true に設定すると、省略されたフィールドにはポリシーの固定値とデフォルト値が使用されます。
--autotermination-minutes int
クラスターがこの時間非アクティブになった後、分単位で自動的に終了します。
--cluster-name string
ユーザが要求したクラスター名。
--data-security-mode DataSecurityMode
データ セキュリティ モードでは、クラスターからデータにアクセスするときに使用するデータ ガバナンス モデルが決まります。 サポートされている値: DATA_SECURITY_MODE_AUTO、 DATA_SECURITY_MODE_DEDICATED、 DATA_SECURITY_MODE_STANDARD、 LEGACY_PASSTHROUGH、 LEGACY_SINGLE_USER、 LEGACY_SINGLE_USER_STANDARD、 LEGACY_TABLE_ACL、 NONE、 SINGLE_USER、 USER_ISOLATION
--driver-instance-pool-id string
クラスターのドライバのインスタンスプールの選択IDが属します。
--driver-node-type-id string
Spark ドライバーのノードの種類。
--enable-elastic-disk
オートスケール ローカルストレージ: 有効にすると、このクラスターは、 Spark のディスク容量が不足しているときに、追加のディスク容量を動的に取得します。
--enable-local-disk-encryption
クラスターVMのローカルディスクでLUKSを有効にするかどうか。
--instance-pool-id string
クラスターが属するインスタンス プールのオプション ID。
--is-single-node
このフィールドは、kind = CLASSIC_PREVIEWの場合にのみ使用できます。
--json JSON
インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path
--kind Kind
このコンピュート仕様で説明されているコンピュートの種類。 サポートされている値: CLASSIC_PREVIEW
--no-wait
RUNNING 状態に達するのを待たないでください
--node-type-id string
このフィールドは、このクラスター内の各 Spark ノードで使用可能なリソースを 1 つの値でエンコードします。
--num-workers int
このクラスターが持つ必要があるワーカー ノードの数。
--policy-id string
クラスターの作成に使用されるクラスターポリシーの ID(該当する場合)。
--runtime-engine RuntimeEngine
クラスターのランタイムエンジンを標準または Photonで決定します。 サポートされている値: NULL、 PHOTON、 STANDARD
--single-user-name string
data_security_mode が SINGLE_USERの場合は 1 つのユーザー名。
--timeout duration
RUNNING状態に達するまでの最大時間(デフォルトは20m0s)
--use-ml-runtime
このフィールドは、kind = CLASSIC_PREVIEWの場合にのみ使用できます。
databricks clusters delete
指定したIDでクラスターを終了します。 クラスターは非同期に削除されます。 終了が完了すると、クラスターは TERMINATED 状態になります。 クラスターがすでに TERMINATING または TERMINATED 状態にある場合は、何も起こりません。
databricks clusters delete CLUSTER_ID [flags]
引数
CLUSTER_ID
終了するクラスター。
オプション
--json JSON
インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path
--no-wait
TERMINATED状態に到達するのを待たないでください
--timeout duration
TERMINATED状態に達するまでの最大時間 (デフォルトは 20 分 0 秒)
databricks clusters edit
クラスターの設定を更新して、指定された属性とサイズに一致させます。 クラスターは、RUNNING または TERMINATED 状態の場合に更新できます。
クラスターが RUNNING 状態で更新されると、新しい属性を有効にするために再起動されます。
クラスターが TERMINATED 状態で更新された場合、クラスターは TERMINATED のままになります。 次にクラスター/start APIを使用して開始すると、新しい属性が有効になります。 他の状態でクラスターを更新しようとすると、INVALID_STATEエラーコードで拒否されます。
Databricks Jobs サービスで作成したクラスターは編集できません。
databricks clusters edit CLUSTER_ID SPARK_VERSION [flags]
引数
CLUSTER_ID
クラスターのID
SPARK_VERSION
クラスターの Spark バージョン (例: 13.3.x-scala2.12)。 使用可能な Spark バージョンの一覧は、 使用可能な Spark バージョンの一覧表示 API を使用して取得できます。
オプション
--apply-policy-default-values
省略されたフィールドには、ポリシーの固定値とデフォルト値を使用します。
--autotermination-minutes int
クラスターは、この時間非アクティブになった後、数分単位で自動的に終了します。
--cluster-name string
ユーザが要求したクラスター名。
--data-security-mode DataSecurityMode
データ セキュリティ モードでは、クラスターからデータにアクセスするときに使用するデータ ガバナンス モデルが決まります。 サポートされている値: DATA_SECURITY_MODE_AUTO、 DATA_SECURITY_MODE_DEDICATED``, DATA_SECURITY_MODE_STANDARD、 LEGACY_PASSTHROUGH、 LEGACY_SINGLE_USER、 LEGACY_SINGLE_USER_STANDARD、 LEGACY_TABLE_ACL、 NONE、 SINGLE_USER、 USER_ISOLATION
--driver-instance-pool-id string
クラスターのドライバのインスタンスプールの選択IDが属します。
--driver-node-type-id string
Spark ドライバーのノードの種類。
--enable-elastic-disk
オートスケール ローカルストレージ: 有効にすると、このクラスターは、 Spark のディスク容量が不足しているときに、追加のディスク容量を動的に取得します。
--enable-local-disk-encryption
クラスターVMのローカルディスクでLUKSを有効にするかどうか。
--instance-pool-id string
クラスターが属するインスタンス プールのオプション ID。
--is-single-node
このフィールドは、kind = CLASSIC_PREVIEWの場合にのみ使用できます。
--json JSON
インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path
--kind Kind
このコンピュート仕様で説明されているコンピュートの種類。 サポートされている値: CLASSIC_PREVIEW
--no-wait
RUNNING 状態に達するのを待たないでください
--node-type-id string
このフィールドは、このクラスター内の各 Spark ノードで使用可能なリソースを 1 つの値でエンコードします。
--num-workers int
このクラスターが持つ必要があるワーカー ノードの数。
--policy-id string
クラスターの作成に使用されるクラスターポリシーの ID(該当する場合)。
--runtime-engine RuntimeEngine
クラスターのランタイムエンジンを標準または Photonで決定します。 サポートされている値: NULL、 PHOTON、 STANDARD
--single-user-name string
data_security_modeがSINGLE_USERの場合は単一のユーザー名。
--timeout duration
RUNNING状態に達するまでの最大時間(デフォルトは20m0s)
--use-ml-runtime
このフィールドは、kind = CLASSIC_PREVIEWの場合にのみ使用できます。
databricks clusters events
クラスターのアクティビティに関するイベントを一覧表示します。 この API はページ分割されています。読み取るイベントが他にもある場合、応答にはイベントの次のページを要求するために必要なすべてのパラメーターが含まれます。
databricks clusters events CLUSTER_ID [flags]
引数
CLUSTER_ID
イベントを取得するクラスターの ID。
オプション
--end-time int
エポックミリ秒単位の終了時刻。
--json JSON
インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path
--limit int
非推奨: 代わりに page_token を page_size と組み合わせて使用してください。
--offset int
非推奨: 代わりに page_token を page_size と組み合わせて使用してください。
--order GetEventsOrder
イベントを一覧表示する順序。サポートされている値: ASC、 DESC
--page-size int
イベントのページに含めるイベントの最大数。
--page-token string
前のリクエストから返されたnext_page_tokenまたはprev_page_tokenを使用して、イベントの次のページまたは前のページをそれぞれ一覧表示します。
--start-time int
エポックミリ秒単位の開始時間。
databricks clusters get
情報 クラスターの識別子を指定して取得します。 クラスターは、実行中、または終了後 60 日以内に記述できます。
databricks clusters get CLUSTER_ID [flags]
引数
CLUSTER_ID
情報を取得するクラスター。
オプション
databricks clusters list
リスト 情報 すべての ピン留め とアクティブなクラスター、および過去 30 日以内に終了したすべてのクラスター。 この期間より前に終了したクラスターは含まれません。
databricks clusters list [flags]
引数
なし
オプション
--cluster-sources []string
ソースでクラスターをフィルタリング
--cluster-states []string
クラスターを州でフィルター処理する
--is-pinned
ピン留めステータスでクラスターをフィルタリング
--page-size int
このフィールドを使用して、サーバーから返される結果の最大数を指定します。
--page-token string
前のリクエストから返されたnext_page_tokenまたはprev_page_tokenを使用して、クラスターの次のページまたは前のページをそれぞれ一覧表示します。
--policy-id string
ポリシー ID によるクラスターのフィルター処理
databricks clusters list-node-types
サポートされているSparkノードの種類を一覧表示します。これらのノードタイプを使用して、クラスターを起動できます。
databricks clusters list-node-types [flags]
引数
なし
オプション
databricks clusters list-zones
クラスターを作成できるアベイラビリティーゾーンをリストします(例:us-west-2a)。 これらのゾーンを使用して、クラスターを起動できます。
databricks clusters list-zones [flags]
引数
なし
オプション
databricks clusters permanent-delete
クラスターを完全に削除します。 このクラスターは終了し、リソースは非同期的に削除されます。
さらに、ユーザーはクラスター リストに完全に削除されたクラスターを表示されなくなり、 API ユーザーは完全に削除されたクラスターに対してアクションを実行できなくなります。
databricks clusters permanent-delete CLUSTER_ID [flags]
引数
CLUSTER_ID
削除するクラスター。
オプション
--json JSON
インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path
databricks clusters pin
クラスターをピン留めして、クラスターが常に ListClusters APIによって返されるようにします。 すでにピン留めされているクラスターをピン留めしても効果はありません。 この API は、ワークスペース管理者のみが呼び出すことができます。
databricks clusters pin CLUSTER_ID [flags]
引数
CLUSTER_ID
クラスター ID。
オプション
--json JSON
インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path
databricks clusters resize
クラスターのサイズを、必要な数のワーカーにします。 これは、クラスターが RUNNING 状態でない限り失敗します。
databricks clusters resize CLUSTER_ID [flags]
引数
CLUSTER_ID
サイズを変更するクラスター。
オプション
--json JSON
インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path
--no-wait
RUNNING 状態に達するのを待たないでください
--num-workers int
このクラスターが持つ必要があるワーカー ノードの数。
--timeout duration
RUNNING 状態に達するまでの最大時間 (デフォルトは 20 分 0 秒)
databricks clusters restart
指定した ID でクラスターを再始動します。 クラスターが現在 RUNNING 状態でない場合は、何も起こりません。
databricks clusters restart CLUSTER_ID [flags]
引数
CLUSTER_ID
起動するクラスター。
オプション
--json JSON
インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path
--no-wait
RUNNING 状態に達するのを待たないでください
--restart-user string
クラスターを再起動したユーザー。
--timeout duration
RUNNING 状態に達するまでの最大時間 (デフォルトは 20 分 0 秒)
databricks clusters spark-versions
使用可能な Spark バージョンを一覧表示します。これらのバージョンは、クラスターの起動に使用できます。
databricks clusters spark-versions [flags]
引数
なし
オプション
databricks clusters start
終了したクラスターを指定した ID で起動します。 これは、以下を除き、createCluster と同様に機能します。- 以前のクラスター ID と属性は保持されます。 - クラスターは、最後に指定したクラスター サイズで始まります。 - 以前のクラスターがオートスケール クラスターであった場合、現在のクラスターは最小ノード数で開始されます。 - クラスターが現在 TERMINATED 状態でない場合は、何も起こりません。 - 実行ジョブのために起動されたクラスターを起動できません。
databricks clusters start CLUSTER_ID [flags]
引数
CLUSTER_ID
起動するクラスター。
オプション
--json JSON
インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path
--no-wait
RUNNING 状態に達するのを待たないでください
--timeout duration
RUNNING 状態に達するまでの最大時間 (デフォルトは 20 分 0 秒)
databricks clusters unpin
クラスターのピン留めを解除して、最終的にクラスターを ListClusters APIから削除できるようにします。 ピン留めではないクラスターのピン留めを解除しても効果はありません。 この API は、ワークスペース管理者のみが呼び出すことができます。
databricks clusters unpin CLUSTER_ID [flags]
引数
CLUSTER_ID
クラスター ID。
オプション
--json JSON
インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path
databricks clusters update
クラスターの構成を更新して、属性とサイズの部分的なセットに一致させます。 要求本文の update_mask フィールドを使用して、更新するフィールドを示します。クラスターは、RUNNING または TERMINATED 状態の場合に更新できます。 クラスターが RUNNING 状態で更新されると、新しい属性を有効にするために再起動されます。 クラスターが TERMINATED 状態で更新された場合、クラスターは TERMINATED のままになります。 更新された属性は、次にクラスター開始 APIを使用してクラスターを開始したときに有効になります。 他の状態でクラスターを更新しようとすると、INVALID_STATEエラーコードで拒否されます。 Databricks Jobs サービスで作成されたクラスターは更新できません。
databricks clusters update CLUSTER_ID UPDATE_MASK [flags]
引数
CLUSTER_ID
クラスターの ID。
UPDATE_MASK
更新するクラスター属性とサイズフィールドを指定するために使用します。 詳細については、 https://google.aip.dev/161 を参照してください。フィールドマスクは、複数のフィールドをカンマ(スペースなし)で区切った単一の文字列にする必要があります。フィールドパスはリソースオブジェクトを基準にしており、ドット (.) を使用してサブフィールド ( author.given_nameなど) を移動します。シーケンスフィールドまたはマップフィールド内の要素の指定は、コレクションフィールド全体のみを指定できるため、許可されません。フィールド名は、リソース・フィールド名と完全に一致する必要があります。フィールドマスクが _ の場合は、完全な置換を示します。更新されるフィールドを常に明示的にリストし、将来 API が変更された場合に意図しない結果につながる可能性があるため、 _ ワイルドカードの使用を避けることをお勧めします。
オプション
--json JSON
インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path
--no-wait
RUNNING 状態に達するのを待たないでください
--timeout duration
RUNNING 状態に達するまでの最大時間 (デフォルトは 20 分 0 秒)
databricks clusters get-permission-levels
クラスターの権限レベルを取得します。
databricks clusters get-permission-levels CLUSTER_ID [flags]
引数
CLUSTER_ID
権限を取得または管理するクラスター。
オプション
databricks clusters get-permissions
クラスターの権限を取得します。 クラスターは、ルートオブジェクトから権限を継承できます。
databricks clusters get-permissions CLUSTER_ID [flags]
引数
CLUSTER_ID
権限を取得または管理するクラスター。
オプション
databricks clusters set-permissions
クラスター権限を設定し、既存の権限が存在する場合は置き換えます。 指定されていない場合は、すべての直接アクセス許可を削除します。オブジェクトは、ルート オブジェクトからアクセス許可を継承できます。
databricks clusters set-permissions CLUSTER_ID [flags]
引数
CLUSTER_ID
権限を取得または管理するクラスター。
オプション
--json JSON
インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path
databricks clusters update-permissions
クラスターの権限を更新します。 クラスターは、ルートオブジェクトから権限を継承できます。
databricks clusters update-permissions CLUSTER_ID [flags]
引数
CLUSTER_ID
権限を取得または管理するクラスター。
オプション
--json JSON
インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path
グローバルフラグ
--debug
デバッグログを有効にするかどうか。
-h または --help
Databricks CLI、関連するコマンド グループ、または関連するコマンドのヘルプを表示します。
--log-file string
出力ログの書き込み先となるファイルを表す文字列。このフラグが指定されていない場合、デフォルトでは出力ログが stderr に書き込まれます。
--log-format format
ログ・フォーマット・タイプ ( text または json) 。デフォルト値は textです。
--log-level string
ログ形式レベルを表す文字列。指定しない場合、ログ・フォーマット・レベルは使用不可になります。
-o, --output タイプ
コマンド出力タイプ text または json。デフォルト値は textです。
-p, --profile string
コマンドの実行に使用する ~/.databrickscfg ファイル内のプロファイルの名前。このフラグが指定されていない場合、存在する場合は、 DEFAULT という名前のプロファイルが使用されます。
--progress-format format
進行状況ログを表示する形式: default、 append、 inplace、 json
-t, --target string
該当する場合は、使用するバンドル・ターゲット