メインコンテンツまでスキップ
に最終更新

pipelines コマンド グループ

注記

この情報は、Databricks CLI バージョン 0.205 以降に適用されます。Databricks CLI は パブリック プレビュー段階です。

Databricks CLI 使用には、使用状況データを含む Databricks ライセンス および Databricks プライバシー通知が適用されます。

Databricks CLI内のpipelinesコマンド グループには、2 セットの機能が含まれています。最初のセットでは、パイプライン プロジェクトとそのワークフローを管理できます。2 番目のセットでは、Databricks 内のパイプライン オブジェクトの詳細を作成、編集、削除、開始、表示できます。

パイプラインについては、 「 Lakeflow Spark宣言型パイプライン」を参照してください。

パイプラインプロジェクトの管理​

次のコマンドを使用すると、プロジェクト内のパイプラインを管理できます。

データブリックスパイプラインのデプロイ​

プロジェクトで定義されているすべてのファイルをターゲット ワークスペースにアップロードし、ワークスペースで定義されているパイプラインを作成または更新して、パイプラインをデプロイします。

databricks pipelines deploy [flags]

引数​

なし

オプション​

--auto-approve

展開に必要な対話型承認をスキップします

--fail-on-active-runs

デプロイメントに実行中のパイプラインがある場合は失敗します

--force-lock

デプロイメントロックの強制取得

グローバルフラグ

データブリックスパイプラインの破壊​

パイプライン プロジェクトを破棄します。

databricks pipelines destroy [flags]

引数​

なし

オプション​

--auto-approve

パイプラインの削除に関する対話型承認をスキップする

--force-lock

デプロイメントロックの強制取得

グローバルフラグ

databricks パイプライン dry-実行​

KEYで識別されるパイプラインのグラフの正確性を検証します。データセットを具体化または公開しません。

databricks pipelines dry-run [flags] [KEY]

引数​

KEY

YAML ファイルで定義されている、乾燥実行するパイプラインの一意の名前。 プロジェクトにパイプラインが 1 つしかない場合、 KEYはオプションであり、パイプラインは自動的に選択されます。

オプション​

--no-wait

実行が完了するまで待たないでください

--restart

すでに実行中の場合は実行を再開します

グローバルフラグ

データブリックスパイプラインは生成する​

既存の Spark パイプラインの構成を生成します。

このコマンドは、指定されたディレクトリ内のspark-pipeline.ymlまたは*.spark-pipeline.ymlファイルを検索し、パイプラインを定義するプロジェクトのresourcesフォルダーに新しい*.pipeline.yml構成ファイルを生成します。複数のspark-pipeline.ymlファイルが存在する場合は、特定の*.spark-pipeline.ymlファイルへの完全パスを指定します。

databricks pipelines generate [flags]
注記

Databricksワークスペースで既存のパイプラインの構成を生成するには、 「databricks バンドルによるパイプラインの生成」および「 Databricks CLIを使用した既存のジョブまたはパイプラインの構成の生成」を参照してください。

オプション​

--existing-pipeline-dir

src内の既存のパイプライン ディレクトリへのパス (例: src/my_pipeline )。

--force

既存のパイプライン構成ファイルを上書きします。

グローバルフラグ

例​

次の例では、現在のディレクトリを参照してsrc/my_pipeline/spark-pipeline.ymlを読み取り、パイプラインを定義する構成ファイルresources/my_pipeline.pipeline.ymlを作成します。

Bash
databricks pipelines generate --existing-pipeline-dir src/my_pipeline

データブリックスパイプラインの履歴​

KEYで識別されるパイプラインの過去の実行を取得します。

databricks pipelines history [flags] [KEY]

引数​

KEY

YAML ファイルで定義されているパイプラインの一意の名前。プロジェクトにパイプラインが 1 つしかない場合、 KEYはオプションであり、パイプラインは自動的に選択されます。

オプション​

--end-time string

この時間より前の更新をフィルターします (形式: 2025-01-15T10:30:00Z )

--start-time string

この時間以降の更新をフィルターします (形式: 2025-01-15T10:30:00Z )

グローバルフラグ

データブリックスパイプラインの初期化​

新しいパイプライン プロジェクトを初期化します。

Databricks CLIを使用したパイプライン プロジェクトの作成、デプロイ、実行を説明するチュートリアルについては、 「 Databricksアセット バンドルを使用したLakeFlow Spark宣言型パイプラインの開発」を参照してください。

databricks pipelines init [flags]

引数​

なし

オプション​

--config-file string

テンプレートの初期化に必要な入力問題のキーと値のペアを含むJSONファイル

--output-dir string

初期化されたテンプレートを書き込むディレクトリ

グローバルフラグ

データブリックスパイプラインログ​

KEYで識別されるパイプラインのイベントを取得します。デフォルトでは、このコマンドはパイプラインの最新の更新のイベントを表示します。

databricks pipelines logs [flags] [KEY]

引数​

KEY

YAML ファイルで定義されているパイプラインの一意の名前。プロジェクトにパイプラインが 1 つしかない場合、 KEYはオプションであり、パイプラインは自動的に選択されます。

オプション​

--end-time string

この終了時刻より前のイベントをフィルターします (形式: 2025-01-15T10:30:00Z )

--event-type strings

イベントタイプのリストでイベントをフィルタリングする

--level strings

ログレベルのリストでイベントをフィルタリングします ( INFO 、 WARN 、 ERROR 、 METRICS )

-n, --number int

返されるイベントの数

--start-time string

この開始時刻以降のイベントをフィルターします (形式: 2025-01-15T10:30:00Z )

--update-id string

更新 ID でイベントをフィルターします。指定されていない場合は、最新の更新IDを使用します

グローバルフラグ

例​

Bash
databricks pipelines logs pipeline-name --update-id update-1 -n 10
Bash
databricks pipelines logs pipeline-name --level ERROR,METRICS --event-type update_progress --start-time 2025-01-15T10:30:00Z

データブリックスパイプラインがオープン​

KEYで識別されるパイプラインをブラウザで開きます。

databricks pipelines open [flags] [KEY]

引数​

KEY

YAML ファイルで定義されている、開くパイプラインの一意の名前。プロジェクトにパイプラインが 1 つしかない場合、 KEYはオプションであり、パイプラインは自動的に選択されます。

オプション​

--force-pull

ローカルキャッシュをスキップし、リモートワークスペースから状態をロードします

グローバルフラグ

データブリックスパイプラインの実行​

KEYで識別されるパイプラインを実行します。特に指定がない限り、パイプライン内のすべてのテーブルを更新します。

databricks pipelines run [flags] [KEY]

引数​

KEY

YAML ファイルで定義されている、実行するパイプラインの一意の名前。プロジェクトにパイプラインが 1 つしかない場合、 KEYはオプションであり、パイプラインは自動的に選択されます。

オプション​

--full-refresh strings

リセットして再計算するテーブルのリスト

--full-refresh-all

グラフ全体をリセットして再計算する

--no-wait

実行が完了するまで待たないでください

--refresh strings

実行するテーブルのリスト

--restart

すでに実行中の場合は実行を再開します

グローバルフラグ

databricks pipelines stop​

パイプラインが実行中の場合は停止します。パイプラインはKEYまたはPIPELINE_IDで識別されます。パイプラインにアクティブな更新がない場合、この要求は何も実行されません。

databricks pipelines stop [KEY|PIPELINE_ID] [flags]

引数​

KEY

YAML ファイルで定義されている、停止するパイプラインの一意の名前。プロジェクトにパイプラインが 1 つしかない場合、 KEYはオプションであり、パイプラインは自動的に選択されます。

PIPELINE_ID

停止するパイプラインの UUID。

オプション​

--no-wait

IDLE 状態に達するのを待たないでください

--timeout duration

IDLE 状態に達するまでの最大時間(デフォルトは 20 分 0 秒)

グローバルフラグ

パイプラインオブジェクトの管理​

次のコマンドを使用すると、Databricks 内のパイプライン オブジェクトを管理できます。

databricks pipelines create​

要求された構成に基づいて新しいデータ処理パイプラインを作成します。成功した場合、このコマンドは新しいパイプラインの ID を返します。

databricks pipelines create [flags]

引数​

なし

オプション​

--json JSON

インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path。

グローバルフラグ

databricks pipelines delete​

パイプラインを削除します。

databricks pipelines delete PIPELINE_ID [flags]

引数​

PIPELINE_ID

削除するパイプライン。

オプション​

グローバルフラグ

databricks pipelines get​

パイプラインを取得します。

databricks pipelines get PIPELINE_ID [flags]

引数​

PIPELINE_ID

取得するパイプライン。

オプション​

グローバルフラグ

databricks pipelines get-update​

アクティブなパイプラインから更新プログラムを取得します。

databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]

引数​

PIPELINE_ID

パイプラインの ID。

UPDATE_ID

更新プログラムの ID。

オプション​

グローバルフラグ

databricks pipelines list-pipeline-events​

パイプラインのイベントを取得します。

databricks pipelines list-pipeline-events PIPELINE_ID [flags]

引数​

PIPELINE_ID

イベントを取得するパイプライン。

オプション​

--filter string

結果のサブセットを選択するための基準で、SQL に似た構文を使用して表されます。

--max-results int

1 ページに返されるエントリの最大数。

--page-token string

前の呼び出しによって返されたページ トークン。

グローバルフラグ

databricks pipelines list-pipelines​

Delta Live Tables システムで定義されているパイプラインを一覧表示します。

databricks pipelines list-pipelines [flags]

引数​

なし

オプション​

--filter string

指定した基準に基づいて結果のサブセットを選択します。

--max-results int

1 ページで返されるエントリの最大数。

--page-token string

前の呼び出しによって返されたページ トークン。

グローバルフラグ

databricks pipelines list-updates​

アクティブなパイプラインの更新を一覧表示します。

databricks pipelines list-updates PIPELINE_ID [flags]

引数​

PIPELINE_ID

更新を返すパイプライン。

オプション​

--max-results int

1 ページに返されるエントリの最大数。

--page-token string

前の呼び出しによって返されたページ トークン。

--until-update-id string

存在する場合は、このupdate_idまでの更新を返します。

グローバルフラグ

databricks pipelines start-update​

パイプラインの新しい更新を開始します。パイプラインのアクティブな更新プログラムが既にある場合、要求は失敗し、アクティブな更新プログラムは実行されたままになります。

databricks pipelines start-update PIPELINE_ID [flags]

引数​

PIPELINE_ID

更新を開始するパイプライン。

オプション​

--cause StartUpdateCause

サポートされている値: [API_CALL, JOB_TASK, RETRY_ON_FAILURE, SCHEMA_CHANGE, SERVICE_UPGRADE, USER_ACTION]

--full-refresh

true の場合、この更新により、実行前にすべてのテーブルがリセットされます。

--json JSON

インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path。

--validate-only

true の場合、この更新はパイプライン ソース コードの正確性を検証するだけで、データセットを具体化または公開しません。

グローバルフラグ

databricks pipelines update​

指定された構成でパイプラインを更新します。

databricks pipelines update PIPELINE_ID [flags]

引数​

PIPELINE_ID

このパイプラインの一意の識別子。

オプション​

--allow-duplicate-names

false の場合、名前が変更されて別のパイプラインの名前と競合すると、デプロイメントは失敗します。

--budget-policy-id string

このパイプラインの予算ポリシー。

--catalog string

このパイプラインからデータを発行する Unity Catalog のカタログ。

--channel string

Lakeflow Spark宣言型パイプライン 使用するバージョンを指定するリリース チャンネル。

--continuous

パイプラインが連続的かトリガーされるか。

--development

パイプラインが開発モードかどうか。

--edition string

パイプライン製品エディション。

--expected-last-modified int

存在する場合、編集前のパイプライン設定の最終変更時刻。

--id string

このパイプラインの一意の識別子。

--json JSON

インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path。

--name string

このパイプラインのフレンドリ識別子。

--photon

このパイプラインでPhotonが有効になっているかどうか。

--pipeline-id string

このパイプラインの一意の識別子。

--schema string

テーブルの読み取り元または発行先のデフォルトスキーマ (データベース)。

--serverless

このパイプラインでサーバレス コンピュートが有効になっているかどうか。

--storage string

チェックポイントとテーブルを格納するためのDBFSルートディレクトリ。

--target string

このパイプラインのテーブルを追加するターゲットスキーマ(データベース)。

グローバルフラグ

databricks pipelines get-permission-levels​

パイプラインのアクセス許可レベルを取得します。

databricks pipelines get-permission-levels PIPELINE_ID [flags]

引数​

PIPELINE_ID

アクセス許可を取得または管理するパイプライン。

オプション​

グローバルフラグ

databricks pipelines get-permissions​

パイプラインのアクセス許可を取得します。パイプラインは、ルート オブジェクトからアクセス許可を継承できます。

databricks pipelines get-permissions PIPELINE_ID [flags]

引数​

PIPELINE_ID

アクセス許可を取得または管理するパイプライン。

オプション​

グローバルフラグ

databricks pipelines set-permissions​

パイプラインのアクセス許可を設定します。

オブジェクトに対する権限を設定し、既存の権限が存在する場合は置き換えます。指定されていない場合は、すべての直接アクセス許可を削除します。オブジェクトは、ルート オブジェクトからアクセス許可を継承できます。

databricks pipelines set-permissions PIPELINE_ID [flags]

引数​

PIPELINE_ID

アクセス許可を取得または管理するパイプライン。

オプション​

--json JSON

インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path。

グローバルフラグ

databricks pipelines update-permissions​

パイプラインのアクセス許可を更新します。パイプラインは、ルート オブジェクトからアクセス許可を継承できます。

databricks pipelines update-permissions PIPELINE_ID [flags]

引数​

PIPELINE_ID

アクセス許可を取得または管理するパイプライン。

オプション​

--json JSON

インライン JSON 文字列、またはリクエスト本文を含む JSON ファイルへの@path。

グローバルフラグ

グローバルフラグ​

--debug

デバッグログを有効にするかどうか。

-h または --help

Databricks CLI、関連するコマンド グループ、または関連するコマンドのヘルプを表示します。

--log-file string

出力ログの書き込み先となるファイルを表す文字列。このフラグが指定されていない場合、デフォルトでは出力ログが stderr に書き込まれます。

--log-format format

ログ・フォーマット・タイプ ( text または json) 。デフォルト値は textです。

--log-level string

ログ形式レベルを表す文字列。指定しない場合、ログ・フォーマット・レベルは使用不可になります。

-o, --output タイプ

コマンド出力タイプ text または json。デフォルト値は textです。

-p, --profile string

コマンドの実行に使用する ~/.databrickscfg ファイル内のプロファイルの名前。このフラグが指定されていない場合、存在する場合は、 DEFAULT という名前のプロファイルが使用されます。

--progress-format format

進行状況ログを表示する形式: default、 append、 inplace、 json

-t, --target string

該当する場合は、使用するバンドル・ターゲット