メインコンテンツまでスキップ

DLT CLI(レガシー)

important

このドキュメントは廃止されており、更新されない可能性があります。

この情報は、従来の Databricks CLI バージョン 0.18 以下に適用されます。 Databricks では、代わりに新しい Databricks CLI バージョン 0.205 以降を使用することをお勧めします。 「Databricks CLI とは」を参照してください。Databricks CLI のバージョンを確認するには、 databricks -vを実行します。

Databricks CLI バージョン 0.18 以前から Databricks CLI バージョン 0.205 以降に移行するには、「 Databricks CLI の移行」を参照してください。

Databricks DLT CLI サブコマンドを実行するには、サブコマンドを databricks pipelines.これらのサブコマンドは、 DLT API を呼び出します。

Bash
databricks pipelines -h
Usage: databricks pipelines [OPTIONS] COMMAND [ARGS]...

Utility to interact with Databricks DLT Pipelines.

Options:
-v, --version 0.18.0
--debug Debug Mode. Shows full stack trace on error.
--profile TEXT CLI connection profile to use. The default profile is
"DEFAULT".

-h, --help Show this message and exit.

Commands:
create Creates a pipeline.
delete Deletes the pipeline and cancels any active updates.
deploy [Deprecated] This command is deprecated, use create and edit
commands instead. Creates or edits a pipeline specified by the
pipeline settings.

edit Edits a pipeline.
get Gets a pipeline's current settings and status.
list Lists all pipelines and their statuses.
reset [Deprecated] Use the "start --full-refresh" command instead. Resets
a pipeline so that data can be reprocessed from the beginning.

run [Deprecated] Use the "start" command instead. Starts a pipeline
update.

start Starts a pipeline update.
stop Stops the pipeline by cancelling any active update.

パイプラインを作成する

使用方法のドキュメントを表示するには、 databricks pipelines create --helpを実行します。

使い

Bash
databricks pipelines create --settings create-pipeline.json

create-pipeline.json:

JSON
{
"name": "Wikipedia pipeline (SQL)",
"storage": "/Users/username/data",
"clusters": [
{
"label": "default",
"autoscale": {
"min_workers": 1,
"max_workers": 5
}
}
],
"libraries": [
{
"notebook": {
"path": "/Users/username/DLT quickstart (SQL)"
}
}
],
"target": "wikipedia_analysis",
"continuous": false
}
Console
Successfully created pipeline: https://<databricks-instance>/#joblist/pipelines/4ee6b5c2-7017-11ec-90d6-0242ac120003 with ID: 4ee6b5c2-7017-11ec-90d6-0242ac120003.

パイプラインの編集

使用方法のドキュメントを表示するには、 databricks pipelines edit --helpを実行します。

使い

Bash
databricks pipelines edit --settings edit-pipeline.json

edit-pipeline.json:

JSON
{
"id": "4ee6b5c2-7017-11ec-90d6-0242ac120003",
"name": "Wikipedia pipeline (SQL)",
"storage": "/Users/username/data",
"clusters": [
{
"label": "default",
"autoscale": {
"min_workers": 1,
"max_workers": 3
}
}
],
"libraries": [
{
"notebook": {
"path": "/Users/username/DLT quickstart (SQL)"
}
}
],
"target": "wikipedia_quickstart_data",
"continuous": false
}
Console
Successfully edited pipeline settings: https://<databricks-instance>/#joblist/pipelines/4ee6b5c2-7017-11ec-90d6-0242ac120003.

パイプラインを削除する

使用方法のドキュメントを表示するには、 databricks pipelines delete --helpを実行します。

使い

Bash
databricks pipelines delete --pipeline-id 4ee6b5c2-7017-11ec-90d6-0242ac120003
Console
Pipeline 4ee6b5c2-7017-11ec-90d6-0242ac120003 deleted

パイプラインに関する情報を取得する

使用方法のドキュメントを表示するには、 databricks pipelines get --helpを実行します。

使い

Bash
databricks pipelines get --pipeline-id 4ee6b5c2-7017-11ec-90d6-0242ac120003
JSON
{
"pipeline_id": "4ee6b5c2-7017-11ec-90d6-0242ac120003",
"spec": {
"id": "4ee6b5c2-7017-11ec-90d6-0242ac120003",
"name": "Wikipedia pipeline (SQL)",
"storage": "/Users/username/data",
"clusters": [
{
"label": "default",
"autoscale": {
"min_workers": 1,
"max_workers": 5
}
}
],
"libraries": [
{
"notebook": {
"path": "/Users/username/DLT quickstart (SQL)"
}
}
],
"target": "wikipedia_analysis",
"continuous": false
},
"state": "IDLE",
"name": "Wikipedia pipeline (SQL)",
"creator_user_name": "username@databricks.com",
"last_modified": 1641600056265
}

すべてのパイプラインとそのステータスに関する情報を一覧表示します

使用方法のドキュメントを表示するには、 databricks pipelines list --helpを実行します。

使い

Bash
databricks pipelines list
JSON
[
{
"pipeline_id": "8a93e1b4-7024-11ec-90d6-0242ac120003",
"state": "IDLE",
"name": "Retail sales pipeline (SQL)",
"latest_updates": [
{
"update_id": "9df03924-7024-11ec-90d6-0242ac120003",
"state": "COMPLETED",
"creation_time": "2021-10-29T16:18:57.982Z"
},
{
"update_id": "a57e601c-7024-11ec-90d6-0242ac120003",
"state": "COMPLETED",
"creation_time": "2021-10-28T18:19:30.371Z"
}
],
"creator_user_name": "user@databricks.com"
},
{
"pipeline_id": "b46e2670-7024-11ec-90d6-0242ac120003",
"state": "IDLE",
"name": "DLT quickstart (Python)",
"latest_updates": [
{
"update_id": "bcd8fa2e-7024-11ec-90d6-0242ac120003",
"state": "COMPLETED",
"creation_time": "2021-12-16T18:19:25.827Z"
},
{
"update_id": "c2c7a2c8-7024-11ec-90d6-0242ac120003",
"state": "COMPLETED",
"creation_time": "2021-10-29T22:22:32.586Z"
},
{
"update_id": "c88d2818-7024-11ec-90d6-0242ac120003",
"state": "COMPLETED",
"creation_time": "2021-10-29T22:16:18.258Z"
}
],
"creator_user_name": "user@databricks.com"
}
]

パイプラインの更新を開始する

使用方法のドキュメントを表示するには、 databricks pipelines start --helpを実行します。

Bash
databricks pipelines start --pipeline-id 4ee6b5c2-7017-11ec-90d6-0242ac120003
Console
Started an update c6462e2e-beb7-4c24-a9d3-962eaa19781b for pipeline 4ee6b5c2-7017-11ec-90d6-0242ac120003.

パイプラインの更新をフル更新で開始する

使用方法のドキュメントを表示するには、 databricks pipelines start --helpを実行します。

使い

Bash
databricks pipelines start --pipeline-id 4ee6b5c2-7017-11ec-90d6-0242ac120003 --full-refresh
Console
Started an update ed885d3d-4fc0-44fd-b5dd-59471c789327 with full refresh for pipeline 4ee6b5c2-7017-11ec-90d6-0242ac120003.

パイプラインの更新を停止する

使用方法のドキュメントを表示するには、 databricks pipelines stop --helpを実行します。

使い

Bash
databricks pipelines stop --pipeline-id 4ee6b5c2-7017-11ec-90d6-0242ac120003
Console
Stopped pipeline 4ee6b5c2-7017-11ec-90d6-0242ac120003.