Delta Live Tables API ガイド

重要

この記事の内容は廃止されており、更新されない可能性があります。 Delta Live TablesDatabricksREST API リファレンスのを参照してください。

Delta Live Tables API を使用すると、パイプラインに関する詳細を作成、編集、削除、開始、および表示できます。

重要

Databricks REST APIsにアクセスするには、認証する必要があります。

パイプラインを作成する

エンドポイント	HTTP メソッド
`2.0/pipelines`	`POST`

新しい Delta Live Tables パイプラインを作成します。

例

この例では、新しいトリガーされたパイプラインを作成します。

依頼

curl --netrc -X POST \
https://<databricks-instance>/api/2.0/pipelines \
--data @pipeline-settings.json

pipeline-settings.json:

{
  "name": "Wikipedia pipeline (SQL)",
  "storage": "/Users/username/data",
  "clusters": [
    {
      "label": "default",
      "autoscale": {
        "min_workers": 1,
        "max_workers": 5,
        "mode": "ENHANCED"
      }
    }
  ],
  "libraries": [
    {
      "notebook": {
        "path": "/Users/username/DLT Notebooks/Delta Live Tables quickstart (SQL)"
      }
    }
  ],
  "continuous": false
}

取り替える：

<databricks-instance> を Databricks ワークスペースのインスタンス名に置き換えます (例: dbc-a1b2345c-d6e7.cloud.databricks.com)。

この例では、.netrc を使用します。ファイル。

応答

{
  "pipeline_id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5"
}

要求構造

「パイプライン設定」を参照してください。

応答構造

フィールド名	タイプ	説明
パイプライン	`STRING`	新しく作成されたパイプラインの一意の識別子。

パイプラインを編集する

エンドポイント	HTTP メソッド
`2.0/pipelines/{pipeline_id}`	`PUT`

既存のパイプラインの設定を更新します。

例

この例では、ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5のパイプラインに target パラメーターを追加します。

依頼

curl --netrc -X PUT \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5 \
--data @pipeline-settings.json

pipeline-settings.json

{
  "id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
  "name": "Wikipedia pipeline (SQL)",
  "storage": "/Users/username/data",
  "clusters": [
    {
      "label": "default",
      "autoscale": {
        "min_workers": 1,
        "max_workers": 5,
        "mode": "ENHANCED"
      }
    }
  ],
  "libraries": [
    {
      "notebook": {
        "path": "/Users/username/DLT Notebooks/Delta Live Tables quickstart (SQL)"
      }
    }
  ],
  "target": "wikipedia_quickstart_data",
  "continuous": false
}

取り替える：

<databricks-instance> を Databricks ワークスペースのインスタンス名に置き換えます (例: dbc-a1b2345c-d6e7.cloud.databricks.com)。

この例では、.netrc を使用します。ファイル。

要求構造

「パイプライン設定」を参照してください。

パイプラインを削除する

エンドポイント	HTTP メソッド
`2.0/pipelines/{pipeline_id}`	`DELETE`

Delta Live Tables システムからパイプラインを削除します。

例

この例では、ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5のパイプラインを削除します。

依頼

curl --netrc -X DELETE \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5

取り替える：

<databricks-instance> を Databricks ワークスペースのインスタンス名に置き換えます (例: dbc-a1b2345c-d6e7.cloud.databricks.com)。

この例では、.netrc を使用します。ファイル。

パイプラインの更新を開始する

エンドポイント	HTTP メソッド
`2.0/pipelines/{pipeline_id}/updates`	`POST`

パイプラインの更新を開始します。パイプライングラフ全体の更新、または特定のテーブルの選択的な更新を開始できます。

例

完全更新を開始する

この例では、ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5のパイプラインの完全更新で更新を開始します。

依頼

curl --netrc -X POST \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/updates \
--data '{ "full_refresh": "true" }'

取り替える：

<databricks-instance> を Databricks ワークスペースのインスタンス名に置き換えます (例: dbc-a1b2345c-d6e7.cloud.databricks.com)。

この例では、.netrc を使用します。ファイル。

応答

{
  "update_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8",
  "request_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8"
}

選択したテーブルの更新を開始する

この例では、パイプライン内の sales_orders_cleaned テーブルと sales_order_in_chicago テーブルを ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5で更新する更新を開始します。

依頼

curl --netrc -X POST \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/updates \
--data '{ "refresh_selection": ["sales_orders_cleaned", "sales_order_in_chicago"] }'

取り替える：

<databricks-instance> を Databricks ワークスペースのインスタンス名に置き換えます (例: dbc-a1b2345c-d6e7.cloud.databricks.com)。

この例では、.netrc を使用します。ファイル。

応答

{
  "update_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8",
  "request_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8"
}

選択したテーブルの完全な更新を開始する

この例では、 sales_orders_cleaned テーブルと sales_order_in_chicago テーブルの更新と、ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5のパイプライン内の customers テーブルと sales_orders_raw テーブルの完全更新を含む更新を開始します。

依頼

curl --netrc -X POST \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/updates \
--data '{ "refresh_selection": ["sales_orders_cleaned", "sales_order_in_chicago"], "full_refresh_selection": ["customers", "sales_orders_raw"] }'

取り替える：

<databricks-instance> を Databricks ワークスペースのインスタンス名に置き換えます (例: dbc-a1b2345c-d6e7.cloud.databricks.com)。

この例では、.netrc を使用します。ファイル。

応答

{
  "update_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8",
  "request_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8"
}

要求構造

フィールド名

タイプ

説明

full_refresh

BOOLEAN

すべてのデータを再処理するかどうか。 trueの場合、Delta Live Tables システムは、パイプラインを実行する前にリセット可能なすべてのテーブルをリセットします。

このフィールドはオプションです。

デフォルト値は falseです。

full_refesh が true で、 refresh_selection または full_refresh_selection のいずれかが設定されている場合は、エラーが返されます。

refresh_selection

の配列 STRING

更新するテーブルのリスト。 refresh_selection を使用して、パイプライングラフで選択したテーブルセットの更新を開始します。

このフィールドはオプションです。 refresh_selection と full_refresh_selection の両方が空の場合は、パイプライングラフ全体が更新されます。

次の場合、エラーが返されます。

full_refesh が真であり、 refresh_selection が設定されます。
指定されたテーブルの 1 つ以上がパイプライングラフに存在しません。

full_refresh_selection

の配列 STRING

完全更新で更新するテーブルの一覧。 full_refresh_selection を使用して、選択したテーブルセットの更新を開始します。指定されたテーブルの状態は、 Delta Live Tables システムが更新を開始する前にリセットされます。

このフィールドはオプションです。 refresh_selection と full_refresh_selection の両方が空の場合は、パイプライングラフ全体が更新されます。

次の場合、エラーが返されます。

full_refesh が真であり、 refresh_selection が設定されます。
指定されたテーブルの 1 つ以上がパイプライングラフに存在しません。
指定されたテーブルの 1 つ以上がリセット可能ではありません。

応答構造

フィールド名	タイプ	説明
`update_id`	`STRING`	新しく作成された更新プログラムの一意の識別子。
`request_id`	`STRING`	更新を開始した要求の一意の識別子。

パイプライン更新要求の状態を取得する

エンドポイント	HTTP メソッド
`2.0/pipelines/{pipeline_id}/requests/{request_id}`	`GET`

request_idに関連付けられているパイプライン更新の状態と情報を取得します。ここで、 request_id はパイプライン更新を開始する要求の一意の識別子です。更新が再試行または再開されると、新しい更新はrequest_idを継承します。

例

ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5のパイプラインの場合、この例では、要求 ID a83d9f7c-d798-4fd5-aa39-301b6e6f4429に関連付けられている更新の状態と情報が返されます。

依頼

curl --netrc -X GET \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/requests/a83d9f7c-d798-4fd5-aa39-301b6e6f4429

取り替える：

<databricks-instance> を Databricks ワークスペースのインスタンス名に置き換えます (例: dbc-a1b2345c-d6e7.cloud.databricks.com)。

この例では、.netrc を使用します。ファイル。

応答

{
   "status": "TERMINATED",
   "latest_update":{
     "pipeline_id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
     "update_id": "90da8183-89de-4715-b5a9-c243e67f0093",
     "config":{
       "id": "aae89b88-e97e-40c4-8e1a-1b7ac76657e8",
       "name": "Retail sales (SQL)",
       "storage": "/Users/username/data",
       "configuration":{
         "pipelines.numStreamRetryAttempts": "5"
       },
       "clusters":[
         {
           "label": "default",
           "autoscale":{
             "min_workers": 1,
             "max_workers": 5,
             "mode": "ENHANCED"
           }
         }
       ],
       "libraries":[
         {
           "notebook":{
             "path": "/Users/username/DLT Notebooks/Delta Live Tables quickstart (SQL)"
           }
         }
       ],
       "continuous": false,
       "development": true,
       "photon": true,
       "edition": "advanced",
       "channel": "CURRENT"
     },
     "cause": "API_CALL",
     "state": "COMPLETED",
     "cluster_id": "1234-567891-abcde123",
     "creation_time": 1664304117145,
     "full_refresh": false,
     "request_id": "a83d9f7c-d798-4fd5-aa39-301b6e6f4429"
   }
}

応答構造

フィールド名	タイプ	説明
`status`	`STRING`	パイプライン更新要求の状態。のいずれか 1 つ `ACTIVE`: この要求の更新がアクティブに実行されているか、新しい更新で再試行される可能性があります。 `TERMINATED`: 要求は終了し、再試行または再開されません。
`pipeline_id`	`STRING`	パイプラインの一意の識別子。
`update_id`	`STRING`	更新プログラムの一意の識別子。
`config`	パイプライン設定	パイプライン設定。
`cause`	`STRING`	更新のトリガー。 `API_CALL`、 `RETRY_ON_FAILURE`、 `SERVICE_UPGRADE`、 `SCHEMA_CHANGE`、 `JOB_TASK`、または `USER_ACTION`のいずれかです。
`state`	`STRING`	更新プログラムの状態。 `QUEUED`、`CREATED` `WAITING_FOR_RESOURCES`、`INITIALIZING`、`RESETTING`、`SETTING_UP_TABLES`、`RUNNING`、`STOPPING`、`COMPLETED`、`FAILED`、または `CANCELED`のいずれか。
`cluster_id`	`STRING`	更新を実行しているクラスターの識別子。
`creation_time`	`INT64`	更新プログラムが作成されたときのタイムスタンプ。
`full_refresh`	`BOOLEAN`	この更新プログラムが実行前にすべてのテーブルをリセットするかどうか
`refresh_selection`	の配列 `STRING`	完全更新なしで更新するテーブルのリスト。
`full_refresh_selection`	の配列 `STRING`	完全更新で更新するテーブルの一覧。
`request_id`	`STRING`	更新を開始した要求の一意の識別子。これは、更新要求によって返される値です。更新が再試行または再開されると、新しい更新はrequest_idを継承します。ただし、 `update_id` は異なります。

アクティブなパイプラインの更新を停止する

エンドポイント	HTTP メソッド
`2.0/pipelines/{pipeline_id}/stop`	`POST`

アクティブなパイプラインの更新を停止します。更新が実行されていない場合、この要求は実行されません。

連続パイプラインの場合、パイプラインの実行は停止するです。現在処理中のテーブルは更新を完了しますが、ダウンストリームテーブルは更新されません。次のパイプライン更新時に、Delta Live Tables は、処理が完了しなかったテーブルの選択された更新を実行し、残りのパイプライン DAG の処理を再開します。

トリガーされたパイプラインの場合、パイプラインの実行は停止されます。現在処理中のテーブルは更新を完了しますが、ダウンストリームテーブルは更新されません。次のパイプライン更新時に、 Delta Live Tables はすべてのテーブルを更新します。

例

この例では、ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5のパイプラインの更新を停止します。

依頼

curl --netrc -X POST \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/stop

取り替える：

<databricks-instance> を Databricks ワークスペースのインスタンス名に置き換えます (例: dbc-a1b2345c-d6e7.cloud.databricks.com)。

この例では、.netrc を使用します。ファイル。

パイプラインイベントの一覧表示

エンドポイント	HTTP メソッド
`2.0/pipelines/{pipeline_id}/events`	`GET`

パイプラインのイベントを取得します。

例

この例では、ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5のパイプラインの最大 5 つのイベントを取得します。

依頼

curl --netrc -X GET \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/events?max_results=5

取り替える：

<databricks-instance> を Databricks ワークスペースのインスタンス名に置き換えます (例: dbc-a1b2345c-d6e7.cloud.databricks.com)。

この例では、.netrc を使用します。ファイル。

要求構造

フィールド名	タイプ	説明
`page_token`	`STRING`	前の呼び出しによって返されたページトークン。このフィールドは、max_results を除くこの要求のすべてのフィールドと相互に排他的です。このフィールドの設定時に max_results 以外のフィールドが設定されている場合は、エラーが返されます。このフィールドはオプションです。
`max_results`	`INT32`	1 ページに返されるエントリの最大数。システムは、使用可能なイベントがさらに多い場合でも、応答で返されるイベントが `max_results` 個未満になる場合があります。このフィールドはオプションです。デフォルト値は 25 です。最大値は 100 です。 `max_results` の値が 100 より大きい場合は、エラーが返されます。
`order_by`	`STRING`	結果のタイムスタンプによる並べ替え順序を示す文字列 ( `["timestamp asc"]`など)。並べ替え順序は、昇順または降順にすることができます。デフォルトでは、イベントはタイムスタンプの降順で返されます。このフィールドはオプションです。
`filter`	`STRING`	結果のサブセットを選択するための基準で、SQL に似た構文を使用して表されます。サポートされているフィルターは次のとおりです。 `level='INFO'` (または `WARN` または `ERROR`) `level in ('INFO', 'WARN')` `id='[event-id]'` `timestamp > 'TIMESTAMP'` (または `>=`、`<`、`<=`、`=`) 次のような複合式がサポートされています。 `level in ('ERROR', 'WARN') AND timestamp> '2021-07-22T06:37:33.083Z'` このフィールドはオプションです。

応答構造

フィールド名	タイプ	説明
`events`	パイプラインイベントの配列。	要求条件に一致するイベントのリスト。
`next_page_token`	`STRING`	存在する場合は、イベントの次のページをフェッチするためのトークン。
`prev_page_token`	`STRING`	存在する場合は、イベントの前のページをフェッチするトークン。

パイプラインの詳細を取得する

エンドポイント	HTTP メソッド
`2.0/pipelines/{pipeline_id}`	`GET`

パイプライン設定や最近の更新など、パイプラインに関する詳細を取得します。

例

この例では、ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5のパイプラインの詳細を取得します。

依頼

curl --netrc -X GET \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5

取り替える：

<databricks-instance> を Databricks ワークスペースのインスタンス名に置き換えます (例: dbc-a1b2345c-d6e7.cloud.databricks.com)。

この例では、.netrc を使用します。ファイル。

応答

{
  "pipeline_id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
  "spec": {
    "id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
    "name": "Wikipedia pipeline (SQL)",
    "storage": "/Users/username/data",
    "clusters": [
      {
        "label": "default",
        "autoscale": {
          "min_workers": 1,
          "max_workers": 5,
          "mode": "ENHANCED"
        }
      }
    ],
    "libraries": [
      {
        "notebook": {
          "path": "/Users/username/DLT Notebooks/Delta Live Tables quickstart (SQL)"
        }
      }
    ],
    "target": "wikipedia_quickstart_data",
    "continuous": false
  },
  "state": "IDLE",
  "cluster_id": "1234-567891-abcde123",
  "name": "Wikipedia pipeline (SQL)",
  "creator_user_name": "username",
  "latest_updates": [
    {
      "update_id": "8a0b6d02-fbd0-11eb-9a03-0242ac130003",
      "state": "COMPLETED",
      "creation_time": "2021-08-13T00:37:30.279Z"
    },
    {
      "update_id": "a72c08ba-fbd0-11eb-9a03-0242ac130003",
      "state": "CANCELED",
      "creation_time": "2021-08-13T00:35:51.902Z"
    },
    {
      "update_id": "ac37d924-fbd0-11eb-9a03-0242ac130003",
      "state": "FAILED",
      "creation_time": "2021-08-13T00:33:38.565Z"
    }
  ],
  "run_as_user_name": "username"
}

応答構造

フィールド名	タイプ	説明
`pipeline_id`	`STRING`	パイプラインの一意の識別子。
`spec`	パイプライン設定	パイプライン設定。
`state`	`STRING`	パイプラインの状態。 `IDLE` または `RUNNING`のいずれか。 state = `RUNNING`の場合、少なくとも 1 つのアクティブな更新があります。
`cluster_id`	`STRING`	パイプラインを実行しているクラスターの識別子。
`name`	`STRING`	このパイプラインのわかりやすい名前。
`creator_user_name`	`STRING`	パイプライン作成者のユーザー名。
`latest_updates`	の配列状態情報	パイプラインの最新の更新の状態 (最新の更新プログラムから順に並べられます)。
`run_as_user_name`	`STRING`	パイプラインを実行するユーザー名。

更新プログラムの詳細を取得する

エンドポイント	HTTP メソッド
`2.0/pipelines/{pipeline_id}/updates/{update_id}`	`GET`

パイプラインの更新の詳細を取得します。

例

この例では、ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5のパイプラインの更新 9a84f906-fc51-11eb-9a03-0242ac130003 の詳細を取得します。

依頼

curl --netrc -X GET \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/updates/9a84f906-fc51-11eb-9a03-0242ac130003

取り替える：

<databricks-instance> を Databricks ワークスペースのインスタンス名に置き換えます (例: dbc-a1b2345c-d6e7.cloud.databricks.com)。

この例では、.netrc を使用します。ファイル。

応答

{
  "update": {
    "pipeline_id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
    "update_id": "9a84f906-fc51-11eb-9a03-0242ac130003",
    "config": {
      "id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
      "name": "Wikipedia pipeline (SQL)",
      "storage": "/Users/username/data",
      "configuration": {
        "pipelines.numStreamRetryAttempts": "5"
      },
      "clusters": [
        {
          "label": "default",
          "autoscale": {
            "min_workers": 1,
            "max_workers": 5,
            "mode": "ENHANCED"
          }
        }
      ],
      "libraries": [
        {
          "notebook": {
            "path": "/Users/username/DLT Notebooks/Delta Live Tables quickstart (SQL)"
          }
        }
      ],
      "target": "wikipedia_quickstart_data",
      "continuous": false,
      "development": false
    },
    "cause": "API_CALL",
    "state": "COMPLETED",
    "creation_time": 1628815050279,
    "full_refresh": true,
    "request_id": "a83d9f7c-d798-4fd5-aa39-301b6e6f4429"
  }
}

応答構造

フィールド名	タイプ	説明
`pipeline_id`	`STRING`	パイプラインの一意の識別子。
`update_id`	`STRING`	この更新プログラムの一意の識別子。
`config`	パイプライン設定	パイプライン設定。
`cause`	`STRING`	更新のトリガー。 `API_CALL`、`RETRY_ON_FAILURE`、`SERVICE_UPGRADE`のいずれか。
`state`	`STRING`	更新プログラムの状態。 `QUEUED`、`CREATED` `WAITING_FOR_RESOURCES`、`INITIALIZING`、`RESETTING`、`SETTING_UP_TABLES`、`RUNNING`、`STOPPING`、`COMPLETED`、`FAILED`、または `CANCELED`のいずれか。
`cluster_id`	`STRING`	パイプラインを実行しているクラスターの識別子。
`creation_time`	`INT64`	更新プログラムが作成されたときのタイムスタンプ。
`full_refresh`	`BOOLEAN`	これが完全な更新だったかどうか。 true の場合、更新を実行する前にすべてのパイプラインテーブルがリセットされました。

パイプラインの一覧表示

エンドポイント	HTTP メソッド
`2.0/pipelines/`	`GET`

Delta Live Tables システムで定義されているパイプラインを一覧表示します。

例

この例では、名前に quickstartが含まれているパイプラインの詳細を取得します。

依頼

curl --netrc -X GET \
https://<databricks-instance>/api/2.0/pipelines?filter=name%20LIKE%20%27%25quickstart%25%27

取り替える：

<databricks-instance> を Databricks ワークスペースのインスタンス名に置き換えます (例: dbc-a1b2345c-d6e7.cloud.databricks.com)。

この例では、.netrc を使用します。ファイル。

応答

{
  "statuses": [
    {
      "pipeline_id": "e0f01758-fc61-11eb-9a03-0242ac130003",
      "state": "IDLE",
      "name": "DLT quickstart (Python)",
      "latest_updates": [
        {
          "update_id": "ee9ae73e-fc61-11eb-9a03-0242ac130003",
          "state": "COMPLETED",
          "creation_time": "2021-08-13T00:34:21.871Z"
        }
      ],
      "creator_user_name": "username"
    },
    {
      "pipeline_id": "f4c82f5e-fc61-11eb-9a03-0242ac130003",
      "state": "IDLE",
      "name": "My DLT quickstart example",
      "creator_user_name": "username"
    }
  ],
  "next_page_token": "eyJ...==",
  "prev_page_token": "eyJ..x9"
}

要求構造

フィールド名	タイプ	説明
`page_token`	`STRING`	前の呼び出しによって返されたページトークン。このフィールドはオプションです。
`max_results`	`INT32`	1 ページに返されるエントリの最大数。システムは、使用可能なイベントがさらに多い場合でも、応答で返されるイベントが `max_results` 個未満になる場合があります。このフィールドはオプションです。デフォルト値は 25 です。最大値は 100 です。 `max_results` の値が 100 より大きい場合は、エラーが返されます。
`order_by`	の配列 `STRING`	結果の順序を指定する文字列のリスト ( `["name asc"]`など)。サポートされている `order_by` フィールドは、 `id` と `name`です。デフォルトは `id asc`です。このフィールドはオプションです。
`filter`	`STRING`	指定した条件に基づいて結果のサブセットを選択します。サポートされているフィルターは次のとおりです。 `"notebook='<path>'"` をクリックして、指定されたノートブックパスを参照するパイプラインを選択します。 `name LIKE '[pattern]'` をクリックして、 `pattern`と一致する名前のパイプラインを選択します。次のようなワイルドカードがサポートされています。 `name LIKE '%shopping%'` 複合フィルターはサポートされていません。このフィールドはオプションです。

応答構造

フィールド名	タイプ	説明
`statuses`	パイプライン状態情報の配列	要求条件に一致するイベントのリスト。
`next_page_token`	`STRING`	存在する場合は、イベントの次のページをフェッチするためのトークン。
`prev_page_token`	`STRING`	存在する場合は、イベントの前のページをフェッチするトークン。

データ構造

このセクションの内容：

AwsAttributes
AWS可用性
ClusterLogConf
DbfsStorageInfo
EbsVolumeType
ファイルストレージ情報
InitScriptInfo
キーバリュー
ノートブックライブラリ
パイプライン自動スケール
パイプラインライブラリ
パイプライン新しいクラスター
パイプライン設定
パイプライン状態情報
S3ストレージ情報
更新状態情報
ワークスペースストレージ情報

AwsAttributes

アマゾンウェブサービスに関連するクラスターの作成時に設定された属性。

フィールド名	タイプ	説明
`first_on_demand`	`INT32`	クラスターの最初のfirst_on_demandノードは、オンデマンドインスタンスに配置されます。この値が 0 より大きい場合、クラスタードライバーノードはオンデマンドインスタンスに配置されます。この値が現在のクラスターサイズ以上の場合、すべてのノードがオンデマンドインスタンスに配置されます。この値が現在のクラスターサイズより小さい場合、first_on_demandノードはオンデマンドインスタンスに配置され、残りは `availability` インスタンスに配置されます。この値はクラスターのサイズには影響せず、クラスターの有効期間中に変更することはできません。
`availability`	AWS可用性	first_on_demandノード以降のすべての後続のノードに使用される可用性の種類。手記： first_on_demand が 0 の場合、この可用性の種類がクラスター全体に使用されます。
`zone_id`	`STRING`	クラスターが存在するアベイラビリティーゾーン (AZ) の識別子。デフォルトでは、設定の値は auto(自動 AZ とも呼ばれます) です。 Auto-AZ では、Databricks はワークスペースサブネットで使用可能な IP に基づいて AZ を選択し、AWS が容量不足エラーを返した場合は他のアベイラビリティーゾーンで再試行します。必要に応じて、使用する可用性ゾーンを指定することもできます。これは、特定の AZ にリザーブドインスタンスを持つアカウントにメリットがあります。 AZ を文字列として指定します ( `"us-west-2a"`など)。指定された可用性ゾーンは、Databricks デプロイと同じリージョンに存在する必要があります。たとえば、Databricks デプロイが "us-east-1" リージョンに存在する場合、"us-west-2a" は有効なゾーン ID ではありません。使用可能なゾーンのリストとデフォルト値は、GET /api/2.0/クラスター/list-zones を使用して見つけることができます呼び出し。
`instance_profile_arn`	`STRING`	このクラスターのノードは、このインスタンスプロファイルを持つ AWS インスタンスにのみ配置されます。省略すると、ノードはインスタンスプロファイルのないインスタンスに配置されます。インスタンスプロファイルは、アカウント管理者によって事前に Databricks 環境に追加されている必要があります。この機能は、特定の顧客プランでのみ使用できる場合があります。
`spot_bid_price_percent`	`INT32`	AWS スポットインスタンスの最大料金 (対応するインスタンスタイプのオンデマンド料金に対する割合)。たとえば、このフィールドが 50 に設定されていて、クラスターに新しい `i3.xlarge` スポットインスタンスが必要な場合、上限価格はオンデマンド `i3.xlarge` インスタンスの価格の半分になります。同様に、このフィールドが 200 に設定されている場合、上限価格はオンデマンド `i3.xlarge` インスタンスの価格の 2 倍になります。指定しない場合、既定値は 100 です。このクラスターのスポットインスタンスがリクエストされると、最大価格パーセンテージがこのフィールドに一致するスポットインスタンスのみが考慮されます。安全のため、このフィールドは 10000 以下にします。
`ebs_volume_type`	EbsVolumeType	このクラスターで起動される EBS ボリュームのタイプ。
`ebs_volume_count`	`INT32`	各インスタンスで起動されたボリュームの数。最大10巻まで選択できます。この機能は、サポートされているノードタイプに対してのみ有効です。レガシーノードタイプでは、カスタム EBS ボリュームを指定できません。インスタンスストアのないノードタイプの場合、少なくとも 1 つの EBS ボリュームを指定する必要があります。そうしないと、クラスターの作成が失敗します。これらの EBS ボリュームは、 `/ebs0`、 `/ebs1`などにマウントされます。インスタンスストアボリュームは、 `/local_disk0`、 `/local_disk1`などにマウントされます。 EBS ボリュームがアタッチされている場合、異種サイズのスクラッチデバイスは非効率的なディスク使用につながる可能性があるため、Databricks はスクラッチストレージに EBS ボリュームのみを使用するように Spark を構成します。 EBS ボリュームがアタッチされていない場合、Databricks はインスタンスストアボリュームを使用するように Spark を構成します。 EBS ボリュームが指定されている場合、Spark 構成 `spark.local.dir` 上書きされます。
`ebs_volume_size`	`INT32`	インスタンスごとに起動される各 EBS ボリュームのサイズ (GiB 単位)。汎用SSDボリュームの場合、この値は 100 から 4096 の範囲でなければなりません。スループット最適化 HDD の場合、この値は 500 から 4096 の範囲内にある必要があります。カスタム EBS ボリュームは、レガシーノードタイプ (メモリ最適化およびコンピュート最適化) には指定できません。
`ebs_volume_iops`	`INT32`	EBS gp3 ボリュームあたりの IOPS の数。この値は 3000 から 16000 の間でなければなりません。 IOPS とスループットの値は、同じボリュームサイズの gp2 ボリュームの最大パフォーマンスと一致するように、AWS のドキュメントに基づいて計算されます。詳細については、「 EBS ボリューム制限計算ツール」を参照してください。
`ebs_volume_throughput`	`INT32`	EBS gp3 ボリュームあたりのスループット (MiB/秒)。この値は 125 から 1000 の間でなければなりません。

ebs_volume_iops も ebs_volume_throughput も指定されていない場合、値はディスクサイズから推論されます。

ディスクサイズ	IOPS	スループット
1000 より大きい	ディスクサイズの 3 倍、最大 16000	250
170から1000の間	3000	250
170未満	3000	125

AWS可用性

クラスターのノードを設定するときにサポートされる AWS 可用性タイプのセット。

タイプ	説明
`SPOT`	スポットインスタンスを使用します。
`ON_DEMAND`	オンデマンドインスタンスを使用します。
`SPOT_WITH_FALLBACK`	できればスポットインスタンスを使用しますが、スポットインスタンスを取得できない場合 (AWS スポット料金が高すぎる場合など) はオンデマンドインスタンスにフォールバックします。

ClusterLogConf

クラスターログへのパス。

フィールド名

タイプ

説明

dbfs 又は s3

DbfsStorageInfo

S3ストレージ情報

クラスターログの DBFS の場所。目的地を指定する必要があります。例えば { "dbfs" : { "destination" : "dbfs:/home/cluster_log" } }

クラスターログの S3 の場所。 destination と region または warehouse のいずれかを提供する必要があります。例えば { "s3": { "destination" : "s3://cluster_log_bucket/prefix", "region" : "us-west-2" } }

DbfsStorageInfo

DBFS ストレージ情報。

フィールド名	タイプ	説明
`destination`	`STRING`	DBFS の宛先。例： `dbfs:/my/path`

EbsVolumeType

Databricks は、gp2 および gp3 EBS ボリュームタイプをサポートしています。 SSD ストレージの管理の指示に従って、ワークスペースに gp2 または gp3 を選択します。

タイプ	説明
`GENERAL_PURPOSE_SSD`	AWS EBS ボリュームを使用して追加のストレージをプロビジョニングします。
`THROUGHPUT_OPTIMIZED_HDD`	AWS st1 ボリュームを使用して追加のストレージをプロビジョニングします。

ファイルストレージ情報

ファイルストレージ情報。

注

この場所の種類は、 Databricks Container Services を使用して設定されたクラスターでのみ使用できます。

フィールド名	タイプ	説明
`destination`	`STRING`	ファイルの宛先。例： `file:/my/file.sh`

InitScriptInfo

initスクリプトへのパス。

Databricks Container Services で init スクリプトを使用する手順については、「init スクリプトを使用する」を参照してください。

注

ファイルストレージの種類 (フィールド名: file) は、 Databricks Container Services を使用して設定されたクラスターでのみ使用できます。「 FileStorageInfo」を参照してください。

フィールド名

タイプ

説明

workspace OR dbfs (非推奨)

又は S3

ワークスペースストレージ情報

DbfsStorageInfo (非推奨)

S3ストレージ情報

initスクリプトのワークスペースの場所。目的地を指定する必要があります。例えば { "workspace" : { "destination" : "/Users/someone@domain.com/init_script.sh" } }

(非推奨)initスクリプトの DBFS の場所。目的地を指定する必要があります。例えば { "dbfs" : { "destination" : "dbfs:/home/init_script" } }

initスクリプトの S3 の場所。配送先と、地域またはウェアハウスを指定する必要があります。例えば { "s3": { "destination" : "s3://init_script_bucket/prefix", "region" : "us-west-2" } }

キーバリュー

設定パラメーターを指定するキーと値のペア。

フィールド名	タイプ	説明
`key`	`STRING`	構成プロパティ名。
`value`	`STRING`	構成プロパティの値。

ノートブックライブラリ

パイプラインコードを含むノートブックの仕様。

フィールド名

タイプ

説明

path

STRING

ノートブックへの絶対パス。

このフィールドは必須です。

パイプライン自動スケール

オートスケールクラスターを定義する属性。

フィールド名

タイプ

説明

min_workers

INT32

使用率が低い場合にクラスターをスケールダウンできるワーカーの最小数。また、作成後にクラスターが持つワーカーの初期数でもあります。

max_workers

INT32

過負荷時にクラスターがスケールアップできるワーカーの最大数。 max_workers厳密にmin_workersより大きい必要があります。

mode

STRING

クラスターのオートスケールモード:

ENHANCED 拡張オートスケールを使用します。
LEGACY をクリックして、クラスターのオートスケール機能を使用します。

パイプラインライブラリ

パイプラインの依存関係の仕様。

フィールド名	タイプ	説明
`notebook`	ノートブックライブラリ	Delta Live Tables データセットを定義するノートブックへのパス。パスは Databricks ワークスペース内にある必要があります (例: `{ "notebook" : { "path" : "/my-pipeline-notebook-path" } }`)。

パイプライン新しいクラスター

パイプラインクラスターの仕様。

Delta Live Tables システムでは、次の属性が設定されます。これらの属性は、ユーザーが構成することはできません。

spark_version

フィールド名	タイプ	説明
`label`	`STRING`	デフォルトのクラスターを構成するための `default` 、またはメンテナンスクラスターを構成するための `maintenance` のいずれかのクラスター仕様のラベル。このフィールドはオプションです。デフォルト値は `default`です。
`spark_conf`	キーバリュー	オプションのユーザー指定の Spark 構成キーと値のペアのセットを含むオブジェクト。また、追加のJVMオプションの文字列を、それぞれ `spark.driver.extraJavaOptions` と `spark.executor.extraJavaOptions` を介してドライバーとエグゼキューターに渡すこともできます。例 Spark confs: `{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5}` または `{"spark.driver.extraJavaOptions": "-verbose:gc -XX:+PrintGCDetails"}`
`aws_attributes`	AwsAttributes	アマゾンウェブサービスで実行されているクラスターに関連する属性。クラスターの作成時に指定しない場合は、一連の既定値が使用されます。
`node_type_id`	`STRING`	このフィールドは、このクラスター内の各 Spark ノードで使用できるリソースを 1 つの値でエンコードします。たとえば、Spark ノードは、メモリまたはコンピュート集中型のワークロード用にプロビジョニングおよび最適化できます。使用可能なノードの種類の一覧は、 GET 2.0/クラスター/list-node-types 呼び出しを使用して取得できます。
`driver_node_type_id`	`STRING`	Spark ドライバーのノードの種類。このフィールドはオプションです。設定されていない場合、ドライバーノードの種類は、上記で定義した `node_type_id` と同じ値として設定されます。
`ssh_public_keys`	の配列 `STRING`	このクラスター内の各 Spark ノードに追加される SSH 公開キーの内容。対応する秘密キーを使用して、ポート `2200`でユーザー名 `ubuntu` でログインできます。最大10個のキーを指定できます。
`custom_tags`	キーバリュー	クラスターリソースのタグのセットを含むオブジェクト。 Databricks は、既定のタグに加えて、すべてのクラスターリソースにこれらのタグをタグ付けします。メモ: タグは、コンピュート最適化やメモリ最適化などのレガシーノードタイプではサポートされていません Databricks では、最大 45 個のカスタムタグを使用できます。
`cluster_log_conf`	ClusterLogConf	Spark ログを長期保存先に配信するための構成。 1 つのクラスターに指定できる宛先は 1 つだけです。この設定が指定されている場合、ログは `5 mins`ごとに宛先に配信されます。ドライバーログの保存先は `<destination>/<cluster-ID>/driver`ですが、エグゼキューターログの保存先は `<destination>/<cluster-ID>/executor`です。
`spark_env_vars`	キーバリュー	オプションのユーザー指定の環境変数のキーと値のペアのセットを含むオブジェクト。形式 (X,Y) のキーと値のペアは、ドライバーとワーカーの起動時にそのまま (つまり、 `export X='Y'`) エクスポートされます。追加の `SPARK_DAEMON_JAVA_OPTS`セットを指定するには、次の例に示すように、Databricks で `$SPARK_DAEMON_JAVA_OPTS` に追加することをお勧めします。これにより、すべての既定の Databricks マネージド環境変数も含まれます。 Spark 環境変数の例: `{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"}` または `{"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}`
`init_scripts`	InitScriptInfoの配列	initスクリプトを格納するための構成。宛先はいくつでも指定できます。スクリプトは、指定された順序で順番に実行されます。 `cluster_log_conf` を指定すると、initスクリプトログが `<destination>/<cluster-ID>/init_scripts`に送信されます。
`instance_pool_id`	`STRING`	クラスターが属するインスタンスプールの ID (オプション)。「プール構成リファレンス」を参照してください。
`driver_instance_pool_id`	`STRING`	ドライバー・ノードに使用するインスタンス・プールのオプションID。 `instance_pool_id`も指定する必要があります。「インスタンスプール API」を参照してください。
`policy_id`	`STRING`	A クラスターポリシー ID.
`num_workers OR autoscale`	`INT32` または InitScriptInfo	num_workersの場合、このクラスターに必要なワーカーノードの数。クラスターには、1 つの Spark ドライバーとワーカーエグゼキューターがあり、合計でワーカー + 1 つの Spark ノードがあります。クラスターのプロパティを読み取る場合、このフィールドには実際のワーカー数ではなく、必要なワーカー数が反映されます。たとえば、クラスターのサイズが 5 ワーカーから 10 ワーカーに変更された場合、このフィールドは 10 ワーカーのターゲットサイズを反映するように更新されますが、エグゼキューターにリストされているワーカーは、新しいノードがプロビジョニングされるにつれて 5 から 10 に徐々に増加します。オートスケールの場合、負荷に基づいてクラスターを自動的にスケールアップおよびスケールダウンするために必要なパラメーター。このフィールドはオプションです。
`apply_policy_default_values`	`BOOLEAN`	欠落しているクラスター属性にポリシーのデフォルト値を使用するかどうか。

パイプライン設定

パイプラインデプロイの設定。

フィールド名	タイプ	説明
`id`	`STRING`	このパイプラインの一意の識別子。識別子は Delta Live Tables システムによって作成されるため、パイプラインの作成時に指定することはできません。
`name`	`STRING`	このパイプラインのわかりやすい名前。このフィールドはオプションです。デフォルトでは、パイプライン名は一意である必要があります。重複する名前を使用するには、パイプライン設定で `allow_duplicate_names` を `true` に設定します。
`storage`	`STRING`	パイプラインによって作成されたチェックポイントとテーブルを格納するための DBFS ディレクトリへのパス。このフィールドはオプションです。このフィールドが空の場合、システムはデフォルトの場所を使用します。
`configuration`	の地図 `STRING:STRING`	パイプラインを実行するクラスターの Spark 構成に追加するキーと値のペアのリスト。このフィールドはオプションです。要素は、キーと値のペアとして書式設定する必要があります。
`clusters`	パイプラインの配列新しいクラスター	クラスターがパイプラインを実行するための仕様の配列。このフィールドはオプションです。これが指定されていない場合、システムはパイプラインの既定のクラスター構成を選択します。
`libraries`	パイプラインライブラリの配列	パイプラインコードと、パイプラインの実行に必要な依存関係を含むノートブック。
`target`	`STRING`	パイプライン出力データを永続化するためのデータベース名。詳細については、 Delta Live TablesからHive metastoreにデータを公開する」を参照してください。
`continuous`	`BOOLEAN`	これが継続的なパイプラインであるかどうか。このフィールドはオプションです。デフォルト値は `false`です。
`development`	`BOOLEAN`	パイプラインを開発モードで実行するかどうか。このフィールドはオプションです。デフォルト値は `false`です。
`photon`	`BOOLEAN`	このパイプライン Photon アクセラレーションが有効になっているかどうか。このフィールドはオプションです。デフォルト値は `false`です。
`channel`	`STRING`	Delta Live Tables リリースチャンネルでは、このパイプラインに使用するランタイムバージョンが指定されています。サポートされている値は次のとおりです。 `preview` をクリックして、 Delta Live Tables ランタイムに対する今後の変更でパイプラインをテストします。 `current` 現在の Delta Live Tables ランタイムバージョンを使用します。このフィールドはオプションです。デフォルト値は `current`です。
`edition`	`STRING`	パイプラインを実行する Delta Live Tables 製品エディション: `CORE` ストリーミング取り込みワークロードをサポートします。 `PRO` また、ストリーミング取り込みワークロードをサポートし、チェンジデータキャプチャ (CDC) 処理のサポートを追加します。 `ADVANCED` `PRO` エディションのすべての機能をサポートし、データ品質の制約を適用するために Delta Live Tables の期待を必要とするワークロードのサポートを追加します。このフィールドはオプションです。デフォルト値は `advanced`です。

パイプライン状態情報

パイプラインの状態、最新の更新の状態、および関連付けられているリソースに関する情報。

フィールド名	タイプ	説明
`state`	`STRING`	パイプラインの状態。 `IDLE` または `RUNNING`のいずれか。
`pipeline_id`	`STRING`	パイプラインの一意の識別子。
`cluster_id`	`STRING`	パイプラインを実行しているクラスターの一意の識別子。
`name`	`STRING`	パイプラインのわかりやすい名前。
`latest_updates`	の配列状態情報	パイプラインの最新の更新の状態 (最新の更新プログラムから順に並べられます)。
`creator_user_name`	`STRING`	パイプライン作成者のユーザー名。
`run_as_user_name`	`STRING`	パイプラインを実行するユーザー名。これは、パイプライン所有者から派生した読み取り専用の値です。

S3ストレージ情報

S3 ストレージ情報。

フィールド名	タイプ	説明
`destination`	`STRING`	S3 宛先。例: `s3://my-bucket/some-prefix` インスタンスプロファイルを使用してクラスターを設定し、インスタンスプロファイルに宛先への書き込みアクセス権が必要です。 AWS キーは使用できません。
`region`	`STRING`	S3 リージョン。たとえば、 `us-west-2`です。地域またはウェアハウスのいずれかを設定する必要があります。両方が設定されている場合は、ウェアハウスが使用されます。
`warehouse`	`STRING`	S3 ウェアハウス。たとえば、 `https://s3-us-west-2.amazonaws.com`です。地域またはウェアハウスのいずれかを設定する必要があります。両方が設定されている場合は、ウェアハウスが使用されます。
`enable_encryption`	`BOOL`	(オプション)サーバー側の暗号化を有効にします (デフォルトによって `false` )。
`encryption_type`	`STRING`	(オプション)暗号化の種類は、 `sse-s3` または `sse-kms`である可能性があります。暗号化が有効で、デフォルトのタイプが `sse-s3`である場合にのみ使用されます。
`kms_key`	`STRING`	(オプション)暗号化が有効で、暗号化タイプが `sse-kms`に設定されている場合に使用される KMS キー。
`canned_acl`	`STRING`	(オプション)既定のアクセス制御リストを設定します。たとえば、 `bucket-owner-full-control`です。 canned_aclが設定されている場合、クラスターインスタンスプロファイルには、送信先バケットとプレフィックスに対する `s3:PutObjectAcl` アクセス許可が必要です。可能な既定 ACL の完全な一覧については、 https://docs.aws.amazon.com/AmazonS3/latest/dev/acl-overview.html#canned-acl を参照してください。デフォルトによって、オブジェクトの所有者だけがフルコントロールを取得します。データの書き込みにクロスアカウントロールを使用している場合は、バケット所有者がログを読み取れるように `bucket-owner-full-control` を設定することをお勧めします。

更新状態情報

パイプライン更新の現在の状態。

フィールド名	タイプ	説明
`update_id`	`STRING`	この更新プログラムの一意の識別子。
`state`	`STRING`	更新プログラムの状態。 `QUEUED`、`CREATED`、`WAITING_FOR_RESOURCES`、`INITIALIZING`、`RESETTING`、`SETTING_UP_TABLES`、`RUNNING`、`STOPPING`、`COMPLETED`、`FAILED`、または `CANCELED`のいずれか。
`creation_time`	`STRING`	この更新プログラムが作成されたときのタイムスタンプ。

ワークスペースストレージ情報

ワークスペースのストレージ情報。

フィールド名	タイプ	説明
`destination`	`STRING`	ファイルの宛先。例： `/Users/someone@domain.com/init_script.sh`

Delta Live Tables API ガイド

パイプライン を作成する

例

依頼

応答

要求構造

応答構造

パイプライン を編集する

例

依頼

要求構造

パイプライン を削除する

例

依頼

パイプラインの更新 を開始する

例

完全更新 を開始する

依頼

応答

選択したテーブル の更新を開始する

依頼

応答

選択したテーブル の完全な更新を開始する

依頼

応答

要求構造

応答構造

パイプライン更新要求 の状態を取得する

例

依頼

応答

応答構造

アクティブなパイプラインの更新 を停止する

例

依頼

パイプライン イベントの 一覧表示

例

依頼

要求構造

応答構造

パイプラインの詳細 を取得する

例

依頼

応答

応答構造

更新プログラムの詳細 を取得する

例

依頼

応答

応答構造

パイプラインの 一覧表示

例

依頼

応答

要求構造

応答構造

データ構造

パイプラインを作成する

パイプラインを編集する

パイプラインを削除する

パイプラインの更新を開始する

完全更新を開始する

選択したテーブルの更新を開始する

選択したテーブルの完全な更新を開始する

パイプライン更新要求の状態を取得する

アクティブなパイプラインの更新を停止する

パイプラインイベントの一覧表示

パイプラインの詳細を取得する

更新プログラムの詳細を取得する

パイプラインの一覧表示