Amazon
Web Services
Microsoft Azure
Google Cloud PlatformジョブAPI 2.0
重要
この記事では、ジョブ API の 2.0 バージョンについて説明します。 ただし、Databricks では、新規および既存のクライアントとスクリプトに ジョブ API 2.1 を使用することをお勧めします。 バージョン 2.0 から 2.1 への変更点について詳しくは、 ジョブ API 2.0 から 2.1 への更新を参照してください。
ジョブ API を使用すると、ジョブを作成、編集、および削除できます。 ジョブ API への要求の最大許容サイズは 10 MB です。
Databricks ジョブを使用した複数のタスクのオーケストレーションをサポートするジョブ API の更新の詳細については、「 ジョブ API 2.0 から 2.1 への更新」を参照してください。
警告
シークレットをハードコーディングしたり、プレーンテキストで保存したりしないでください。 シークレット API を使用して、Databricks CLI でシークレットを管理します。シークレット ユーティリティ (dbutils.secrets) を使用する ノートブックとジョブでシークレットを参照します。
注
ジョブ API 要求を行うときに 500 レベルのエラーが発生した場合、Databricks では、最大 10 分間 (再試行間隔は 30 秒以上) 要求を再試行することをお勧めします。
重要
Databricks REST APIsにアクセスするには、 認証する必要があります。
創造する
エンドポイント |
HTTP メソッド |
|---|---|
|
|
新しいジョブを作成します。
例
この例では、毎晩午後 10 時 15 分に JAR タスクを実行するジョブを作成します。
依頼
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/create \
--data @create-job.json \
| jq .
create-job.json:
{
"name": "Nightly model training",
"new_cluster": {
"spark_version": "7.3.x-scala2.12",
"node_type_id": "r3.xlarge",
"aws_attributes": {
"availability": "ON_DEMAND"
},
"num_workers": 10
},
"libraries": [
{
"jar": "dbfs:/my-jar.jar"
},
{
"maven": {
"coordinates": "org.jsoup:jsoup:1.7.2"
}
}
],
"email_notifications": {
"on_start": [],
"on_success": [],
"on_failure": []
},
"webhook_notifications": {
"on_start": [
{
"id": "bf2fbd0a-4a05-4300-98a5-303fc8132233"
}
],
"on_success": [
{
"id": "bf2fbd0a-4a05-4300-98a5-303fc8132233"
}
],
"on_failure": []
},
"notification_settings": {
"no_alert_for_skipped_runs": false,
"no_alert_for_canceled_runs": false,
"alert_on_last_attempt": false
},
"timeout_seconds": 3600,
"max_retries": 1,
"schedule": {
"quartz_cron_expression": "0 15 22 * * ?",
"timezone_id": "America/Los_Angeles"
},
"spark_jar_task": {
"main_class_name": "com.databricks.ComputeModels"
}
}
取り替える：
<databricks-instance>を Databricks ワークスペースのインスタンス名に置き換えます (例:dbc-a1b2345c-d6e7.cloud.databricks.com)。ソリューションに適したフィールドを含む
create-job.jsonの内容。
要求構造
重要
新しいジョブ クラスターでジョブを実行すると、ジョブはジョブ コンピュート (自動) ワークロードとして扱われ、ジョブ コンピュートの価格が適用されます。
既存の汎用クラスターでジョブを実行すると、汎用コンピュート (対話型) ワークロードとして扱われ、汎用コンピュートの価格が適用されます。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
existing_cluster_idの場合、このジョブのすべての実行に使用される既存のクラスターの ID。 既存のクラスターでジョブを実行するときに、クラスターが応答しなくなった場合は、クラスターを手動で再起動する必要がある場合があります。 信頼性を高めるために、新しいクラスターでジョブを実行することをお勧めします。 new_clusterの場合は、実行ごとに作成されるクラスターの説明。 パイプライン タスクを指定する場合、このフィールドは空にすることができます。 |
|
ノートブックタスク OR SparkJarTask OR SparkPythonTask OR SparkSubmitTask OR PipelineTask OR RunJobTask |
notebook_task の場合、このジョブでノートブックを実行する必要があることを示します。 このフィールドは、spark_jar_task と組み合わせて指定することはできません。 spark_jar_taskの場合、このジョブが JAR を実行する必要があることを示します。 spark_python_taskの場合、このジョブで Python ファイルを実行することを示します。 spark_submit_taskの場合、このジョブが spark 送信スクリプトによって起動される必要があることを示します。 pipeline_taskの場合、このジョブが Delta Live Tables パイプラインを実行する必要があることを示します。 run_job_taskの場合、このジョブが別のジョブを実行する必要があることを示します。 |
|
|
ジョブのオプションの名前。 デフォルト値は |
|
ジョブを実行するクラスターにインストールするライブラリのオプションのリスト。 デフォルト値は空のリストです。 |
|
|
このジョブの実行の開始時と完了時、およびこのジョブが削除されたときに通知される Eメール アドレスのオプションのセット。 デフォルトの動作では、Eメールは送信されません。 |
|
|
このジョブの実行が開始、完了、または失敗したときに通知するシステム宛先のオプションのセット。 |
|
|
このジョブの各 |
|
|
|
このジョブの各実行に適用されるオプションのタイムアウト。 デフォルトの動作では、タイムアウトはありません。 |
|
|
失敗した実行を再試行するオプションの最大数。 実行は、 |
|
|
失敗した実行の開始とその後の再試行実行の間のオプションの最小間隔 (ミリ秒単位)。 既定の動作では、失敗した実行がすぐに再試行されます。 |
|
|
タイムアウト時にジョブを再試行するかどうかを指定するオプションのポリシー。 デフォルトの動作では、タイムアウト時に再試行しません。 |
|
このジョブのオプションの定期的なスケジュール。 デフォルトの動作では、ジョブ UI で [ 今すぐ実行 ] をクリックするか、API 要求を |
|
|
|
ジョブの並列実行の最大許容数(オプション)。 同じジョブの複数の実行を同時に実行できるようにする場合は、この値を設定します。 これは、たとえば、頻繁なスケジュールでジョブをトリガーし、連続した実行を互いにオーバーラップさせる場合や、入力パラメーターが異なる複数の実行をトリガーする場合に便利です。 この設定は、新しい実行にのみ影響します。 たとえば、ジョブの同時実行数が 4 で、並列アクティブ実行が 4 つあるとします。 次に、同時実行を 3 に設定しても、アクティブな実行は強制終了されません。 ただし、それ以降は、アクティブな実行が 3 つ未満でない限り、新しい実行はスキップされます。 この値は 1000 を超えることはできません。 この値を 0 に設定すると、すべての新しい実行がスキップされます。 デフォルトの動作では、並列実行は 1 つだけ許可されます。 |
リスト
エンドポイント |
HTTP メソッド |
|---|---|
|
|
すべてのジョブを一覧表示します。
例
依頼
curl --netrc --request GET \
https://<databricks-instance>/api/2.0/jobs/list \
| jq .
<databricks-instance> を Databricks ワークスペースのインスタンス名(dbc-a1b2345c-d6e7.cloud.databricks.comなど) に置き換えます。
応答
{
"jobs": [
{
"job_id": 1,
"settings": {
"name": "Nightly model training",
"new_cluster": {
"spark_version": "7.3.x-scala2.12",
"node_type_id": "r3.xlarge",
"aws_attributes": {
"availability": "ON_DEMAND"
},
"num_workers": 10
},
"libraries": [
{
"jar": "dbfs:/my-jar.jar"
},
{
"maven": {
"coordinates": "org.jsoup:jsoup:1.7.2"
}
}
],
"email_notifications": {
"on_start": [],
"on_success": [],
"on_failure": []
},
"timeout_seconds": 100000000,
"max_retries": 1,
"schedule": {
"quartz_cron_expression": "0 15 22 * * ?",
"timezone_id": "America/Los_Angeles",
"pause_status": "UNPAUSED"
},
"spark_jar_task": {
"main_class_name": "com.databricks.ComputeModels"
}
},
"created_time": 1457570074236
}
]
}
削除
エンドポイント |
HTTP メソッド |
|---|---|
|
|
ジョブを削除し、 JobSettings.email_notificationsで指定されたアドレスにEメールを送信します。 ジョブが既に削除されている場合、アクションは発生しません。 ジョブが削除されると、その詳細も実行履歴もジョブ UI または API に表示されません。 ジョブは、この要求の完了時に削除されることが保証されます。 ただし、この要求を受信する前にアクティブだった実行は、まだアクティブである可能性があります。 これらは非同期的に終了します。
例
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/delete \
--data '{ "job_id": <job-id> }'
取り替える：
<databricks-instance>を Databricks ワークスペースのインスタンス名に置き換えます (例:dbc-a1b2345c-d6e7.cloud.databricks.com)。<job-id>をジョブの ID に置き換えます (例:123)。
この例では 、.netrc を使用します。 ファイル。
取得
エンドポイント |
HTTP メソッド |
|---|---|
|
|
1 つのジョブに関する情報を取得します。
例
依頼
curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/get?job_id=<job-id>' \
| jq .
又は：
curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/get \
--data job_id=<job-id> \
| jq .
取り替える：
<databricks-instance>を Databricks ワークスペースのインスタンス名に置き換えます (例:dbc-a1b2345c-d6e7.cloud.databricks.com)。<job-id>をジョブの ID に置き換えます (例:123)。
応答
{
"job_id": 1,
"settings": {
"name": "Nightly model training",
"new_cluster": {
"spark_version": "7.3.x-scala2.12",
"node_type_id": "r3.xlarge",
"aws_attributes": {
"availability": "ON_DEMAND"
},
"num_workers": 10
},
"libraries": [
{
"jar": "dbfs:/my-jar.jar"
},
{
"maven": {
"coordinates": "org.jsoup:jsoup:1.7.2"
}
}
],
"email_notifications": {
"on_start": [],
"on_success": [],
"on_failure": []
},
"webhook_notifications": {
"on_start": [
{
"id": "bf2fbd0a-4a05-4300-98a5-303fc8132233"
}
],
"on_success": [
{
"id": "bf2fbd0a-4a05-4300-98a5-303fc8132233"
}
],
"on_failure": []
},
"notification_settings": {
"no_alert_for_skipped_runs": false,
"no_alert_for_canceled_runs": false,
"alert_on_last_attempt": false
},
"timeout_seconds": 100000000,
"max_retries": 1,
"schedule": {
"quartz_cron_expression": "0 15 22 * * ?",
"timezone_id": "America/Los_Angeles",
"pause_status": "UNPAUSED"
},
"spark_jar_task": {
"main_class_name": "com.databricks.ComputeModels"
}
},
"created_time": 1457570074236
}
応答構造
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
このジョブの正規識別子。 |
|
|
作成者のユーザー名。 ユーザーが削除された場合、このフィールドは応答に含まれません。 |
|
このジョブとそのすべての実行の設定。 これらの設定は、 エンドポイントのリセット または更新を使用して 更新 できます。 |
|
|
|
このジョブが作成された時刻 (エポック ミリ秒単位) (1970 年 1 月 1 日 UTC からのミリ秒単位)。 |
リセット
エンドポイント |
HTTP メソッド |
|---|---|
|
|
特定のジョブのすべての設定を上書きします。 Update エンドポイントを使用して、ジョブ設定を部分的に更新します。
例
この要求例では、ジョブ 2 が作成 例のジョブ 1 と同じになります。
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/reset \
--data @reset-job.json \
| jq .
reset-job.json:
{
"job_id": 2,
"new_settings": {
"name": "Nightly model training",
"new_cluster": {
"spark_version": "7.3.x-scala2.12",
"node_type_id": "r3.xlarge",
"aws_attributes": {
"availability": "ON_DEMAND"
},
"num_workers": 10
},
"libraries": [
{
"jar": "dbfs:/my-jar.jar"
},
{
"maven": {
"coordinates": "org.jsoup:jsoup:1.7.2"
}
}
],
"email_notifications": {
"on_start": [],
"on_success": [],
"on_failure": []
},
"webhook_notifications": {
"on_start": [
{
"id": "bf2fbd0a-4a05-4300-98a5-303fc8132233"
}
],
"on_success": [
{
"id": "bf2fbd0a-4a05-4300-98a5-303fc8132233"
}
],
"on_failure": []
},
"notification_settings": {
"no_alert_for_skipped_runs": false,
"no_alert_for_canceled_runs": false,
"alert_on_last_attempt": false
},
"timeout_seconds": 100000000,
"max_retries": 1,
"schedule": {
"quartz_cron_expression": "0 15 22 * * ?",
"timezone_id": "America/Los_Angeles",
"pause_status": "UNPAUSED"
},
"spark_jar_task": {
"main_class_name": "com.databricks.ComputeModels"
}
}
}
取り替える：
<databricks-instance>を Databricks ワークスペースのインスタンス名に置き換えます (例:dbc-a1b2345c-d6e7.cloud.databricks.com)。ソリューションに適したフィールドを含む
reset-job.jsonの内容。
更新
エンドポイント |
HTTP メソッド |
|---|---|
|
|
既存のジョブの特定の設定を追加、変更、または削除します。 [エンドポイント のリセット ] を使用して、すべてのジョブ設定を上書きします。
例
この要求例では、ライブラリを削除し、 作成 例で定義されているジョブ 1 に Email 通知設定を追加します。
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/update \
--data @update-job.json \
| jq .
update-job.json:
{
"job_id": 1,
"new_settings": {
"existing_cluster_id": "1201-my-cluster",
"email_notifications": {
"on_start": [ "someone@example.com" ],
"on_success": [],
"on_failure": []
}
},
"fields_to_remove": ["libraries"]
}
取り替える：
<databricks-instance>を Databricks ワークスペースのインスタンス名に置き換えます (例:dbc-a1b2345c-d6e7.cloud.databricks.com)。ソリューションに適したフィールドを含む
update-job.jsonの内容。
要求構造
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
更新するジョブの正規識別子。 このフィールドは必須です。 |
|
ジョブの新しい設定。 配列を除き、 フィールド |
|
|
の配列 |
ジョブ設定の最上位フィールドを削除します。 ネストされたフィールドの削除は、 このフィールドはオプションです。 |
今すぐ 実行
重要
ワークスペースは、並列タスクの実行回数が 1000 回に制限されています。 すぐに開始できない実行を要求すると、
429 Too Many Requests応答が返されます。ワークスペースが 1 時間に作成できるジョブの数は 10000 に制限されています ("実行の送信" を含む)。 この制限は、REST API およびノートブック ワークフローによって作成されたジョブにも影響します。
エンドポイント |
HTTP メソッド |
|---|---|
|
|
今すぐジョブを実行し、トリガーされた実行の run_id を返します。
例
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/run-now \
--data @run-job.json \
| jq .
run-job.json:
ノートブックジョブのリクエストの例:
{
"job_id": 1,
"notebook_params": {
"name": "john doe",
"age": "35"
}
}
JAR ジョブの要求の例を次に示します。
{
"job_id": 2,
"jar_params": [ "john doe", "35" ]
}
取り替える：
<databricks-instance>を Databricks ワークスペースのインスタンス名に置き換えます (例:dbc-a1b2345c-d6e7.cloud.databricks.com)。ソリューションに適したフィールドを含む
run-job.jsonの内容。
要求構造
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
|
|
の配列 |
JARタスクを持つジョブのパラメーターのリスト(例: |
|
ノートブックタスクを含むジョブのキーから値へのマップ(例:
jar_params と組み合わせて ノートブックを指定することはできません。 このフィールドの JSON 表現 (つまり、 |
|
|
の配列 |
Python タスクを持つジョブのパラメーターのリスト。 |
|
の配列 |
スパーク送信タスクを持つジョブのパラメーターのリスト (例: |
|
|
ジョブ実行要求のべき等性を保証するオプションのトークン。 指定されたトークンを使用した実行が既に存在する場合、要求は新しい実行を作成しませんが、代わりに既存の実行の ID を返します。 指定されたトークンを使用した実行が削除されると、エラーが返されます。 べき等トークンを指定すると、失敗したときに要求が成功するまで再試行できます。 Databricks は、そのべき等トークンを使用して 1 回の実行が正確に起動されることを保証します。 このトークンは最大 64 文字である必要があります。 詳細については、「 ジョブのべき等性を確保する方法」を参照してください。 |
実行の送信
重要
ワークスペースは、並列タスクの実行回数が 1000 回に制限されています。 すぐに開始できない実行を要求すると、
429 Too Many Requests応答が返されます。ワークスペースが 1 時間に作成できるジョブの数は 10000 に制限されています ("実行の送信" を含む)。 この制限は、REST API およびノートブック ワークフローによって作成されたジョブにも影響します。
エンドポイント |
HTTP メソッド |
|---|---|
|
|
1 回限りの実行を送信します。 このエンドポイントを使用すると、ジョブを作成せずにワークロードを直接送信できます。 jobs/runs/get API を使用して、ジョブの送信後に実行状態を確認します。
例
依頼
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/submit \
--data @submit-job.json \
| jq .
submit-job.json:
{
"run_name": "my spark task",
"new_cluster": {
"spark_version": "7.3.x-scala2.12",
"node_type_id": "r3.xlarge",
"aws_attributes": {
"availability": "ON_DEMAND"
},
"num_workers": 10
},
"libraries": [
{
"jar": "dbfs:/my-jar.jar"
},
{
"maven": {
"coordinates": "org.jsoup:jsoup:1.7.2"
}
}
],
"spark_jar_task": {
"main_class_name": "com.databricks.ComputeModels"
}
}
取り替える：
<databricks-instance>を Databricks ワークスペースのインスタンス名に置き換えます (例:dbc-a1b2345c-d6e7.cloud.databricks.com)。ソリューションに適したフィールドを含む
submit-job.jsonの内容。
要求構造
重要
新しいジョブ クラスターでジョブを実行すると、ジョブはジョブ コンピュート (自動) ワークロードとして扱われ、ジョブ コンピュートの価格が適用されます。
既存の汎用クラスターでジョブを実行すると、汎用コンピュート (対話型) ワークロードとして扱われ、汎用コンピュートの価格が適用されます。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
existing_cluster_idの場合、このジョブのすべての実行に使用される既存のクラスターの ID。 既存のクラスターでジョブを実行するときに、クラスターが応答しなくなった場合は、クラスターを手動で再起動する必要がある場合があります。 信頼性を高めるために、新しいクラスターでジョブを実行することをお勧めします。 new_clusterの場合は、実行ごとに作成されるクラスターの説明。 パイプライン タスクを指定する場合、このフィールドは空にすることができます。 |
|
ノートブックタスク OR SparkJarTask OR SparkPythonTask OR SparkSubmitTask OR PipelineTask OR RunJobTask |
notebook_task の場合、このジョブでノートブックを実行する必要があることを示します。 このフィールドは、spark_jar_task と組み合わせて指定することはできません。 spark_jar_taskの場合、このジョブが JAR を実行する必要があることを示します。 spark_python_taskの場合、このジョブで Python ファイルを実行することを示します。 spark_submit_taskの場合、このジョブが spark 送信スクリプトによって起動される必要があることを示します。 pipeline_taskの場合、このジョブが Delta Live Tables パイプラインを実行する必要があることを示します。 run_job_taskの場合、このジョブが別のジョブを実行する必要があることを示します。 |
|
|
実行のオプションの名前。 デフォルト値は |
|
このジョブの実行が開始、完了、または失敗したときに通知するシステム宛先のオプションのセット。 |
|
|
この実行の各 |
|
|
ジョブを実行するクラスターにインストールするライブラリのオプションのリスト。 デフォルト値は空のリストです。 |
|
|
|
このジョブの各実行に適用されるオプションのタイムアウト。 デフォルトの動作では、タイムアウトはありません。 |
|
|
ジョブ実行要求のべき等性を保証するオプションのトークン。 指定されたトークンを使用した実行が既に存在する場合、要求は新しい実行を作成しませんが、代わりに既存の実行の ID を返します。 指定されたトークンを使用した実行が削除されると、エラーが返されます。 べき等トークンを指定すると、失敗したときに要求が成功するまで再試行できます。 Databricks は、そのべき等トークンを使用して 1 回の実行が正確に起動されることを保証します。 このトークンは最大 64 文字である必要があります。 詳細については、「 ジョブのべき等性を確保する方法」を参照してください。 |
実行リスト
エンドポイント |
HTTP メソッド |
|---|---|
|
|
リストは、開始時刻の降順で実行されます。
注
実行は 60 日後に自動的に削除されます。 60 日を超えて参照する場合は、有効期限が切れる前に古い実行結果を保存する必要があります。 UI を使用してエクスポートするには、「 ジョブ実行結果のエクスポート」を参照してください。 ジョブ API を使用してエクスポートするには、「 エクスポートの実行」を参照してください。
例
依頼
curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/list?job_id=<job-id>&active_only=<true-false>&offset=<offset>&limit=<limit>&run_type=<run-type>' \
| jq .
又は：
curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/list \
--data 'job_id=<job-id>&active_only=<true-false>&offset=<offset>&limit=<limit>&run_type=<run-type>' \
| jq .
取り替える：
<databricks-instance>を Databricks ワークスペースのインスタンス名に置き換えます (例:dbc-a1b2345c-d6e7.cloud.databricks.com)。<job-id>をジョブの ID に置き換えます (例:123)。<true-false>trueまたはfalseで.<offset>をoffset値に置き換えます。<limit>をlimit値に置き換えます。<run-type>をrun_type値に置き換えます。
応答
{
"runs": [
{
"job_id": 1,
"run_id": 452,
"number_in_job": 5,
"state": {
"life_cycle_state": "RUNNING",
"state_message": "Performing action"
},
"task": {
"notebook_task": {
"notebook_path": "/Users/donald@duck.com/my-notebook"
}
},
"cluster_spec": {
"existing_cluster_id": "1201-my-cluster"
},
"cluster_instance": {
"cluster_id": "1201-my-cluster",
"spark_context_id": "1102398-spark-context-id"
},
"overriding_parameters": {
"jar_params": ["param1", "param2"]
},
"start_time": 1457570074236,
"end_time": 1457570075149,
"setup_duration": 259754,
"execution_duration": 3589020,
"cleanup_duration": 31038,
"run_duration": 3879812,
"trigger": "PERIODIC"
}
],
"has_more": true
}
要求構造
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
active_only が completed_only が |
|
|
リストするジョブが実行されます。 省略すると、ジョブ サービスはすべてのジョブからの実行を一覧表示します。 |
|
|
返される最初の実行のオフセット (最新の実行を基準にした)。 |
|
|
返す実行数。 この値は、0 より大きく 1000 未満である必要があります。 デフォルト値は 20 です。 要求で制限が 0 に指定されている場合、サービスは代わりに最大制限を使用します。 |
|
|
返す実行の種類。 実行の種類の説明については、「 実行」を参照してください。 |
実行取得
エンドポイント |
HTTP メソッド |
|---|---|
|
|
実行のメタデータを取得します。
注
実行は 60 日後に自動的に削除されます。 60 日を超えて参照する場合は、有効期限が切れる前に古い実行結果を保存する必要があります。 UI を使用してエクスポートするには、「 ジョブ実行結果のエクスポート」を参照してください。 ジョブ API を使用してエクスポートするには、「 エクスポートの実行」を参照してください。
例
依頼
curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/get?run_id=<run-id>' \
| jq .
又は：
curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/get \
--data run_id=<run-id> \
| jq .
取り替える：
<databricks-instance>を Databricks ワークスペースのインスタンス名に置き換えます (例:dbc-a1b2345c-d6e7.cloud.databricks.com)。<run-id>を実行の ID に置き換えます (例:123)。
応答
{
"job_id": 1,
"run_id": 452,
"number_in_job": 5,
"state": {
"life_cycle_state": "RUNNING",
"state_message": "Performing action"
},
"task": {
"notebook_task": {
"notebook_path": "/Users/someone@example.com/my-notebook"
}
},
"cluster_spec": {
"existing_cluster_id": "1201-my-cluster"
},
"cluster_instance": {
"cluster_id": "1201-my-cluster",
"spark_context_id": "1102398-spark-context-id"
},
"overriding_parameters": {
"jar_params": ["param1", "param2"]
},
"start_time": 1457570074236,
"end_time": 1457570075149,
"setup_duration": 259754,
"execution_duration": 3589020,
"cleanup_duration": 31038,
"run_duration": 3879812,
"trigger": "PERIODIC"
}
応答構造
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
この実行を含むジョブの正規識別子。 |
|
|
実行の正規識別子。 この ID は、すべてのジョブのすべての実行で一意です。 |
|
|
ジョブのすべての実行におけるこの実行のシーケンス番号。 この値は 1 から始まります。 |
|
|
この実行が以前の実行試行の再試行である場合、このフィールドには元の試行のrun_idが含まれます。それ以外はrun_idと同じです。 |
|
実行の結果とライフサイクルの状態。 |
|
|
定期的なスケジューラによってトリガーされた場合に、この実行をトリガーした cron スケジュール。 |
|
|
実行によって実行されるタスク (存在する場合)。 |
|
|
この実行が作成されたときのジョブのクラスター仕様のスナップショット。 |
|
|
この実行に使用されるクラスター。 新しいクラスターを使用するように実行が指定されている場合、このフィールドは、ジョブ サービスが実行のクラスターを要求したときに設定されます。 |
|
|
この実行に使用されるパラメーター。 |
|
|
|
この実行が開始された時刻 (エポック ミリ秒単位) (1970 年 1 月 1 日 UTC からのミリ秒数)。 これは、ジョブタスクの実行が開始される時刻ではない場合があります (たとえば、ジョブが新しいクラスターで実行するようにスケジュールされている場合)、これはクラスター作成呼び出しが発行された時刻です。 |
|
|
この実行が終了した時刻 (エポック ミリ秒) (1970 年 1 月 1 日 UTC からのミリ秒)。 ジョブがまだ実行中の場合、このフィールドは 0 に設定されます。 |
|
|
クラスターのセットアップにかかった時間 (ミリ秒単位)。 新しいクラスターで実行される実行の場合、これはクラスターの作成時間であり、既存のクラスターで実行される実行の場合、この時間は非常に短くする必要があります。 実行の合計時間は、 |
|
|
JAR またはノートブックでコマンドを実行してから、コマンドが完了、失敗、タイムアウト、キャンセル、または予期しないエラーが発生するまでにかかる時間 (ミリ秒単位)。 実行の合計時間は、 |
|
|
クラスターを終了し、関連するアーティファクトをクリーンアップするのにかかった時間 (ミリ秒単位)。 実行の合計時間は、 |
|
|
ジョブの実行とそのすべての修復が完了するまでにかかった時間 (ミリ秒単位)。 このフィールドは、マルチタスクジョブ実行に対してのみ設定され、タスク実行に対しては設定されません。 タスクの実行時間は、 |
|
この実行を開始したトリガーの種類。 |
|
|
|
作成者のユーザー名。 ユーザーが削除された場合、このフィールドは応答に含まれません |
|
|
実行の詳細ページへの URL。 |
エクスポート の実行
エンドポイント |
HTTP メソッド |
|---|---|
|
|
ジョブ実行タスクをエクスポートおよび取得します。
注
ノートブックの実行のみを HTML 形式でエクスポートできます。 他の種類の実行のエクスポートは失敗します。
例
依頼
curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/export?run_id=<run-id>' \
| jq .
又は：
curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/export \
--data run_id=<run-id> \
| jq .
取り替える：
<databricks-instance>を Databricks ワークスペースのインスタンス名に置き換えます (例:dbc-a1b2345c-d6e7.cloud.databricks.com)。<run-id>を実行の ID に置き換えます (例:123)。
応答
{
"views": [ {
"content": "<!DOCTYPE html><html><head>Head</head><body>Body</body></html>",
"name": "my-notebook",
"type": "NOTEBOOK"
} ]
}
JSON 応答から HTML ノートブックを抽出するには、この Python スクリプトをダウンロードして実行します。
注
__DATABRICKS_NOTEBOOK_MODEL オブジェクトのノートブック本体がエンコードされます。
要求構造
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
実行の正規識別子。 このフィールドは必須です。 |
|
エクスポートするビュー (コード、ダッシュボード、またはすべて)。 デフォルトは CODE です。 |
実行のキャンセル
エンドポイント |
HTTP メソッド |
|---|---|
|
|
ジョブの実行を取り消します。 実行は非同期的に取り消されるため、この要求が完了しても実行がまだ実行されている可能性があります。 実行はまもなく終了します。 実行がすでにターミナル life_cycle_stateにある場合、このメソッドは何も実行されません。
このエンドポイントは、 run_id パラメーターが有効であることを検証し、無効なパラメーターの場合は HTTP 状態コード 400 を返します。
例
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/cancel \
--data '{ "run_id": <run-id> }'
取り替える：
<databricks-instance>を Databricks ワークスペースのインスタンス名に置き換えます (例:dbc-a1b2345c-d6e7.cloud.databricks.com)。<run-id>を実行の ID に置き換えます (例:123)。
この例では 、.netrc を使用します。 ファイル。
実行はすべて キャンセル
エンドポイント |
HTTP メソッド |
|---|---|
|
|
ジョブのすべてのアクティブな実行を取り消します。 実行は非同期的に取り消されるため、新しい実行の開始が妨げられることはありません。
このエンドポイントは、 job_id パラメーターが有効であることを検証し、無効なパラメーターの場合は HTTP 状態コード 400 を返します。
例
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/cancel-all \
--data '{ "job_id": <job-id> }'
取り替える：
<databricks-instance>を Databricks ワークスペースのインスタンス名に置き換えます (例:dbc-a1b2345c-d6e7.cloud.databricks.com)。<job-id>をジョブの ID に置き換えます (例:123)。
この例では 、.netrc を使用します。 ファイル。
実行は出力 を取得します
エンドポイント |
HTTP メソッド |
|---|---|
|
|
1 つのタスク実行の出力とメタデータを取得します。 ノートブックタスクが dbutils.notebook.exit() を介して値を返す場合 呼び出しの場合、このエンドポイントを使用してその値を取得できます。 Databricks は、出力の最初の 5 MB を返すようにこの API を制限します。 より大きな結果を返すために、ジョブの結果をクラウドストレージサービスに保存できます。
このエンドポイントは、 run_id パラメーターが有効であることを検証し、無効なパラメーターの場合は HTTP 状態コード 400 を返します。
実行は 60 日後に自動的に削除されます。 60 日を超えて参照する場合は、有効期限が切れる前に古い実行結果を保存する必要があります。 UI を使用してエクスポートするには、「 ジョブ実行結果のエクスポート」を参照してください。 ジョブ API を使用してエクスポートするには、「 エクスポートの実行」を参照してください。
例
依頼
curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/get-output?run_id=<run-id>' \
| jq .
又は：
curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/get-output \
--data run_id=<run-id> \
| jq .
取り替える：
<databricks-instance>を Databricks ワークスペースのインスタンス名に置き換えます (例:dbc-a1b2345c-d6e7.cloud.databricks.com)。<run-id>を実行の ID に置き換えます (例:123)。
応答
{
"metadata": {
"job_id": 1,
"run_id": 452,
"number_in_job": 5,
"state": {
"life_cycle_state": "TERMINATED",
"result_state": "SUCCESS",
"state_message": ""
},
"task": {
"notebook_task": {
"notebook_path": "/Users/someone@example.com/my-notebook"
}
},
"cluster_spec": {
"existing_cluster_id": "1201-my-cluster"
},
"cluster_instance": {
"cluster_id": "1201-my-cluster",
"spark_context_id": "1102398-spark-context-id"
},
"overriding_parameters": {
"jar_params": ["param1", "param2"]
},
"start_time": 1457570074236,
"setup_duration": 259754,
"execution_duration": 3589020,
"cleanup_duration": 31038,
"run_duration": 3879812,
"trigger": "PERIODIC"
},
"notebook_output": {
"result": "the maybe truncated string passed to dbutils.notebook.exit()"
}
}
要求構造
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
実行の正規識別子。 複数のタスクを持つジョブの場合、これはタスク実行の |
応答構造
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
ノートブック出力 又は |
notebook_outputの場合は、ノートブック タスクの出力 (使用可能な場合)。 error の場合、出力が使用できない理由を示すエラー メッセージ。 メッセージは構造化されておらず、正確な形式は変更される可能性があります。 |
|
出力を除く実行のすべての詳細。 |
削除 の実行
エンドポイント |
HTTP メソッド |
|---|---|
|
|
非アクティブな実行を削除します。 実行がアクティブな場合にエラーを返します。
例
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/delete \
--data '{ "run_id": <run-id> }'
取り替える：
<databricks-instance>を Databricks ワークスペースのインスタンス名に置き換えます (例:dbc-a1b2345c-d6e7.cloud.databricks.com)。<run-id>を実行の ID に置き換えます (例:123)。
この例では 、.netrc を使用します。 ファイル。
データ構造
このセクションの内容：
オートスケール
クラスターワーカーの最小数と最大数を定義する範囲。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
使用率が低い場合にクラスターをスケールダウンできるワーカーの最小数。 また、作成後にクラスターが持つワーカーの初期数でもあります。 |
|
|
過負荷時にクラスターがスケールアップできるワーカーの最大数。 max_workers厳密にmin_workersより大きい必要があります。 |
AwsAttributes
アマゾン ウェブ サービスに関連するクラスターの作成時に設定された属性。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
クラスターの最初のfirst_on_demandノードは、オンデマンドインスタンスに配置されます。 この値が 0 より大きい場合、クラスタードライバーノードはオンデマンドインスタンスに配置されます。 この値が現在のクラスター サイズ以上の場合、すべてのノードがオンデマンド インスタンスに配置されます。 この値が現在のクラスターサイズより小さい場合、first_on_demandノードはオンデマンドインスタンスに配置され、残りは |
|
first_on_demandノード以降のすべての後続のノードに使用される可用性の種類。 手記： first_on_demand が 0 の場合、この可用性の種類がクラスター全体に使用されます。 |
|
|
|
クラスターが存在するアベイラビリティーゾーン (AZ) の識別子。 デフォルトでは、設定の値は auto(自動 AZ とも呼ばれます) です。 Auto-AZ では、Databricks はワークスペースサブネットで使用可能な IP に基づいて AZ を選択し、AWS が容量不足エラーを返した場合は他のアベイラビリティーゾーンで再試行します。 必要に応じて、使用する可用性ゾーンを指定することもできます。 これは、特定の AZ にリザーブドインスタンスを持つアカウントにメリットがあります。 AZ を文字列として指定します ( 使用可能なゾーンのリストとデフォルト値は、GET /api/2.0/クラスター/list-zones を使用して見つけることができます 呼び出し。 |
|
|
このクラスターのノードは、このインスタンスプロファイルを持つ AWS インスタンスにのみ配置されます。 省略すると、ノードはインスタンスプロファイルのないインスタンスに配置されます。 インスタンス プロファイルは、アカウント管理者によって事前に Databricks 環境に追加されている必要があります。 この機能は、特定の顧客プランでのみ使用できる場合があります。 |
|
|
AWS スポットインスタンスの最大料金 (対応するインスタンスタイプのオンデマンド料金に対する割合)。 たとえば、このフィールドが 50 に設定されていて、クラスターに新しい |
|
このクラスターで起動される EBS ボリュームのタイプ。 |
|
|
|
各インスタンスで起動されたボリュームの数。 最大10巻まで選択できます。 この機能は、サポートされているノードタイプに対してのみ有効です。 レガシーノードタイプでは、カスタム EBS ボリュームを指定できません。 インスタンスストアのないノードタイプの場合、少なくとも 1 つの EBS ボリュームを指定する必要があります。そうしないと、クラスターの作成が失敗します。 これらの EBS ボリュームは、 EBS ボリュームがアタッチされている場合、異種サイズのスクラッチ デバイスは非効率的なディスク使用につながる可能性があるため、Databricks はスクラッチ ストレージに EBS ボリュームのみを使用するように Spark を構成します。 EBS ボリュームがアタッチされていない場合、Databricks はインスタンス ストア ボリュームを使用するように Spark を構成します。 EBS ボリュームが指定されている場合、Spark 構成 |
|
|
インスタンスごとに起動される各 EBS ボリュームのサイズ (GiB 単位)。 汎用SSDボリュームの場合、この値は 100 から 4096 の範囲でなければなりません。 スループット最適化 HDD の場合、この値は 500 から 4096 の範囲内にある必要があります。 カスタム EBS ボリュームは、レガシーノードタイプ (メモリ 最適化および コンピュート最適化) には指定できません。 |
|
|
EBS gp3 ボリュームあたりの IOPS の数。 この値は 3000 から 16000 の間でなければなりません。 IOPS とスループットの値は、同じボリュームサイズの gp2 ボリュームの最大パフォーマンスと一致するように、AWS のドキュメントに基づいて計算されます。 詳細については、「 EBS ボリューム制限計算ツール」を参照してください。 |
|
|
EBS gp3 ボリュームあたりのスループット (MiB/秒)。 この値は 125 から 1000 の間でなければなりません。 |
ebs_volume_iops も ebs_volume_throughput も指定されていない場合、値はディスク サイズから推論されます。
ディスク サイズ |
IOPS |
スループット |
|---|---|---|
1000 より大きい |
ディスク サイズの 3 倍、最大 16000 |
250 |
170から1000の間 |
3000 |
250 |
170未満 |
3000 |
125 |
AWS可用性
クラスターのノードを設定するときにサポートされる AWS 可用性タイプのセット。
タイプ |
説明 |
|---|---|
|
スポットインスタンスを使用します。 |
|
オンデマンドインスタンスを使用します。 |
|
できればスポットインスタンスを使用しますが、スポットインスタンスを取得できない場合 (AWS スポット料金が高すぎる場合など) はオンデマンドインスタンスにフォールバックします。 |
クラスターインスタンス
実行で使用されるクラスターと Spark コンテキストの識別子。 これら 2 つの値は一緒になって、すべての時間にわたって実行コンテキストを識別します。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
実行で使用されるクラスターの正規識別子。 このフィールドは、既存のクラスターでの実行で常に使用できます。 新しいクラスターでの実行の場合、クラスターが作成されると使用可能になります。 この値は、 識別子がまだ使用できない場合、応答にはこのフィールドは含まれません。 |
|
|
実行で使用される Spark コンテキストの正規識別子。 このフィールドは、実行が開始されると入力されます。 この値を使用すると、 識別子がまだ使用できない場合、応答にはこのフィールドは含まれません。 |
ClusterLogConf
クラスター ログへのパス。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
クラスター ログの DBFS の場所。 目的地を指定する必要があります。 例えば
クラスターログの S3 の場所。 |
クラスタスペック
重要
新しいジョブ クラスターでジョブを実行すると、ジョブはジョブ コンピュート (自動) ワークロードとして扱われ、ジョブ コンピュートの価格が適用されます。
既存の汎用クラスターでジョブを実行すると、汎用コンピュート (対話型) ワークロードとして扱われ、汎用コンピュートの価格が適用されます。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
existing_cluster_idの場合、このジョブのすべての実行に使用される既存のクラスターの ID。 既存のクラスターでジョブを実行するときに、クラスターが応答しなくなった場合は、クラスターを手動で再起動する必要がある場合があります。 信頼性を高めるために、新しいクラスターでジョブを実行することをお勧めします。 new_clusterの場合は、実行ごとに作成されるクラスターの説明。 パイプライン タスクを指定する場合、このフィールドは空にすることができます。 |
|
ジョブを実行するクラスターにインストールするライブラリのオプションのリスト。 デフォルト値は空のリストです。 |
クラスタータグ
クラスタータグの定義。
タイプ |
説明 |
|---|---|
|
タグのキー。 キーの長さは、UTF-8 文字以上 127 文字以下でなければなりません。 すべての制限のリストについては、「AWS タグの制限: https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/Using_Tags.html#tag-restrictions |
|
タグの値。 値の長さは UTF-8 文字 255 文字以下である必要があります。 すべての制限のリストについては、「AWS タグの制限: https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/Using_Tags.html#tag-restrictions |
クロンスケジュール
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
ジョブのスケジュールを記述する Quartz 構文を使用した Cron 式。 詳細については、 cron トリガー を参照してください。 このフィールドは必須です。 |
|
|
Java タイムゾーン ID。 ジョブのスケジュールは、このタイムゾーンに関して解決されます。 詳細については、 Java タイムゾーン を参照してください。 このフィールドは必須です。 |
|
|
このスケジュールが停止するかどうかを示します。 "停止する" または "UN停止する" のいずれかです。 |
EbsVolumeType
Databricks では、gp2 および gp3 EBS ボリュームの種類がサポートされています。 「 SSD ストレージの管理 」の手順に従って、ワークスペースに gp2 または gp3 を選択します。
タイプ |
説明 |
|---|---|
|
AWS EBS ボリュームを使用して追加のストレージをプロビジョニングします。 |
|
AWS st1 ボリュームを使用して追加のストレージをプロビジョニングします。 |
ファイルストレージ情報
ファイル ストレージ情報。
注
この場所の種類は、 Databricks Container Services を使用して設定されたクラスターでのみ使用できます。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
ファイルの宛先。 例： |
InitScriptInfo
initスクリプトへのパス。
Databricks Container Services で init スクリプトを使用する手順については、「init スクリプトを使用する」を参照してください。
注
ファイル ストレージの種類 (フィールド名: file) は、 Databricks Container Services を使用して設定されたクラスターでのみ使用できます。 「 FileStorageInfo」を参照してください。
フィールド名 |
タイプ |
説明 |
|---|---|---|
又は
|
DbfsStorageInfo (非推奨) |
initスクリプトのワークスペースの場所。 目的地を指定する必要があります。 例えば
(非推奨)initスクリプトの DBFS の場所。 目的地を指定する必要があります。 例えば
initスクリプトの S3 の場所。 配送先と、地域またはウェアハウスを指定する必要があります。 例えば
|
ジョブ
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
このジョブの正規識別子。 |
|
|
作成者のユーザー名。 ユーザーが既に削除されている場合、このフィールドは応答に含まれません。 |
|
|
ジョブの実行に使用するユーザー名。 |
|
このジョブとそのすべての実行の設定。 これらの設定は、 |
|
|
|
このジョブが作成された時刻 (エポック ミリ秒単位) (1970 年 1 月 1 日 UTC からのミリ秒単位)。 |
ジョブメール通知
重要
on_start、on_success、およびon_failure フィールドは、ラテン文字 (ASCII 文字セット) のみを受け入れます。 ASCII 以外の文字を使用すると、エラーが返されます。 無効な非 ASCII 文字の例としては、中国語、日本語の漢字、絵文字などがあります。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
の配列 |
実行の開始時に通知される Eメール アドレスのリスト。 ジョブの作成、リセット、または更新時に指定しない場合、リストは空になり、通知は送信されません。 |
|
の配列 |
実行が正常に完了したときに通知される Eメール アドレスのリスト。 実行が |
|
の配列 |
実行が失敗したときに通知される Eメール アドレスのリスト。 実行が |
|
の配列 |
実行時間が [ |
|
|
true の場合、実行がスキップされた場合、 |
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
実行の開始時に通知されるシステム宛先のオプションのリスト。 ジョブの作成、リセット、または更新時に指定しない場合、リストは空になり、通知は送信されません。 |
|
|
実行が正常に完了したときに通知されるシステム宛先のオプションのリスト。 実行が |
|
|
実行が失敗したときに通知されるシステム宛先のオプションのリスト。 実行が |
|
|
実行時間が [ |
ジョブ通知設定
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
true の場合、実行がスキップされた場合、 |
|
|
true の場合、実行がキャンセルされた場合に、 |
|
|
true の場合、再試行された実行について |
ジョブ設定
重要
新しいジョブ クラスターでジョブを実行すると、ジョブはジョブ コンピュート (自動) ワークロードとして扱われ、ジョブ コンピュートの価格が適用されます。
既存の汎用クラスターでジョブを実行すると、汎用コンピュート (対話型) ワークロードとして扱われ、汎用コンピュートの価格が適用されます。
ジョブの設定。 これらの設定は、 resetJob メソッドを使用して更新できます。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
existing_cluster_idの場合、このジョブのすべての実行に使用される既存のクラスターの ID。 既存のクラスターでジョブを実行するときに、クラスターが応答しなくなった場合は、クラスターを手動で再起動する必要がある場合があります。 信頼性を高めるために、新しいクラスターでジョブを実行することをお勧めします。 new_clusterの場合は、実行ごとに作成されるクラスターの説明。 パイプライン タスクを指定する場合、このフィールドは空にすることができます。 |
|
ノートブックタスク OR SparkJarTask OR SparkPythonTask OR SparkSubmitTask OR PipelineTask OR RunJobTask |
notebook_task の場合、このジョブでノートブックを実行する必要があることを示します。 このフィールドは、spark_jar_task と組み合わせて指定することはできません。 spark_jar_taskの場合、このジョブが JAR を実行する必要があることを示します。 spark_python_taskの場合、このジョブで Python ファイルを実行することを示します。 spark_submit_taskの場合、このジョブが spark 送信スクリプトによって起動される必要があることを示します。 pipeline_taskの場合、このジョブが Delta Live Tables パイプラインを実行する必要があることを示します。 run_job_taskの場合、このジョブが別のジョブを実行する必要があることを示します。 |
|
|
ジョブのオプションの名前。 デフォルト値は |
|
ジョブを実行するクラスターにインストールするライブラリのオプションのリスト。 デフォルト値は空のリストです。 |
|
|
このジョブの実行が開始または完了したとき、およびこのジョブが削除されたときに通知されるオプションの Eメール アドレスのセット。 デフォルトの動作では、Eメールは送信されません。 |
|
|
このジョブの実行が開始、完了、または失敗したときに通知するシステム宛先のオプションのセット。 |
|
|
このジョブの各 |
|
|
|
このジョブの各実行に適用されるオプションのタイムアウト。 デフォルトの動作では、タイムアウトはありません。 |
|
|
失敗した実行を再試行するオプションの最大数。 実行は、 |
|
|
試行間のオプションの最小間隔 (ミリ秒単位)。 既定の動作では、失敗した実行がすぐに再試行されます。 |
|
|
タイムアウト時にジョブを再試行するかどうかを指定するオプションのポリシー。 デフォルトの動作では、タイムアウト時に再試行しません。 |
|
このジョブのオプションの定期的なスケジュール。 デフォルトの動作では、ジョブUIで[今すぐ実行]をクリックするか、APIリクエストを |
|
|
|
ジョブの並列実行の最大許容数(オプション)。 同じジョブの複数の実行を同時に実行できるようにする場合は、この値を設定します。 これは、たとえば、頻繁なスケジュールでジョブをトリガーし、連続した実行を互いにオーバーラップさせる場合や、入力パラメーターが異なる複数の実行をトリガーする場合に便利です。 この設定は、新しい実行にのみ影響します。 たとえば、ジョブの同時実行数が 4 で、並列アクティブ実行が 4 つあるとします。 次に、同時実行を 3 に設定しても、アクティブな実行は強制終了されません。 ただし、それ以降は、アクティブな実行が 3 つ未満でない限り、新しい実行はスキップされます。 この値は 1000 を超えることはできません。 この値を 0 に設定すると、すべての新しい実行がスキップされます。 デフォルトの動作では、並列実行は 1 つだけ許可されます。 |
|
ジョブに対して定義されたオプションの正常性ルールのセット。 |
ジョブタスク
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
ノートブックタスク OR SparkJarTask OR SparkPythonTask OR SparkSubmitTask OR PipelineTask OR RunJobTask |
notebook_task の場合、このジョブでノートブックを実行する必要があることを示します。 このフィールドは、spark_jar_task と組み合わせて指定することはできません。 spark_jar_taskの場合、このジョブが JAR を実行する必要があることを示します。 spark_python_taskの場合、このジョブで Python ファイルを実行することを示します。 spark_submit_taskの場合、このジョブが spark 送信スクリプトによって起動される必要があることを示します。 pipeline_taskの場合、このジョブが Delta Live Tables パイプラインを実行する必要があることを示します。 run_job_taskの場合、このジョブが別のジョブを実行する必要があることを示します。 |
ジョブヘルスルール
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
特定の正常性ルールに対して評価される正常性メトリクスを指定します。 有効な値は |
|
|
ヘルスメトリクス値を指定したしきい値と比較するために使用する演算子を指定します。 有効な値は |
|
|
正常性ルールに準拠するために正常性メトリクスが満たす必要があるしきい値を指定します。 |
ライブラリ
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
jar の場合は、インストールする JAR の URI。 DBFS および S3 URI がサポートされています。 たとえば、 卵の場合は、インストールする卵のURI。 DBFS および S3 URI がサポートされています。 たとえば、 whl の場合、インストールする pypiの場合、インストールするPyPIライブラリの指定。 Maven の場合は、インストールする Maven ライブラリの指定。 例えば：
cranの場合、インストールするCRANライブラリの指定。 |
Maven Library
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
グラドルスタイルの Maven 座標。 たとえば、 |
|
|
MavenパッケージをインストールするためのMaven リポジトリ。 省略すると、Maven 中央リポジトリと Spark パッケージの両方が検索されます。 |
|
の配列 |
除外する依存関係のリスト。 たとえば、 Maven 依存関係の除外: https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html。 |
新しいクラスター
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
num_workersの場合、このクラスターに必要なワーカー ノードの数。 クラスターには、1 つの Spark ドライバーとワーカー エグゼキューターがあり、合計でワーカー + 1 つの Spark ノードがあります。 クラスターのプロパティを読み取る場合、このフィールドには、実際の現在のワーカー数ではなく、必要なワーカー数が反映されます。 たとえば、クラスターのサイズが 5 人から 10 人のワーカーに変更された場合、このフィールドは 10 人のワーカーのターゲット サイズを反映するようにすぐに更新されますが、 オートスケールの場合、負荷に基づいてクラスターを自動的にスケールアップおよびスケールダウンするために必要なパラメーター。 |
|
|
クラスターの Spark バージョン。 使用可能な Spark バージョンの一覧は、 GET 2.0/クラスター/spark-versions 呼び出しを使用して取得できます。 このフィールドは必須です。 |
|
オプションのユーザー指定の Spark 構成キーと値のペアのセットを含むオブジェクト。 また、追加のJVMオプションの文字列を、それぞれ 例 Spark confs: |
|
|
アマゾン ウェブ サービスで実行されているクラスターに関連する属性。 クラスターの作成時に指定しない場合は、一連の既定値が使用されます。 |
|
|
|
このフィールドは、このクラスター内の各 Spark ノードで使用できるリソースを 1 つの値でエンコードします。 たとえば、Spark ノードは、メモリまたはコンピュート集中型のワークロード用にプロビジョニングおよび最適化できます。 使用可能なノードの種類の一覧は、 GET 2.0/クラスター/list-node-types 呼び出しを使用して取得できます。 このフィールド、 |
|
|
Spark ドライバーのノードの種類。 このフィールドはオプションです。設定されていない場合、ドライバー ノードの種類は、上記で定義した |
|
の配列 |
このクラスター内の各 Spark ノードに追加される SSH 公開キーの内容。 対応する秘密キーを使用して、ポート |
|
クラスターリソースのタグのセットを含むオブジェクト。 Databricks は、デフォルトに加えて、すべてのクラスターリソース (AWS インスタンスや EBS ボリュームなど) にこれらのタグをタグ付けします。 メモ:
|
|
|
Spark ログを長期保存先に配信するための構成。 1 つのクラスターに指定できる宛先は 1 つだけです。 confが指定されている場合、ログは |
|
|
initスクリプトを格納するための構成。 スクリプトはいくつでも指定できます。 スクリプトは、指定された順序で順番に実行されます。 |
|
|
オプションのユーザー指定の環境変数のキーと値のペアのセットを含むオブジェクト。 形式 (X,Y) のキーと値のペアは、ドライバーとワーカーの起動時にそのまま (つまり、 追加の Spark 環境変数の例: |
|
|
|
オートスケール Local Storage: 有効にすると、Spark ワーカーのディスク容量が不足しているときに、このクラスターは追加のディスク容量を動的に取得します。 この機能が正しく機能するには、特定の AWS 権限が必要です。詳細については、「オートスケール ローカル ストレージを有効にする」を参照してください。 |
|
|
ドライバー・ノードに使用するインスタンス・プールのオプションID。 |
|
|
クラスター・ノードに使用するインスタンス・プールのオプションID。 |
ノートブック出力
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
dbutils.ノートブック.exit() に渡される値。Databricks は、値の最初の 1 MB を返すようにこの API を制限します。 より大きな結果を得るには、ジョブで結果をクラウド ストレージ サービスに保存できます。 このフィールドは、 |
|
|
結果が切り捨てられたかどうか。 |
ノートブックタスク
すべての出力セルは8MBのサイズの影響を受けます。 セルの出力のサイズが大きい場合、残りの実行はキャンセルされ、実行は失敗としてマークされます。 その場合、他のセルからのコンテンツ出力の一部も欠落している可能性があります。
制限を超えるセルを見つけるためのヘルプが必要な場合は、汎用クラスターに対してノートブックを実行し、この ノートブックの自動保存手法を使用します。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
Databricks ワークスペースで実行するノートブックの絶対パス。 このパスはスラッシュで始まる必要があります。 このフィールドは必須です。 |
|
|
ノートブックのリビジョンのタイムスタンプ。 |
|
このジョブの各実行に使用される基本パラメーター。 パラメーターを指定して [ジョブ実行に関するコンテキストをジョブ タスクに渡す] を使用して、ジョブ実行に関する情報を含むパラメーターを設定します。 ジョブの これらのパラメーターをノートブックで取得するには、 dbutils.widgets.get を使用します。 |
パラムペア
ノートブックタスクを実行するジョブの名前ベースのパラメーター。
重要
このデータ構造のフィールドは、ラテン文字 (ASCII 文字セット) のみを受け入れます。 ASCII 以外の文字を使用すると、エラーが返されます。 無効な非 ASCII 文字の例としては、中国語、日本語の漢字、絵文字などがあります。
タイプ |
説明 |
|---|---|
|
パラメーター名。 値を取得するには、 dbutils.widgets.get に渡します。 |
|
パラメーター値。 |
パイプラインタスク
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
実行する Delta Live Tables パイプラインタスクの完全な名前。 |
PythonPyPiLibrary
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
インストールする PyPI パッケージの名前。 オプションの正確なバージョン指定もサポートされています。 例: |
|
|
パッケージが見つかるリポジトリ。 指定しない場合は、既定の pip インデックスが使用されます。 |
RCranライブラリ
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
インストールする CRAN パッケージの名前。 このフィールドは必須です。 |
|
|
パッケージが見つかる リポジトリ。 指定しない場合は、既定の CRAN リポジトリが使用されます。 |
実行
出力を除く実行に関するすべての情報。 出力は、 getRunOutput メソッドを使用して個別に取得できます。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
この実行を含むジョブの正規識別子。 |
|
|
実行の正規識別子。 この ID は、すべてのジョブのすべての実行で一意です。 |
|
|
作成者のユーザー名。 ユーザーが既に削除されている場合、このフィールドは応答に含まれません。 |
|
|
ジョブのすべての実行におけるこの実行のシーケンス番号。 この値は 1 から始まります。 |
|
|
この実行が以前の実行試行の再試行である場合、このフィールドには元の試行のrun_idが含まれます。それ以外はrun_idと同じです。 |
|
実行の結果とライフサイクルの状態。 |
|
|
定期的なスケジューラによってトリガーされた場合に、この実行をトリガーした cron スケジュール。 |
|
|
実行によって実行されるタスク (存在する場合)。 |
|
|
この実行が作成されたときのジョブのクラスター仕様のスナップショット。 |
|
|
この実行に使用されるクラスター。 新しいクラスターを使用するように実行が指定されている場合、このフィールドは、ジョブ サービスが実行のクラスターを要求したときに設定されます。 |
|
|
この実行に使用されるパラメーター。 |
|
|
|
この実行が開始された時刻 (エポック ミリ秒単位) (1970 年 1 月 1 日 UTC からのミリ秒数)。 これは、ジョブタスクの実行が開始される時刻ではない場合があります (たとえば、ジョブが新しいクラスターで実行するようにスケジュールされている場合)、これはクラスター作成呼び出しが発行された時刻です。 |
|
|
クラスターのセットアップにかかった時間 (ミリ秒単位)。 新しいクラスターで実行される実行の場合、これはクラスターの作成時間であり、既存のクラスターで実行される実行の場合、この時間は非常に短くする必要があります。 |
|
|
JAR またはノートブックでコマンドを実行してから、コマンドが完了、失敗、タイムアウト、キャンセル、または予期しないエラーが発生するまでにかかる時間 (ミリ秒単位)。 |
|
|
クラスターを終了し、関連するアーティファクトをクリーンアップするのにかかった時間 (ミリ秒単位)。 実行の合計時間は、setup_duration、execution_duration、およびcleanup_durationの合計です。 |
|
|
この実行が終了した時刻 (エポック ミリ秒) (1970 年 1 月 1 日 UTC からのミリ秒)。 ジョブがまだ実行中の場合、このフィールドは 0 に設定されます。 |
|
この実行を開始したトリガーの種類。 |
|
|
|
実行のオプションの名前。 デフォルト値は |
|
|
実行の詳細ページへの URL。 |
|
|
実行の種類。
|
|
|
トリガーされたジョブ実行に対するこの実行試行のシーケンス番号。 実行の最初の試行のattempt_numberは 0 です。最初の実行試行が失敗し、ジョブに再試行ポリシー ( |
ジョブタスクの実行
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
実行するジョブの一意の識別子。 このフィールドは必須です。 |
実行ライフサイクル状態
実行のライフサイクル状態。 許可される状態遷移は次のとおりです。
PENDING->RUNNING->TERMINATING->TERMINATEDPENDING->SKIPPEDPENDING->INTERNAL_ERRORRUNNING->INTERNAL_ERRORTERMINATING->INTERNAL_ERROR
状態 |
説明 |
|---|---|
|
実行がトリガーされました。 同じジョブのアクティブな実行がまだない場合は、クラスターと実行コンテキストが準備されています。 同じジョブのアクティブな実行が既に存在する場合、実行はリソースを準備せずにすぐに |
|
この実行のタスクは実行中です。 |
|
この実行のタスクが完了し、クラスターと実行コンテキストがクリーンアップされています。 |
|
この実行のタスクが完了し、クラスターと実行コンテキストがクリーンアップされました。 この状態はターミナルです。 |
|
同じジョブの以前の実行が既にアクティブであったため、この実行は中止されました。 この状態はターミナルです。 |
|
長期間にわたるネットワーク障害など、ジョブ サービスの障害を示す例外状態。 新しいクラスターでの実行が |
実行パラメーター
この実行のパラメーター。 ジョブ タスクの種類に応じて、jar_params、 python_params、または ノートブックのいずれか 1 つだけを run-now 要求で指定する必要があります。 Spark JAR タスクまたは Python タスクを使用するジョブは位置ベースのパラメーターのリストを受け取り、ノートブック タスクを使用するジョブはキー値マップを取得します。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
の配列 |
Spark JAR タスクを持つジョブのパラメーターのリスト (例: [ジョブ実行に関するコンテキストをジョブ タスクに渡す] を使用して、ジョブ実行に関する情報を含むパラメーターを設定します。 |
|
ノートブックタスクを含むジョブのキーから値へのマップ(例:
ノートブックをjar_paramsと併用して指定することはできません。 [ジョブ実行に関するコンテキストをジョブ タスクに渡す] を使用して、ジョブ実行に関する情報を含むパラメーターを設定します。 このフィールドの JSON 表現 (つまり、 |
|
|
の配列 |
Python タスクを持つジョブのパラメーターのリスト。 [ジョブ実行に関するコンテキストをジョブ タスクに渡す] を使用して、ジョブ実行に関する情報を含むパラメーターを設定します。 重要 これらのパラメーターは、ラテン文字 (ASCII 文字セット) のみを受け入れます。 ASCII 以外の文字を使用すると、エラーが返されます。 無効な非 ASCII 文字の例としては、中国語、日本語の漢字、絵文字などがあります。 |
|
の配列 |
スパーク送信タスクを持つジョブのパラメーターのリスト (例: [ジョブ実行に関するコンテキストをジョブ タスクに渡す] を使用して、ジョブ実行に関する情報を含むパラメーターを設定します。 重要 これらのパラメーターは、ラテン文字 (ASCII 文字セット) のみを受け入れます。 ASCII 以外の文字を使用すると、エラーが返されます。 無効な非 ASCII 文字の例としては、中国語、日本語の漢字、絵文字などがあります。 |
実行結果状態
実行の結果の状態。
life_cycle_state=TERMINATEDの場合:実行にタスクがある場合、結果は使用可能であることが保証され、タスクの結果を示します。life_cycle_state=PENDING、RUNNING、またはSKIPPEDの場合、結果の状態は使用できません。life_cycle_state=TERMINATINGまたは lifecyclestate =INTERNAL_ERRORの場合 : 実行にタスクがあり、それを開始できた場合、結果の状態は使用可能です。
いったん使用可能になると、結果の状態は変更されません。
状態 |
説明 |
|---|---|
|
タスクは正常に完了しました。 |
|
タスクはエラーで完了しました。 |
|
タイムアウトに達した後、実行が停止しました。 |
|
実行はユーザーの要求で取り消されました。 |
実行状態
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
実行ライフサイクルにおける実行の現在の場所の説明。 このフィールドは、応答で常に使用できます。 |
|
|
実行の結果の状態。 使用できない場合、応答にはこのフィールドは含まれません。 result_stateの可用性の詳細については、「 RunResultState 」を参照してください。 |
|
|
|
実行がタイムアウトしたために、ユーザーが手動で取り消されたか、スケジューラによって手動で取り消されたか。 |
|
|
現在の状態を説明するメッセージ。 このフィールドは構造化されておらず、正確な形式は変更される可能性があります。 |
S3ストレージ情報
S3 ストレージ情報。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
S3 宛先。 例: |
|
|
S3 リージョン。 たとえば、 |
|
|
S3 ウェアハウス。 たとえば、 |
|
|
(オプション)サーバー側の暗号化を有効にします (デフォルトによって |
|
|
(オプション)暗号化の種類は、 |
|
|
(オプション)暗号化が有効で、暗号化タイプが |
|
|
(オプション)既定のアクセス制御リストを設定します。 たとえば、 |
スパークエンビペア
Spark 環境変数のキーと値のペア。
重要
ジョブ・クラスターで環境変数を指定する場合、このデータ構造のフィールドはラテン文字 (ASCII 文字セット) のみを受け入れます。 ASCII 以外の文字を使用すると、エラーが返されます。 無効な非 ASCII 文字の例としては、中国語、日本語の漢字、絵文字などがあります。
タイプ |
説明 |
|---|---|
|
環境変数名。 |
|
環境変数の値。 |
スパークジャータスク
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
2016 年 4 月以降は非推奨です。 代わりに、 |
|
|
実行する main メソッドを含むクラスの完全な名前。 このクラスは、ライブラリとして提供される JAR に含まれている必要があります。 コードでは、 |
|
の配列 |
main メソッドに渡されるパラメーター。 [ジョブ実行に関するコンテキストをジョブ タスクに渡す] を使用して、ジョブ実行に関する情報を含むパラメーターを設定します。 |
SparkPythonTask
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
実行する Python ファイルの URI。 DBFS パスと S3 パスがサポートされています。 このフィールドは必須です。 |
|
の配列 |
Python ファイルに渡されるコマンド ライン パラメーター。 [ジョブ実行に関するコンテキストをジョブ タスクに渡す] を使用して、ジョブ実行に関する情報を含むパラメーターを設定します。 |
SparkSubmitTask
重要
Spark 送信タスクは、新しいクラスターでのみ呼び出すことができます。
new_cluster仕様では、
librariesとspark_confはサポートされていません。 代わりに、--jarsと--py-filesを使用して Java および Python ライブラリを追加し、--confSpark 構成を設定します。master、deploy-mode、およびexecutor-coresは、Databricks によって自動的に構成されます。パラメーターで指定 することはできません 。既定の場合、Spark 送信ジョブは使用可能なすべてのメモリ (Databricks サービス用の予約済みメモリを除く) を使用します。
--driver-memoryと--executor-memoryを小さい値に設定して、ヒープ外で使用する余地を残すことができます。--jars,--py-files,--files引数は、DBFS および S3 パスをサポートします。
たとえば、JAR が DBFS にアップロードされていると仮定すると、次のパラメーターを設定して SparkPi を実行できます。
{
"parameters": [
"--class",
"org.apache.spark.examples.SparkPi",
"dbfs:/path/to/examples.jar",
"10"
]
}
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
の配列 |
spark に渡されるコマンド ライン パラメーターが送信されます。 [ジョブ実行に関するコンテキストをジョブ タスクに渡す] を使用して、ジョブ実行に関する情報を含むパラメーターを設定します。 |
トリガータイプ
これらは、実行を起動できるトリガーの種類です。
タイプ |
説明 |
|---|---|
|
定期的に実行をトリガーするスケジュール (cron スケジューラなど)。 |
|
1 回の実行を開始する 1 回限りのトリガー。 これは、UI または API を介してオンデマンドで 1 回の実行をトリガーした場合に発生します。 |
|
以前に失敗した実行の再試行としてトリガーされる実行を示します。 これは、障害が発生した場合にジョブの再実行を要求したときに発生します。 |
アイテムを表示
エクスポートされたコンテンツは HTML 形式です。 たとえば、エクスポートするビューがダッシュボードの場合、ダッシュボードごとに 1 つの HTML 文字列が返されます。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
ビューのコンテンツ。 |
|
|
表示項目の名前。 コード ビューの場合は、ノートブックの名前。 ダッシュボード ビューの場合は、ダッシュボードの名前。 |
|
表示項目のタイプ。 |
ビュータイプ
タイプ |
説明 |
|---|---|
|
ノートブック ビュー項目。 |
|
ダッシュボード ビュー項目。 |
ビューからエクスポートへ
エクスポートするビュー: コード、すべてのダッシュボード、またはすべて。
タイプ |
説明 |
|---|---|
|
ノートブックのコード ビュー。 |
|
ノートブックのすべてのダッシュボード ビュー。 |
|
ノートブックのすべてのビュー。 |
ウェブフック
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
システム通知先を参照する識別子。 このフィールドは必須です。 |
ウェブフック通知
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
実行の開始時に通知されるシステム宛先のオプションのリスト。 ジョブの作成、リセット、または更新時に指定しない場合、リストは空になり、通知は送信されません。 |
|
|
実行が正常に完了したときに通知されるシステム宛先のオプションのリスト。 実行が |
|
|
実行が失敗したときに通知されるシステム宛先のオプションのリスト。 実行が |
|
|
実行時間が [ |
ワークスペースストレージ情報
ワークスペースのストレージ情報。
フィールド名 |
タイプ |
説明 |
|---|---|---|
|
|
ファイルの宛先。 例： |
