Databricks アセットバンドルのジョブタスク設定を上書きする
この記事では、 Databricks アセット バンドルで Databricks ジョブ タスクの設定をオーバーライドする方法について説明します。 「Databricks アセット バンドルとは」を参照してください。
Databricks バンドル構成ファイルでは、ジョブ定義内の task
マッピングを使用して、最上位の resources
マッピングのジョブ タスク設定を、 targets
マッピングのジョブ タスク設定と結合できます (省略記号は、簡潔にするために省略されたコンテンツを示します)。
# ...
resources:
jobs:
<some-unique-programmatic-identifier-for-this-job>:
# ...
tasks:
- task_key: <some-unique-programmatic-identifier-for-this-task>
# Task settings.
targets:
<some-unique-programmatic-identifier-for-this-target>:
resources:
jobs:
<the-matching-programmatic-identifier-for-this-job>:
# ...
tasks:
- task_key: <the-matching-programmatic-identifier-for-this-key>
# Any more task settings to join with the settings from the
# resources mapping for the matching top-level task_key.
# ...
同じtask
の最上位resources
マッピングとtargets
マッピングを結合するには、task
マッピングのtask_key
を同じ値に設定する必要があります。
同じtask
の最上位resources
マッピングとtargets
マッピングの両方でジョブタスク設定が定義されている場合、targets
マッピングの設定は、最上位resources
マッピングの設定よりも優先されます。
例 1: 複数のリソース マッピングで定義され、設定の競合がないジョブタスク設定
この例では、最上位のresources
マッピングのspark_version
を targets
のresources
マッピングの node_type_id
および num_workers
と組み合わせて、名前付き my-task
task_key
の設定を定義します (省略記号は省略された内容を示します (簡潔にするために省略記号は省略されたコンテンツを示します)。
# ...
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
spark_version: 13.3.x-scala2.12
targets:
development:
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
node_type_id: i3.xlarge
num_workers: 1
# ...
この例で databricks bundle validate
を実行すると、結果のグラフは次のようになります (省略記号は、簡潔にするために省略された内容を示します)。
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"tasks": [
{
"new_cluster": {
"node_type_id": "i3.xlarge",
"num_workers": 1,
"spark_version": "13.3.x-scala2.12"
},
"task-key": "my-task"
}
],
"...": "..."
}
}
}
}
例 2: 複数のリソース・マッピングで定義されたジョブ・タスク設定の競合
この例では、spark_version
、および num_workers
は、最上位の resources
マッピングと targets
のresources
マッピングの両方で定義されています。targets
の resources
マッピングのspark_version
とnum_workers
は、最上位のresources
マッピングのspark_version
とnum_workers
よりも優先されます。これは、my-task
という名前のtask_key
の設定を定義します(省略記号は、簡潔にするために省略されたコンテンツを示します)。
# ...
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
spark_version: 13.3.x-scala2.12
node_type_id: i3.xlarge
num_workers: 1
targets:
development:
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
spark_version: 12.2.x-scala2.12
num_workers: 2
# ...
この例で databricks bundle validate
を実行すると、結果のグラフは次のようになります (省略記号は、簡潔にするために省略された内容を示します)。
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"tasks": [
{
"new_cluster": {
"node_type_id": "i3.xlarge",
"num_workers": 2,
"spark_version": "12.2.x-scala2.12"
},
"task_key": "my-task"
}
],
"...": "..."
}
}
}
}