Databricks アセットバンドルのクラスター設定を上書きする
この記事では、 Databricks アセット バンドルで Databricks クラスターの設定をオーバーライドする方法について説明します。 「Databricks アセット バンドルとは」を参照してください。
Databricks バンドル構成ファイルでは、次のように、最上位の resources
マッピングのクラスター設定を targets
マッピングのクラスター設定と結合できます。
ジョブの場合は、ジョブ定義内の job_cluster_key
マッピングを使用して、最上位の resources
マッピングのクラスター設定を targets
マッピングのクラスター設定と結合します (省略記号は、簡潔にするために省略されたコンテンツを示します)。
# ...
resources:
jobs:
<some-unique-programmatic-identifier-for-this-job>:
# ...
job_clusters:
- job_cluster_key: <some-unique-programmatic-identifier-for-this-key>
new_cluster:
# Cluster settings.
targets:
<some-unique-programmatic-identifier-for-this-target>:
resources:
jobs:
<the-matching-programmatic-identifier-for-this-job>:
# ...
job_clusters:
- job_cluster_key: <the-matching-programmatic-identifier-for-this-key>
# Any more cluster settings to join with the settings from the
# resources mapping for the matching top-level job_cluster_key.
# ...
同じjob_cluster_key
の最上位resources
マッピングとtargets
マッピングの両方でクラスター設定が定義されている場合、targets
マッピングの設定は最上位resources
マッピングの設定よりも優先されます。
Delta Live Tables パイプラインの場合は、パイプライン定義のcluster
内のlabel
マッピングを使用して、最上位のresources
マッピングのクラスター設定をtargets
マッピングのクラスター設定と結合します (省略記号は、簡潔にするために省略されたコンテンツを示します)。
# ...
resources:
pipelines:
<some-unique-programmatic-identifier-for-this-pipeline>:
# ...
clusters:
- label: default | maintenance
# Cluster settings.
targets:
<some-unique-programmatic-identifier-for-this-target>:
resources:
pipelines:
<the-matching-programmatic-identifier-for-this-pipeline>:
# ...
clusters:
- label: default | maintenance
# Any more cluster settings to join with the settings from the
# resources mapping for the matching top-level label.
# ...
同じlabel
の最上位resources
マッピングとtargets
マッピングの両方でクラスター設定が定義されている場合、targets
マッピングの設定は最上位resources
マッピングの設定よりも優先されます。
例 1: 複数のリソース マッピングで定義され、設定の競合がない新しいジョブ クラスター設定
この例では、最上位の resources
マッピングのspark_version
を targets
の resources
マッピングの node_type_id
および num_workers
と組み合わせて、名前付き my-cluster
job_cluster_key
の設定を定義します (省略記号は省略された内容を示します (簡潔にするために省略記号は省略されたコンテンツを示します)。
# ...
resources:
jobs:
my-job:
name: my-job
job_clusters:
- job_cluster_key: my-cluster
new_cluster:
spark_version: 13.3.x-scala2.12
targets:
development:
resources:
jobs:
my-job:
name: my-job
job_clusters:
- job_cluster_key: my-cluster
new_cluster:
node_type_id: i3.xlarge
num_workers: 1
# ...
この例で databricks bundle validate
を実行すると、結果のグラフは次のようになります (省略記号は、簡潔にするために省略された内容を示します)。
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"job_clusters": [
{
"job_cluster_key": "my-cluster",
"new_cluster": {
"node_type_id": "i3.xlarge",
"num_workers": 1,
"spark_version": "13.3.x-scala2.12"
}
}
],
"...": "..."
}
}
}
}
例 2: 複数のリソース マッピングで定義されている新しいジョブ クラスター設定の競合
この例では、spark_version
、および num_workers
は、最上位の resources
マッピングと targets
の resources
マッピングの両方で定義されています。この例では、 targets
の resources
マッピングの spark_version
と num_workers
が最上位の resources
マッピングの spark_version
と num_workers
よりも優先され、 job_cluster_key
名前付き my-cluster
の設定を定義します (省略記号は省略された内容を示します。
# ...
resources:
jobs:
my-job:
name: my-job
job_clusters:
- job_cluster_key: my-cluster
new_cluster:
spark_version: 13.3.x-scala2.12
node_type_id: i3.xlarge
num_workers: 1
targets:
development:
resources:
jobs:
my-job:
name: my-job
job_clusters:
- job_cluster_key: my-cluster
new_cluster:
spark_version: 12.2.x-scala2.12
num_workers: 2
# ...
この例で databricks bundle validate
を実行すると、結果のグラフは次のようになります (省略記号は、簡潔にするために省略された内容を示します)。
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"job_clusters": [
{
"job_cluster_key": "my-cluster",
"new_cluster": {
"node_type_id": "i3.xlarge",
"num_workers": 2,
"spark_version": "12.2.x-scala2.12"
}
}
],
"...": "..."
}
}
}
}
例 3: パイプライン クラスター設定が複数のリソース マッピングで定義され、設定の競合がない
この例では、最上位のresources
マッピングのnode_type_id
を targets
のresources
マッピングのnum_workers
と組み合わせて、label
名前付きdefault
の設定を定義します (省略記号は省略された内容を示します (簡潔にするために省略記号は省略された内容を示します)。
# ...
resources:
pipelines:
my-pipeline:
clusters:
- label: default
node_type_id: i3.xlarge
targets:
development:
resources:
pipelines:
my-pipeline:
clusters:
- label: default
num_workers: 1
# ...
この例で databricks bundle validate
を実行すると、結果のグラフは次のようになります (省略記号は、簡潔にするために省略された内容を示します)。
{
"...": "...",
"resources": {
"pipelines": {
"my-pipeline": {
"clusters": [
{
"label": "default",
"node_type_id": "i3.xlarge",
"num_workers": 1
}
],
"...": "..."
}
}
}
}
例 4: 複数のリソース マッピングで定義されている競合するパイプラインクラスター設定
この例では、num_workers
は最上位のresources
マッピングと targets
のresources
マッピングの両方で定義されています。targets
の resources
マッピングのnum_workers
は、最上位のresources
マッピングのnum_workers
よりも優先され、名前付きdefault
label
の設定を定義します (省略記号は、簡潔にするために省略されたコンテンツを示します)。
# ...
resources:
pipelines:
my-pipeline:
clusters:
- label: default
node_type_id: i3.xlarge
num_workers: 1
targets:
development:
resources:
pipelines:
my-pipeline:
clusters:
- label: default
num_workers: 2
# ...
この例で databricks bundle validate
を実行すると、結果のグラフは次のようになります (省略記号は、簡潔にするために省略された内容を示します)。
{
"...": "...",
"resources": {
"pipelines": {
"my-pipeline": {
"clusters": [
{
"label": "default",
"node_type_id": "i3.xlarge",
"num_workers": 2
}
],
"...": "..."
}
}
}
}