DLT パイプラインのコンピュートの設定
この記事では、DLT パイプラインのカスタム コンピュート設定を構成する際の手順と考慮事項について説明します。
Select a クラスターポリシー
DLT パイプラインを構成および更新するには、コンピュートをデプロイする権限が必要です。 ワークスペース 管理者は、クラスターポリシー を構成して、DLT のコンピュート リソースへのアクセスをユーザーに提供できます。 DLT パイプライン コンピュートの制限の定義を参照してください。
-
クラスターポリシーはオプションです。 DLT に必要なコンピュート権限がない場合は、ワークスペース管理者に確認してください。
-
クラスターポリシー デフォルト値が正しく適用されるようにするには、パイプライン構成のクラスター構成で
apply_policy_default_valuesをtrueに設定します。JSON{
"clusters": [
{
"label": "default",
"policy_id": "<policy-id>",
"apply_policy_default_values": true
}
]
}
クラスタータグの構成
クラスタータグを使用して、パイプライン クラスタリングの使用状況を監視できます。DLT UI でクラスタータグを追加するには、パイプラインを作成または編集するとき、またはパイプライン クラスタリングの JSON 設定を編集します。
パイプラインを実行するインスタンスタイプを選択する
デフォルトでは、DLT はパイプラインのドライバーノードとワーカーノードのインスタンスタイプを選択します。オプションで、インスタンスタイプを設定できます。
たとえば、インスタンスタイプを選択して、パイプラインのパフォーマンスを向上させたり、パイプラインの実行時にメモリの問題に対処したりします。 インスタンスタイプは、REST API を使用してパイプライン を作成 または 編集 するとき、または DLT UI で設定できます。
DLT UI でパイプラインを作成または編集するときにインスタンスタイプを設定するには:
- [設定 ]ボタンをクリックします。
- パイプライン設定の [詳細設定 ] セクションの [ ワーカータイプ ] と [ ドライバータイプ ] ドロップダウンメニューで、パイプラインのインスタンスタイプを選択します。
高度なコンピュート構成
各 DLT パイプラインには、次の 2 つのクラスタリングが関連付けられています。
updatesクラスターは、パイプラインの更新を処理します。maintenanceクラスター実行日次メンテナンス タスク。
ワークスペース パイプライン構成 UI を使用して指定したコンピュート設定は、更新とメンテナンスの両方のクラスターに適用されます。 これらの設定を個別に変更するには、JSON 設定を編集する必要があります。
これらのクラスターで使用される構成は、パイプライン設定で指定された clusters 属性によって決まります。
クラスター ラベルを使用すると、特定のクラスターの種類にのみ適用されるコンピュート設定を追加できます。 パイプライン クラスターを構成するときに使用できるラベルは 3 つあります。
クラスター ラベルの設定は、クラスター設定を 1 つだけ定義する場合は省略できます。 ラベルの設定が指定されていない場合、 default ラベルはクラスター構成に適用されます。 クラスター ラベルの設定は、さまざまなクラスター タイプの設定をカスタマイズする必要がある場合にのみ必要です。
defaultラベルは、updatesクラスターとmaintenanceクラスターの両方のコンピュート設定を定義します。両方のクラスターに同じ設定を適用すると、ストレージの場所のデータ アクセス資格情報などの必要な構成がメンテナンス クラスターに確実に適用されるため、メンテナンス実行の信頼性が向上します。maintenanceラベルは、maintenanceクラスターのみに適用されるコンピュート設定を定義します。また、maintenanceラベルを使用して、defaultラベルによって構成された設定を上書きすることもできます。updatesラベルは、updatesクラスターのみに適用される設定を定義します。これを使用して、maintenanceクラスターに適用しない設定を構成します。
defaultラベルとupdatesラベルを使用して定義された設定がマージされ、updatesクラスターの最終的な構成が作成されます。同じ設定が default ラベルと updates ラベルの両方を使用して定義されている場合、 updates ラベルで定義された設定は、 default ラベルで定義された設定よりも優先されます。
次の例では、updates クラスターの構成にのみ追加される Spark 構成パラメーターを定義しています。
{
"clusters": [
{
"label": "default",
"autoscale": {
"min_workers": 1,
"max_workers": 5,
"mode": "ENHANCED"
}
},
{
"label": "updates",
"spark_conf": {
"key": "value"
}
}
]
}
DLT には、 Databricksの他のコンピュートと同様のクラスタリング設定のオプションがあります。 他のパイプライン設定と同様に、クラスタリングの JSON 構成を変更して、UI に存在しないオプションを指定できます。 コンピュートを参照してください。
DLT ランタイムはパイプライン クラスタリングのライフサイクルを管理し、 Databricks Runtimeのカスタムバージョンを実行するため、 Spark バージョンやクラスタリング名など、パイプライン設定の一部のクラスタリング設定を手動で設定することはできません。 ユーザーが設定できないクラスタリング属性を参照してください。
更新およびメンテナンスクラスターのインスタンスタイプの設定
パイプラインの JSON 設定でインスタンスタイプを設定するには、[ JSON ] ボタンをクリックし、クラスター設定にインスタンスタイプ設定を入力します。
maintenanceクラスターに不要なリソースを割り当てないように、この例では updates ラベルを使用して、updates クラスターのみのインスタンスタイプを設定します。インスタンスタイプを updates クラスターと maintenance クラスターの両方に割り当てるには、 default ラベルを使用するか、ラベルの設定を省略します。 ラベルの設定が指定されていない場合、 default ラベルはパイプライン クラスター構成に適用されます。 「コンピュートの詳細設定」を参照してください。
{
"clusters": [
{
"label": "updates",
"node_type_id": "n1-highmem-16",
"driver_node_type_id": "n1-standard-4",
"...": "..."
}
]
}
コンピュートシャットダウンの遅延
クラスターのシャットダウン動作を制御するには、開発モードまたは本番運用モードを使用するか、パイプライン構成の pipelines.clusterShutdown.delay 設定を使用します。 次の例では、 pipelines.clusterShutdown.delay 値を 60 秒に設定します。
{
"configuration": {
"pipelines.clusterShutdown.delay": "60s"
}
}
production モードが有効になっている場合、pipelines.clusterShutdown.delay のデフォルト値は 0 secondsです。development モードが有効になっている場合、デフォルト値は 2 hoursです。
DLT クラスタリングは使用されていないときは自動的にシャットダウンされるため、クラスタリング設定で autotermination_minutes を設定するクラスターポリシーを参照するとエラーが発生します。
単一ノード クラスターを作成する
クラスター設定で num_workers を 0 に設定すると、クラスターは 単一ノード クラスターとして作成されます。 オートスケール クラスターを構成し、 min_workers を 0 に、 max_workers を 0 に設定すると、単一ノード クラスターが作成されます。
オートスケール クラスターを構成し、 min_workers のみを 0 に設定した場合、クラスターは単一ノード クラスターとして作成されません。 クラスターには、終了するまで常に少なくとも 1 人のアクティブなワーカーがいます。
DLT で単一ノード クラスタリングを作成するためのクラスタリング構成の例を次に示します。
{
"clusters": [
{
"num_workers": 0
}
]
}