プール構成リファレンス
この記事では、UI を使用してプールを作成するときに使用できる設定について説明します。 Databricks CLI を使用してプールを作成する方法については、「 Databricks CLI コマンド」を参照してください。 REST APIを使用してプールを作成する方法については、インスタンスプールAPIを参照してください。
プールサイズ
プールを作成するときに、そのサイズを制御するために、最小アイドル インスタンスと最大容量を設定できます。 プール内のアイドル状態のインスタンスの自動終了はサポートされていません。
アイドル状態の最小インスタンス数
プールがアイドル状態を維持するインスタンスの最小数。 これらのインスタンスは、自動終了の設定に関係なく終了しません。 クラスターがプールからアイドル状態のインスタンスを消費する場合は、最小値を維持するために追加のインスタンスをプロビジョニング Databricks 。
インスタンスタイプ
プールは、新しいクラスターの準備ができているアイドル状態のインスタンスと、稼働中のクラスターによって使用されているインスタンスの両方で構成されます。 これらのインスタンスはすべて、プールの作成時に選択された同じインスタンス プロバイダーの種類です。
プールのインスタンスタイプは編集できません。 プールにアタッチされたクラスターでは、ドライバーノードとワーカーノードに同じインスタンスタイプを使用します。 インスタンスタイプのファミリーが異なれば、メモリを大量に消費するワークロードやコンピュートを消費するワークロードなど、さまざまなユースケースに適合します。
Databricks は、インスタンスタイプのサポートを終了する前に、常に 1 年間の廃止通知を提供します。
プリロードされた Databricks Runtime のバージョン
クラスターの起動を高速化するには、プール内のアイドル状態のインスタンスにロードする Databricks Runtime バージョンを選択します。 ユーザーがプールに基づくクラスターを作成するときにそのランタイムを選択した場合、そのクラスターは、事前に読み込まれた Databricks Runtime バージョンを使用しないプールに基づくクラスターよりもさらに迅速に起動します。
このオプションを [なし] に設定すると、 Databricks Runtime バージョンがプール内のアイドル状態のインスタンスにオンデマンドでダウンロードされるため、クラスターの起動が遅くなります。 クラスターによってプール内のインスタンスが解放されると、 Databricks Runtime バージョンはそれらのインスタンスにキャッシュされたままになります。 同じ Databricks Runtime バージョンを使用する次回のクラスター作成操作では、このキャッシュ動作の恩恵を受ける可能性がありますが、保証されません。
プールタグ
プール タグを使用すると、組織内のさまざまなグループによって使用されるクラウド リソースのコストを監視できます。
アカウントコンソールのDatabricks課金利用グラフでは、タグごとに利用状況を集計できます。同じページからダウンロードした課金利用 CSV レポートには、デフォルトタグとカスタムタグも含まれています。 タグは GKE ラベルと GCE ラベルにも伝播します。
便宜上、Databricks は各プールに 3 つのデフォルトタグ ( Vendor
、
DatabricksInstancePoolId
、および DatabricksInstancePoolCreatorId
. プールの作成時にカスタムタグを追加することもできます。 最大 43 個のカスタムタグを追加できます。
カスタムタグ
プールにタグを追加するには、[ プールの作成 ] ページの下部にある タブ タブに移動します。 [+ 追加 ] ボタンをクリックし、キーと値のペアを入力します。
プール-バッキング クラスターは、プール構成からデフォルト タグとカスタム タグを継承します。 プール タグとクラスタータグの連携の詳細については、「 タグを使用した属性の使用」を参照してください。
可用性ゾーンを構成する
プールのアベイラビリティーゾーンは、インスタンスプール APIを使用してプールを作成するときに設定できます。これはオプションのフィールドです。 指定しない場合、プールはデフォルト・ゾーンを使用します。
プールの起動後にプールのアベイラビリティーゾーンを更新することはできません。 プールで別の可用性ゾーンを使用する場合は、新しいプールを作成する必要があります。
可用性ゾーンを設定するには、gcp_attributes
オブジェクトに zone_id
属性を追加します。例えば:
"gcp_attributes": {
"zone_id": "us-central1-a"
}
提供される可用性ゾーンは、Databricks ワークスペースと同じリージョンに存在する必要があります。
競合するゾーン構成
インスタンス・プールにアタッチするコンピュート・リソースが、インスタンス・プールとは異なる可用性ゾーンを使用するように構成されている場合、コンピュート・リソースの構成は無視され、インスタンス・プールのゾーン構成を継承します。
コンピュート リソースのドライバーは、ドライバー インスタンス プールからゾーンまたはマルチゾーンの設定を継承し、エグゼキューターはエグゼキューター インスタンス プールからゾーンまたはマルチゾーンの設定を継承します。