プールのベストプラクティス

この記事では、プールの概要と、プールを最適に構成する方法について説明します。 プールの作成に関する情報については、「 プール設定リファレンス」を参照してください。

プールに関する考慮事項

プールを作成する際には、次の点を考慮してください。

• ターゲットワークロードに基づいて、インスタンスタイプと Databricks ランタイムを使用してプールを作成します。
• 可能であれば、プリエンプティブル VM インスタンスをプールに追加して、コストを削減します。 プリエンプティブル VM プールはワーカー ノードとしてのみ使用します。 ドライバーノードは、オンデマンドインスタンスを使用する必要があります。
• 実行時間が短く、実行時間の要件が厳しいジョブのオンデマンドインスタンスをプールに入力します。
• プール タグとクラスタータグを使用して請求を管理します。
• プールを事前に設定して、クラスターで必要なときにインスタンスが使用可能であることを確認します。

ワークロードに基づくプールの作成

組織で一般的に使用するインスタンスの種類と Databricks ランタイムごとにプールを作成することで、インスタンスの取得時間を最小限に抑えることができます。 たとえば、ほとんどの データエンジニアリング クラスターがインスタンスタイプ A を使用し、データサイエンスクラスターがインスタンスタイプ B を使用し、アナリティクスクラスターがインスタンスタイプ C を使用する場合、各インスタンスタイプでプールを作成します。

プリエンプティブル VM インスタンス プールの使用

ドライバーノードとワーカーノードの要件が異なる場合は、それぞれに異なるプールを使用します。

Databricks では、ドライバー ノードにプリエンプティブル VM インスタンスを使用しないことをお勧めします。 ワーカー ノードにプリエンプティブル VM プールを使用する場合は、 ドライバーの種類 としてオンデマンド プールを選択します。

実行時間が短く、実行時間の要件が厳しいジョブにオンデマンドインスタンスを使用するようにプールを構成します。 これは、プリエンプティブル VM インスタンスがシステム イベントによっていつでも停止できるためです。

対話型開発をサポートするクラスターや、信頼性よりもコスト削減を優先するジョブにプリエンプティブル VM インスタンスを使用するようにプールを構成します。

タグ プールを使用してコストと課金を管理する

プールを正しいコストセンターにタグ付けすると、コストと使用量のチャージバックを管理できます。 複数のカスタムタグを使用して、複数のコストセンターをプールに関連付けることができます。 ただし、プールからクラスターを作成するときにタグがどのように伝達されるかを理解することが重要です。 プールのタグは基になるクラウド プロバイダー インスタンスに伝達されますが、クラスターのタグは伝達されません。 クラウドプロバイダーのコンピュートコストのチャージバックを管理するために必要なすべてのカスタムタグをプールに適用します。

プール タグとクラスタータグはどちらも Databricks 請求に反映されます。 クラスタータグとプールタグの組み合わせを使用して、 Databricks ユニットのチャージバックを管理できます。

詳細については、「 タグを使用した属性の使用」をご参照ください。

コストを制御するためのプールの構成

プールのコストを制御するには、 Min Idle インスタンスを 0 に設定して、作業を行っていない実行中のインスタンスに対して料金が発生しないようにします。 トレードオフは、クラスターが新しいインスタンスを取得する必要がある場合に時間が増加する可能性があることです。

プールの事前設定

プールを最大限に活用するために、新しく作成したプールを事前に設定できます。 プール構成で [最小アイドル] インスタンスを 0 より大きく設定します。 または、この値を 0 に設定する推奨事項に従っている場合は、スターター ジョブを使用して、新しく作成されたプールに、クラスターがアクセスできるインスタンスがあることを確認します。

スターター ジョブ アプローチでは、柔軟な実行時間要件を持つジョブを、より厳しいパフォーマンス要件を持つジョブの前、またはユーザーが対話型クラスターの使用を開始する前に実行するようにスケジュールします。 ジョブが終了すると、ジョブに使用されたインスタンスはプールに解放されます。

スターター ジョブを使用すると、プール インスタンスをスピンアップしてプールに格納し、ダウンストリーム ジョブまたは対話型クラスターで使用できる状態を維持できます。