柔軟なノードタイプを使用してコンピュート起動の信頼性を向上

備考

プレビュー

Databricksのクラシックコンピュートリソースは柔軟なノードタイプを使用するため、指定したインスタンスタイプが使用できない場合、コンピュートリソースは代替の互換性のあるインスタンスタイプにフォールバックできます。

この動作により、コンピュート起動中の容量障害 (在庫切れエラー) が減少し、コンピュート起動の信頼性が向上します。フォールバックを備えたスポットインスタンスの場合、フレキシブルノードタイプは、オンデマンドインスタンスにフォールバックする前に、さまざまなインスタンスタイプ間でインスタンスの取得を複数回試みることができます。これにより、オンデマンドではなくスポットとして実行されるインスタンスの割合が高くなり、総コンピュートコストが削減されます。

柔軟なノードタイプの仕組み

コンピュートリソースを起動すると、クラウドプロバイダーが指定したインスタンスタイプの容量を超えて実行することがあります。これにより在庫切れエラーが発生します。

AWS_INSUFFICIENT_INSTANCE_CAPACITY_FAILURE

これらのエラーはスポットインスタンスでよく発生しますが、オンデマンドインスタンスでも発生する可能性があります。

柔軟なノードタイプを有効にすると、Databricks は互換性のあるインスタンスタイプの指定されたフォールバックリストを自動的に生成または使用します。優先インスタンスタイプが利用できない場合、Databricks はすぐに失敗するのではなく、これらのバックアップインスタンスタイプを取得しようとします。

ワークスペースで柔軟なノードタイプを有効にする

ワークスペース管理者は、ワークスペース管理設定で柔軟なノードタイプを有効にすることができます。有効にすると、ワークスペース内のすべての新しいクラシックコンピュートリソースは、明示的に無効にしない限り、フレキシブルノードタイプを使用します。

ワークスペース管理者として、設定ページに移動します。
「 コンピュート 」タブをクリックします。
自動フレキシブルノードタイプを有効にする 設定を切り替えます。
- Enabled : すべての新しいクラシックコンピュートリソースは、明示的に無効にしない限り、フレキシブルノードタイプを自動的に使用します。
- 無効 : コンピュートリソース構成で明示的にnode_type_flexibility構成した場合、クラシックコンピュートリソースはフレキシブルノードタイプのみを使用します。

このワークスペース全体の設定は、既存のコンピュートリソースには影響しません。無効にしても、ユーザーはカスタムフォールバックリストを使用してworker_node_type_flexibilityまたはdriver_node_type_flexibilityフィールドを明示的に構成することで、個々のコンピュートリソースに対して柔軟なノードタイプを構成できます。ユーザーがこれらのフィールドを設定できないようにするには、ワークスペース管理者はコンピュートポリシーを使用できます。柔軟なノードタイプポリシーの例を参照してください。

カスタムフォールバックリストを指定する

ワークスペースでフレキシブルノードタイプが有効になっている場合、 Databricks新しいコンピュートリソースに対して互換性のあるインスタンスタイプのフォールバックリストを自動的に生成します。

自動的に生成されたフォールバックリストを使用しない場合は、代わりに独自のフォールバックリストを指定できます。さらに、ワークスペースでフレキシブルノードタイプが無効になっている場合でも、コンピュートリソースのカスタムフォールバックリストを指定できます。互換性があるのは特定のインスタンスの種類のみです。フォールバックインスタンスタイプの要件を参照してください。互換性のあるインスタンスタイプのリファレンスについては、柔軟なノードタイプの互換性リファレンスを参照してください。

カスタムフォールバックリストは、 APIを使用してコンピュートを構成する場合にのみサポートされます。リファレンスAPI ドキュメントを参照してください。

たとえば、次の構成では、必要に応じてコンピュートリソースがどのインスタンスタイプにフォールバックするかを指定します。

JSON

  "worker_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_E64as_v5"
    ]
  },
  "driver_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_D64as_v5"
    ]
  },

フォールバックインスタンスタイプの要件

フォールバックインスタンスタイプは、コンピュートの優先インスタンスタイプと互換性がある必要があります。フォールバックインスタンスタイプのリストは、次の要件を満たしている必要があります。

優先インスタンスタイプと同じ vCPU 数とメモリ (フォールバックインスタンスには優先インスタンスタイプのメモリの 100% ～ 110% が必要です)
優先インスタンスタイプと同じ数のローカルディスクとディスクサイズ
優先インスタンスタイプと同じ CPU アーキテクチャ (すべて ARM またはすべて x86)
優先インスタンスタイプと同じ OS イメージと Photon サポート
GPU インスタンスタイプはありません (GPU はサポートされていません)
最大 5 つの固有のフォールバックインスタンスタイプ
仮想インスタンスタイプ (m-fleet など) は、すでに同様のフォールバック動作を提供しているため、優先インスタンスタイプとして使用したり、フォールバックリストで使用することはできません。

プールで柔軟なノードタイプを使用する

プールのフォールバックリストをカスタマイズすることもできます。プール APIで、 node_type_flexibilityフィールドを設定してフォールバックインスタンスタイプを指定します。例えば：

JSON
"node_type_flexibility": {
    "alternate_node_type_ids": ["Standard_D64as_v5"]
  }

プールは、最小のアイドル数を維持するための柔軟なインスタンスタイプの使用をサポートしていません。プールからのコンピュート起動が試行される場合、プールはフォールバックインスタンスタイプを使用して VM を起動することしかできません。 minIdleカウントの事前ウォーミングでは、優先インスタンスタイプのみが使用されます。

取得したインスタンスタイプを表示する

柔軟なノードタイプを使用する場合、コンピュートリソースはさまざまなインスタンスタイプの組み合わせで構成される場合があります。すべてのフォールバックインスタンスタイプは優先タイプと互換性があり、同じ vCPU 数、メモリ、ディスクレイアウト、CPU アーキテクチャ、OS イメージを維持して、ワークロードが正しく実行されるようにします。

コンピュートリソース用に取得されたインスタンスタイプを表示できます。

[コンピュートの詳細] ページで、 [終了] ボタンの横にある 3 つの点をクリックし、 JSON表示] を選択します。
各エグゼキューターのnode_type_idフィールドを確認して、どのインスタンスタイプが実行されているかを確認します。

Get Cluster info APIを使用して、この情報をプログラムで取得することもできます。さらに、システムテーブルへのアクセス権限を持つユーザーは、 node_timelinesテーブルをクエリできます。ノードタイムラインテーブルスキーマを参照してください。

コンピュートリソースでフレキシブルノードタイプを無効にする

注記

Databricks では、特定のインスタンスの種類に厳しい要件がない限り、柔軟なノードの種類を有効にしておくことをお勧めします。

別のインスタンスタイプにフォールバックするのではなく、コンピュートの起動が失敗することを希望する場合は、個々のコンピュートリソースレベルで柔軟なノードの動作を無効にすることができます。これは、 APIを使用する場合にのみサポートされます。フレキシブルノードタイプを無効にするには、コンピュート構成でフレキシブルノードタイプフィールドを空に設定します。例えば：

JSON
"worker_node_type_flexibility": {
  "alternate_node_type_ids": []
},
"driver_node_type_flexibility": {
  "alternate_node_type_ids": []
}

柔軟なノードタイプの仕組み​

ワークスペースで柔軟なノードタイプを有効にする​

カスタムフォールバックリストを指定する​

フォールバックインスタンスタイプの要件​

プールで柔軟なノードタイプを使用する​

取得したインスタンスタイプを表示する​

コンピュート リソースでフレキシブル ノード タイプを無効にする​