コンピュート作成チートシート
この記事は、コンピュートの作成に関する明確で主張のあるガイダンスを提供することを目的としています。 ワークフローに適したコンピュートタイプを使用することで、パフォーマンスを向上させ、コストを節約できます。
ベストプラクティス | インパクト | ドキュメント |
|---|---|---|
Databricks を初めて使用する場合は、一般的な汎用インスタンスの種類を使用することから始めます | ワークロードに適したインスタンスタイプを選択すると、効率が向上します。 | |
必要な機能がサポートされていない場合を除き、標準アクセス モードを使用します | 標準アクセスモードのコンピュートは、ユーザー間でデータを分離した状態で複数のユーザーが使用できます。 | |
Graviton インスタンスタイプがある場合は、それらを使用します | AWS によると、Graviton プロセッサを搭載したインスタンスタイプは、どのインスタンスタイプよりも価格対性能比が優れています。 | |
十分な可用性がある場合は、最新世代のインスタンスタイプを使用します | 最新世代のインスタンスタイプは、最高のパフォーマンスと最新の機能を提供します。 | |
オンデマンドとスポットインスタンスのバランスは、ワークロードの実行に必要な速度に基づいて設定します | スポットインスタンスはコストを節約しますが、スポットインスタンスが再利用されると、オペレーションの全体的な実行時間に影響を与える可能性があります。 | |
ノードのサイズとワーカーの数は、ワークロードが実行するオペレーションのタイプに基づいて選択します | たとえば、シャッフルが多く発生することが予想される場合は、複数の小さなノードではなく、大きな 1 つのノードを使用する方が効率的です。 | |
各ワーカーに8つのコアがある1-4台のワーカーのオートスケーリングが設定されたクラスターにvacuumを実行します。 8 から 32 コアのドライバーを選択します。 メモリ不足 (OOM) エラーが発生した場合は、ドライバーのサイズを増やします。 | vacuum文は2つのフェーズで実行され、2番目のフェーズはドライバーのリソースを大量に使用します。 適切なサイズのクラスターを使用しないと、操作の速度が低下し、成功しない可能性があります。 | |
バッチワークフローがPhotonの恩恵を受けるかどうかを評価します | Photonは、より高速なクエリを提供し、ワークロードあたりの総コストを削減します。 |