Databricks コンピュートをジョブで使用する

Databricksジョブを実行すると、タスクはDatabricksコンピュート上のジョブ実行の一部として構成されます (タスクの種類に応じて、サーバーレスコンピュート、クラスター、 SQLウェアハウスのいずれか)。ジョブを運用する場合、コンピュートのタイプと構成オプションを選択することが重要です。この記事では、 Databricksコンピュートリソースを使用してジョブを実行するための推奨事項を示します。

Databricksでのサーバーレスコンピュートの使用の詳細については、「ワークフローのサーバーレスコンピュートを使用したDatabricksジョブ」を参照してください。

注：

シークレットは、クラスターの Spark ドライバーログstdoutおよびstderrストリームから編集されません。機密データを保護するために、デフォルトでは、Spark ドライバーログは、ジョブ、シングルユーザーアクセスモード、および共有アクセスモードのクラスターに対する CAN MANAGE 権限を持つユーザーのみが表示できます。 Can Attach ToまたはCan Restart権限を持つユーザーがこれらのクラスターのログを表示できるようにするには、クラスター構成で次のSpark構成プロパティを設定します: spark.databricks.acl.needAdminPermissionToViewLogs false。

分離なしの共有アクセスモードクラスターでは、Spark Can Attach Toまたは権限を持つユーザーがドライバーCAN MANAGE ログを表示できます。ログを読み取ることができるユーザーを CAN MANAGE 権限を持つユーザーのみに制限するには、 spark.databricks.acl.needAdminPermissionToViewLogsをtrueに設定します。

クラスター構成に Spark プロパティを追加する方法については、「Spark 構成」を参照してください。

共有ジョブクラスターを使用する

複数のタスクを調整するジョブのリソース使用量を最適化するには、共有ジョブクラスターを使用します。共有ジョブクラスターを使用すると、同じジョブ実行内の複数のタスクでクラスターを再利用できます。単一のジョブクラスターを使用して、ジョブの一部であるすべてのタスクを実行することも、特定のワークロードに最適化された複数のジョブクラスターを使用することもできます。共有ジョブクラスターを使用するには:

タスクを作成し、 クラスター構成 を完了するときに、「新規ジョブクラスター」を選択します。
ジョブにタスクを追加するときに新しいクラスターを選択するか、新しいジョブクラスターを作成します。 [新しいジョブクラスター]を選択したときに構成したクラスターは、ジョブ内のすべてのタスクで使用できます。

共有ジョブクラスターのスコープは 1 つのジョブ実行に限定されており、他のジョブや同じジョブの実行では使用できません。

共有ジョブクラスター構成ではライブラリを宣言できません。タスク設定で依存ライブラリを追加する必要があります。

ジョブに適したクラスタータイプを選択する

新しいジョブクラスターは、ジョブまたはタスク実行専用のクラスターです。共有ジョブクラスターは、クラスターを使用する最初のタスクが開始されると作成および開始され、クラスターを使用する最後のタスクが完了した後に終了します。クラスターはアイドル状態のときは終了せず、すべてのタスクが完了した後にのみ終了します。共有ジョブクラスターが失敗するか、すべてのタスクが完了する前に終了した場合は、新しいクラスターが作成されます。単一のタスクにスコープ設定されたクラスターは、タスクの開始時に作成および開始され、タスクの完了時に終了します。本番運用では、 Databricks 、各ジョブまたはタスク実行が完全に分離された環境で行われるように、新しい共有クラスターまたはタスクスコープのクラスターを使用することをお勧めします。
新しいクラスターでタスクを実行すると、タスクはデータエンジニアリング (タスク) ワークロードとして扱われ、タスクワークロードの価格が適用されます。既存の All-Purposeクラスターでタスクを実行すると、そのタスクはデータアナリティクス (汎用) ワークロードとして扱われ、汎用ワークロードの料金が適用されます。
終了した既存のクラスターを選択し、ジョブ所有者にCan Restart 許可がある場合、 Databricksジョブの実行がスケジュールされているときにクラスターを開始します。
既存の汎用クラスターは、ダッシュボードを定期的に更新するなどのタスクに最適です。

プールを使用してクラスターの起動時間を短縮する

新しいジョブクラスターの開始時間を短縮するには、プールを作成し、そのプールを使用するようにジョブのクラスターを構成します。

自動アベイラビリティゾーン

自動可用性ゾーン (Auto-AZ) を利用するには、 APIで aws_attributes.zone_id = "auto" を設定して有効にする必要があります。「可用性ゾーン」を参照してください。