Spark Submit (レガシー、非推奨、2026年半ばに削除予定)
Spark Submit タスクタイプは、JARをタスクとして構成するためのレガシーパターンです。
Spark Submitタスクは2026年中に廃止および削除される予定です。このタスクタイプを使用することは、新規のユースケースでは許可されておらず、既存の顧客に対しても強くお勧めしません。Databricksでは、JVMワークロードでは代わりに JAR タスクを使用することをお勧めします。ジョブのJARタスクを参照してください。
制限事項：
- spark-submit タスクは、新しいクラスターでのみ実行できます。
- JAR ファイルを、コンピュート構成と互換性のある場所または Maven リポジトリにアップロードする必要があります。Java と Scala のライブラリのサポートを参照してください。
- ボリュームに保存されているJARファイルにはアクセスできません。
- Spark-submit はクラスター オートスケールをサポートしていません。 オートスケールの詳細については、「 クラスター オートスケール」を参照してください。
- Spark-submitはクラスターの自動終了をサポートしていません。Spark-submitを使用して起動されたSparkアプリケーションは、完了時に明示的に
System.exitを呼び出す必要があります。 - Spark-submit は Databricksユーティリティ（
dbutils）参照をサポートしていません。Databricksユーティリティを使用するには、代わりにJARタスクを使用してください。 - Unity Catalog 対応のクラスターを使用する場合、spark-submit は、クラスターが専用アクセス モードを使用している場合にのみサポートされます。 標準アクセスモードはサポートされていません。 アクセスモードを参照してください。
- 構造化ストリーミング ジョブでは、最大並列実行数を1より大きく設定してはなりません。ストリーミング ジョブは、cron式
"* * * * * ?"（毎分）を使用して実行するように設定する必要があります。ストリーミング タスクは継続的に実行されるため、常にジョブの最後のタスクにする必要があります。
Spark Submitタスクを構成する
ジョブUIの タスク タブから、次の手順を実行してSpark Submitタスクを追加します:
-
タスクを追加 をクリックします。 -
タスク名 フィールドに名前を入力します。
-
タイプ ドロップダウンメニューで、
Spark Submitを選択します。 -
コンピュート を使用して、タスクのロジックをサポートするクラスターを構成します。
-
パラメーター テキスト ボックスを使用して、タスクをJSON形式の文字列の配列として実行するために必要なすべての引数と構成を指定します。
-
最初の3つの引数は、次の例のように、指定されたパスにあるJARで実行するメインクラスを識別するために使用されます。
JSON["--class", "org.apache.spark.mainClassName", "dbfs:/Filestore/libraries/jar_path.jar"] -
Databricksによって構成された
master、deploy-mode、およびexecutor-coresの設定を上書きすることはできません。 -
--jarsと--py-filesを使用して、依存するJava、Scala、およびPythonライブラリを追加します。 -
Spark構成を設定するには、
--confを使用します。 -
--jars、--py-files、--filesの引数はDBFSパスに対応しています。 -
デフォルトでは、Sparkサブミットジョブは、Databricksサービス用に予約されているメモリを除き、利用可能なすべてのメモリを使用します。オフヒープ使用のための余地を残すために、
--driver-memoryと--executor-memoryをより小さい値に設定できます。
-
-
タスクの保存 をクリックします。