メインコンテンツまでスキップ

Spark Submit タスクの廃止通知と移行ガイド

警告

Spark Submit タスクは非推奨であり、削除が保留中です。このタスク タイプの使用は、新しいユース ケースでは許可されておらず、既存の顧客に対しては強く推奨されません。このタスク タイプの元のドキュメントについては、「Spark Submit (レガシー)」を参照してください。移行手順については、読み続けてください。

Spark Submit が廃止されるのはなぜですか?​

Spark Submit タスク タイプは、技術的な制限と、 JAR 、ノートブック、またはPythonスクリプトタスクにはない機能ギャップのため、非推奨になります。 これらのタスクにより、Databricks 機能との統合が向上し、パフォーマンスと信頼性が向上します。

廃止措置​

Databricks は廃止に関連して以下の対策を実施しています。

  • 作成の制限 : 2025 年 11 月以降、前月に Spark Submit タスクを使用したユーザーのみが新しい Spark Submit タスクを作成できます。例外が必要な場合は、アカウント サポートにお問い合わせください。
  • API 非推奨通知 : Spark Submit タスクを作成または編集しようとする API リクエストは、非推奨通知を提供するためにランダムに拒否される場合があります。成功するまで同じ問題でリクエストを再試行します。
  • DBR バージョンの制限 : Spark Submit の 使用は、既存の DBR バージョンとメンテナンス リリースに制限されます。 Spark Submit を 備えた既存の DBR バージョンでは、機能が完全にシャットダウンされるまで、セキュリティおよびバグ修正のメンテナンス リリースが引き続き提供されます。DBR 17.3+ および 18.x+ ではこのタスク タイプはサポートされません。
  • UI 警告 : Spark Submit タスクが使用されている Databricks UI 全体に警告が表示され、既存のユーザーのアカウントのワークスペース管理者に通信が送信されます。

JVM ワークロードを JAR タスクに移行する​

JVM ワークロードの場合、 Spark Submit タスクを JAR タスクに移行します。JAR タスクは、より優れた機能サポートと Databricks との統合を提供します。

移行するには、次のステップに従ってください。

  1. ジョブに新しい JAR タスクを作成します。
  2. Spark Submit タスクの問題から、最初の 3 つの引数を特定します。 一般的には次のパターンに従います。 ["--class", "org.apache.spark.mainClassName", "dbfs:/path/to/jar_file.jar"]
  3. --class問題を削除します。
  4. メインクラス名 (たとえば、 org.apache.spark.mainClassName ) を JAR タスクの メインクラス として設定します。
  5. JAR タスク構成で JAR ファイルへのパス (例: dbfs:/path/to/jar_file.jar ) を指定します。
  6. Spark Submit タスクの残りの引数を JAR タスク パラメーターにコピーします。
  7. JAR タスクを実行し、期待どおりに動作することを確認します。

JARタスクの構成の詳細については、 JARタスク」を参照してください。

Rワークロードの移行​

Spark Submit タスクから R スクリプトを直接起動する場合は、複数の移行パスが利用できます。

オプションA: ノートブックタスクを使用する​

R スクリプトを Databricks ノートブックに移行します。ノートブックタスクは、クラスターオートスケールを含む完全な機能セットをサポートし、 Databricksプラットフォームとの統合を強化します。

オプションB: ノートブックタスクからRスクリプトをブートストラップする​

ノートブックタスクを使用して R スクリプトをブートストラップします。次のコードでノートブックを作成し、R ファイルをジョブ問題として参照します。 必要に応じて、R スクリプトで使用される問題を追加するように変更します。

R
dbutils.widgets.text("script_path", "", "Path to script")
script_path <- dbutils.widgets.get("script_path")
source(script_path)

ヘルプが必要ですか?​

さらにサポートが必要な場合は、アカウント サポートにお問い合わせください。

に最終更新