ジョブの JAR タスク

JAR タスクを使用して、JAR (Java ARchive) にコンパイルされた Scala または Java コードをデプロイします。JARファイルは、コンピュート構成でサポートされている場所に保存する必要があります。Java と Scala のライブラリのサポートを参照してください。

important

Scala には、Unity Catalog の標準アクセス モードでのサポート制限があります。言語の制限を参照してください。標準アクセスモードでは、管理者がJARライブラリのMaven座標とパスをallowlistに追加する必要もあります。標準 アクセスモード(旧共有アクセスモード)のコンピュートのライブラリの許可リストとinitスクリプトを参照してください。

標準アクセス モードで 対応クラスターに ファイルをデプロイする方法の詳細については、「ScalaJAR Unity Catalogクラスターに ScalaJAR をデプロイするUnity Catalog 」を参照してください。

必要条件

• Scalaワークロードをサポートするコンピュート構成を選択する必要があります。
• JAR ファイルは、コンピュート設定と互換性のある場所またはMavenリポジトリにアップロードする必要があります。
• JAR ファイル内のコードでは、Spark コンテキストを取得するために SparkContext.getOrCreate を使用する必要があります。

JAR タスクの構成

ジョブ UI の タスク タブからJARタスクを追加するには、次の手順を実行します。

1. [ タスクの追加 ] をクリックします。

2. [ タスク名] フィールドに名前を入力します。

3. 「タイプ 」ドロップダウンメニューで、「JAR」を選択します。

4. Main クラス を指定します。

   • これは、実行される main メソッドを含むクラスのフルネームです。 このクラスは、 従属ライブラリ として構成されたJARに含める必要があります。

5. コンピュート を使用して、JARのロジックをサポートするクラスターを選択または設定します。

6. [依存ライブラリ] の下の [+ 追加 ] をクリックします。 「依存ライブラリの追加 」ダイアログが表示されます。

   • 既存の JAR ファイルを選択するか、新しい JAR ファイルをアップロードできます。
   • すべての場所で JAR ファイルがサポートされているわけではありません。
   • すべてのコンピュート構成が、サポートされているすべての場所で JAR ファイルをサポートしているわけではありません。
   • 各ライブラリソース には、JAR ファイルを選択またはアップロードするための異なるフローがあります。ライブラリのインストールを参照してください。

7. (オプション) パラメーター を、メイン クラスに引数として渡される文字列のリストとして構成します。 Configure タスク パラメーターを参照してください。

8. [タスクの保存 ] をクリックします。