メインコンテンツまでスキップ

Databricks Asset Bundles ライブラリの依存関係

この記事では、Databricks Asset Bundles ライブラリの依存関係を宣言するための構文について説明します。 バンドルを使用すると、Databricks ワークフローをプログラムで管理できます。 「Databricks アセットバンドルとは」を参照してください。

ノートブックとソース ファイルに加えて、Databricks ジョブは、期待どおりに動作するためにライブラリに依存する可能性があります。ライブラリー依存関係は 、バンドル構成ファイル で宣言され、多くの場合、 ジョブ・タスク・タイプ 仕様の一部として必要になります。

バンドルは、次のライブラリ依存関係をサポートします。

  • Python wheel ファイル
  • JAR ファイル (Java または Scala)
  • PyPI、Maven、または CRAN パッケージ

Python の場合、ジョブ タスクの依存関係を requirements.txt ファイルで指定し、それをバンドルに含めることもできます。Python requirements.txtを参照してください。

注記

ライブラリがサポートされているかどうかは、クラスタリング構成とライブラリ ソースによって異なります。 完全なライブラリ サポート情報については、 ライブラリを参照してください。

Python wheel ファイル​

Python wheelファイルをジョブ タスクに追加するには、libraries で、インストールする各ライブラリの whl マッピングを指定します。 ホイール ファイルは、ワークスペース ファイル、 Unity Catalogボリューム、クラウドオブジェクトストレージ、またはローカル ファイル パスからインストールできます。

important

ライブラリは、Databricks Runtime 14.3 LTS 以前を使用している場合は DBFS からインストールできます。 ただし、ワークスペース ユーザーは誰でも DBFS に格納されているライブラリ ファイルを変更できます。 Databricksワークスペースでのライブラリのセキュリティを向上させるために、DBFSルートへのライブラリファイルの保存は、Databricks Runtime 15.1 以降のデフォルトによって非推奨になり、無効になっています。「 Storing Library in DBFSRoutes is deprecated and disabled by デフォルト」を参照してください。

Databricks代わりに、 ライブラリ、 ファイル、 コネクタを含むすべてのライブラリをワークスペースPython JARSparkファイルまたは ボリュームにアップロードするかUnity Catalog 、ライブラリ パッケージ リポジトリを使用することをお勧めします。ワークロードがこれらのパターンをサポートしていない場合は、クラウド・オブジェクト・ストレージに保管されているライブラリーも使用できます。

次の例は、ジョブタスクに 3 つの Python wheel ファイルをインストールする方法を示しています。

  • 最初の Python wheel ファイルは、以前に Databricks ワークスペースにアップロードされたか、sync マッピングのincludeアイテムとして追加され、バンドル設定ファイルと同じローカルフォルダにあります。
  • 2 番目の Python wheel ファイルは、 Databricks ワークスペース内の指定されたワークスペース ファイルの場所にあります。
  • 3 番目の Python wheel ファイルは、以前に Databricks ワークスペースの my-volume という名前のボリュームにアップロードされました。
YAML
resources:
  jobs:
    my_job:
      # ...
      tasks:
        - task_key: my_task
          # ...
          libraries:
            - whl: ./my-wheel-0.1.0.whl
            - whl: /Workspace/Shared/Libraries/my-wheel-0.0.1-py3-none-any.whl
            - whl: /Volumes/main/default/my-volume/my-wheel-0.1.0.whl

JAR ファイル (Java または Scala)​

ジョブ・タスクに JAR ファイルを追加するには、 libraries で、インストールする各ライブラリーの jar ・マッピングを指定します。JAR は、Unity Catalog ボリューム、クラウド オブジェクト ストレージ、またはローカル ファイル パスからインストールできます。

important

ライブラリは、Databricks Runtime 14.3 LTS 以前を使用している場合は DBFS からインストールできます。 ただし、ワークスペース ユーザーは誰でも DBFS に格納されているライブラリ ファイルを変更できます。 Databricksワークスペースでのライブラリのセキュリティを向上させるために、DBFSルートへのライブラリファイルの保存は、Databricks Runtime 15.1 以降のデフォルトによって非推奨になり、無効になっています。「 Storing Library in DBFSRoutes is deprecated and disabled by デフォルト」を参照してください。

Databricks代わりに、 ライブラリ、 ファイル、 コネクタを含むすべてのライブラリをワークスペースPython JARSparkファイルまたは ボリュームにアップロードするかUnity Catalog 、ライブラリ パッケージ リポジトリを使用することをお勧めします。ワークロードがこれらのパターンをサポートしていない場合は、クラウド・オブジェクト・ストレージに保管されているライブラリーも使用できます。

次の例は、以前に Databricks ワークスペースの my-volume という名前のボリュームにアップロードされた JAR ファイルをインストールする方法を示しています。

YAML
resources:
  jobs:
    my_job:
      # ...
      tasks:
        - task_key: my_task
          # ...
          libraries:
            - jar: /Volumes/main/default/my-volume/my-java-library-1.0.jar

JAR をビルドしてデプロイする構成の例については、「 JAR ファイルを Unity Catalog にアップロードするバンドル」を参照してください。Scala JAR をビルドしてデプロイするバンドル プロジェクトを作成するチュートリアルについては、「 Databricks アセット バンドルを使用した Scala JAR のビルド」を参照してください。

PyPI パッケージ​

PyPI パッケージをジョブタスク定義に追加するには、 librariesで、インストールする各 PyPI パッケージの pypi マッピングを指定します。 マッピングごとに、以下を指定します。

  • packageには、インストールする PyPI パッケージの名前を指定します。オプションの正確なバージョン指定もサポートされています。
  • オプションで、「 repo」には、PyPI パッケージが見つかるリポジトリを指定します。 指定しない場合は、デフォルトの pip インデックスが使用されます (https://pypi.org/simple/)。

次の例は、2 つの PyPI パッケージをインストールする方法を示しています。

  • 最初の PyPI パッケージは、指定されたパッケージバージョンとデフォルトの pip インデックスを使用します。
  • 2 番目の PyPI パッケージは、指定されたパッケージバージョンと明示的に指定された pip インデックスを使用します。
YAML
resources:
  jobs:
    my_job:
      # ...
      tasks:
        - task_key: my_task
          # ...
          libraries:
            - pypi:
                package: wheel==0.41.2
            - pypi:
                package: numpy==1.25.2
                repo: https://pypi.org/simple/

Mavenパッケージ​

Maven パッケージをジョブタスク定義に追加するには、 librariesで、インストールする各 Maven パッケージの maven マッピングを指定します。 マッピングごとに、以下を指定します。

  • coordinatesには、パッケージの Gradle スタイルの Maven 座標を指定します。
  • オプションで、 repoに、Maven パッケージのインストール元となる Maven リポジトリを指定します。 省略すると、Maven Central Repository と Spark Packages Repository の両方が検索されます。
  • オプションで、 exclusionsに、明示的に除外する依存関係を指定します。 Maven 依存関係の除外を参照してください。

次の例は、2 つの Maven パッケージをインストールする方法を示しています。

  • 最初の Maven パッケージは、指定されたパッケージ座標を使用し、Maven Central リポジトリと Spark パッケージリポジトリの両方でこのパッケージを検索します。
  • 2 番目の Maven パッケージは、指定されたパッケージ座標を使用し、このパッケージを Maven Central リポジトリ内でのみ検索し、指定されたパターンに一致するこのパッケージの依存関係は含まれません。
YAML
resources:
  jobs:
    my_job:
      # ...
      tasks:
        - task_key: my_task
          # ...
          libraries:
            - maven:
                coordinates: com.databricks:databricks-sdk-java:0.8.1
            - maven:
                coordinates: com.databricks:databricks-dbutils-scala_2.13:0.1.4
                repo: https://mvnrepository.com/
                exclusions:
                  - org.scala-lang:scala-library:2.13.0-RC*

Pythonのrequirements.txt​

Python ライブラリの依存関係は、ジョブ タスク定義の一部として含まれる requirements*.txt ファイルで指定することもできます。ファイルへのパスには、ローカル パス、ワークスペース パス、または Unity Catalog ボリューム パスを指定できます。

YAML
resources:
  jobs:
    my_job:
      # ...
      tasks:
        - task_key: my_task
          # ...
          libraries:
            - requirements: ./local/path/requirements.txt
に最終更新