メインコンテンツまでスキップ

オブジェクトストレージからのライブラリのインストール

この記事では、Databricks のクラウドオブジェクトストレージからライブラリをインストールするために必要な手順について説明します。

注記

この記事では、一般的な概念としてクラウド オブジェクト ストレージを参照し、URI を使用してオブジェクト ストレージに格納されたデータを直接操作することを前提としています。 Databricks では、Unity Catalog ボリュームを使用して、クラウド オブジェクト ストレージ内のファイルへのアクセスを構成することをお勧めします。 Unity Catalogボリュームとはを参照してください。

カスタム JAR と Python Whl ライブラリは、 DBFSルートに格納する代わりに、クラウド オブジェクト ストレージに格納できます。 ライブラリの互換性の詳細については、 コンピュートスコープのライブラリ を参照してください。

important

ライブラリは、Databricks Runtime 14.3 LTS 以前を使用している場合は DBFS からインストールできます。 ただし、ワークスペース ユーザーは誰でも DBFS に格納されているライブラリ ファイルを変更できます。 Databricksワークスペースでのライブラリのセキュリティを向上させるために、DBFSルートへのライブラリファイルの保存は、Databricks Runtime 15.1 以降のデフォルトによって非推奨になり、無効になっています。「 Storing Library in DBFSRoutes is deprecated and disabled by デフォルト」を参照してください。

Databricks代わりに、 ライブラリ、 ファイル、 コネクタを含むすべてのライブラリをワークスペースPython JARSparkファイルまたは ボリュームにアップロードするかUnity Catalog 、ライブラリ パッケージ リポジトリを使用することをお勧めします。ワークロードがこれらのパターンをサポートしていない場合は、クラウド・オブジェクト・ストレージに保管されているライブラリーも使用できます。

オブジェクトストレージへのライブラリの読み込み​

ライブラリは、他のファイルをロードするのと同じ方法でオブジェクトストレージにロードできます。 新しいオブジェクトストレージコンテナを作成したり、クラウドオブジェクトストレージにファイルをロードしたりするには、クラウドプロバイダーに適切な権限が必要です。

オブジェクトストレージへの読み取り専用権限の付与​

Databricks では、ライブラリのインストールに関連するすべての特権を読み取り専用のアクセス許可で構成することをお勧めします。

Databricks を使用すると、クラウドオブジェクトストレージ内のデータへのアクセスを制御する個々のクラスターにセキュリティ アクセス許可を割り当てることができます。 これらのポリシーを拡張して、ライブラリを含むクラウドオブジェクトストレージへの読み取り専用アクセスを追加できます。

注記

Databricks Runtime 12.2 LTS 以前では、標準アクセス モード (以前の共有アクセス モード) でクラスターを使用すると、JAR ライブラリを読み込むことはできません。Databricks Runtime 13.3 LTS 以降では、JAR ライブラリをUnity Catalog許可リストに追加する必要があります。Allowlist ライブラリと initスクリプト on 標準アクセスモード (旧称 Shared Access Mode) のコンピュートを参照してください。

Databricks S3に保存されているライブラリへのアクセスを管理するために、インスタンスプロファイルを使用することをお勧めします。 相互参照リンクにある次のドキュメントを使用して、この設定を完了します。

  1. 目的のバケットに対する読み取りおよび一覧表示権限を持つ IAMロールを作成します。 「 チュートリアル: インスタンスプロファイルを使用した S3 アクセスの設定」を参照してください。
  2. インスタンスプロファイルを使用してクラスターを起動します。 「インスタンスプロファイル」を参照してください。

ライブラリをクラスターにインストール​

クラウド・オブジェクト・ストレージに保管されているライブラリをクラスターにインストールするには、以下のステップを実行します。

  1. クラスターUIのリストからクラスターを選択します。
  2. 「ライブラリ」 タブを選択します。
  3. [ファイルパス/S3 ] オプションを選択します。
  4. ライブラリ オブジェクトへの完全な URI パス ( s3://bucket-name/path/to/library.whlなど) を指定します。
  5. [ インストール ] をクリックします。

REST API または CLI を使用してライブラリをインストールすることもできます。

ノートブックへのライブラリのインストール​

%pip を使用して、ノートブック分離の SparkSession をスコープとするオブジェクト ストレージに格納されているカスタム Python wheel ファイルをインストールできます。この方法を使用するには、ライブラリをパブリックに読み取り可能なオブジェクトストレージに保存するか、事前署名付きURLを使用する必要があります。

ノートブック スコープの Python ライブラリを参照してください。

注記

JAR ライブラリをノートブックにインストールできません。 JAR ライブラリは、クラスター レベルでインストールする必要があります。

に最終更新