メインコンテンツまでスキップ

クラスター ライブラリ

クラスター ライブラリは、クラスター上で実行されているすべてのノートブックとジョブで使用できます。 この記事では、Databricks ワークスペースで ライブラリ UI をインストールする 方法について詳しく説明します。

次の方法を使用して、クラスターにライブラリをインストールできます。

クラスターにライブラリをインストールする​

クラスタにライブラリをインストールするには、以下の手順に従ってください。

  1. サイドバーのコンピュートアイコン［ コンピュート ］をクリックします。
  2. クラスター名をクリックします。
  3. 「 ライブラリ 」タブをクリックします。
  4. 「 新規インストール 」をクリックします。
  5. [ライブラリをインストール] ダイアログが表示されます。
  6. [ライブラリのソース] オプションのいずれかを選択し、表示される手順に従い、その後 [インストール] をクリックします。
important

ライブラリは、Databricks Runtime 14.3 LTS 以前を使用している場合は DBFS からインストールできます。 ただし、ワークスペース ユーザーは誰でも DBFS に格納されているライブラリ ファイルを変更できます。 Databricksワークスペースでのライブラリのセキュリティを向上させるために、DBFSルートへのライブラリファイルの保存は、Databricks Runtime 15.1 以降のデフォルトによって非推奨になり、無効になっています。「 Storing Library in DBFSRoutes is deprecated and disabled by デフォルト」を参照してください。

Databricks代わりに、 ライブラリ、 ファイル、 コネクタを含むすべてのライブラリをワークスペースPython JARSparkファイルまたは ボリュームにアップロードするかUnity Catalog 、ライブラリ パッケージ リポジトリを使用することをお勧めします。ワークロードがこれらのパターンをサポートしていない場合は、クラウド・オブジェクト・ストレージに保管されているライブラリーも使用できます。

すべてのクラスター・アクセス・モードが、すべてのライブラリ構成をサポートしているわけではありません。 コンピュート-scoped ライブラリを参照してください。

ライブラリのソース

手順

ワークスペース

ワークスペースファイルを選択するか、Whl、zip 形式のホイールハウス、JAR、ZIP、tar、または requirements.txt ファイルをアップロードします。 「ワークスペース ファイルからのライブラリのインストール」を参照してください

ボリューム

ボリュームから Whl、JAR、または requirements.txt ファイルを選択します。 ボリュームからのライブラリーのインストールを参照してください。

ファイルパス/GCS

ライブラリの種類を選択し、ライブラリオブジェクトへの完全な URI を指定します (例: /Workspace/path/to/library.whl、 /Volumes/path/to/library.whl、 gs://bucket-name/path/to/library.whl)。 オブジェクトストレージからのライブラリのインストールを参照してください。

PyPI

PyPI パッケージ名を入力します。 PyPI パッケージを参照してください。

Maven

Maven 座標を指定します。 「Maven または Spark パッケージ」を参照してください。

CRAN

パッケージの名前を入力します。 CRAN パッケージを参照してください。

DBFS (非推奨)

JAR または Whl ファイルを DBFSルートに読み込みます。DBFS に格納されたファイルは、どのワークスペース ユーザーでも変更できるため、これはお勧めしません。

クラスターにライブラリをインストールしても、そのクラスターに既にアタッチされているノートブックには、新しいライブラリがすぐに表示されません。 最初にノートブックを デタッチ してから、クラスターに 再度アタッチ する必要があります。

注記

インストールに 2 時間以上かかったライブラリは、失敗としてマークされます。

Install a Library with an initスクリプト​

ライブラリにカスタム構成が必要な場合、ワークスペースまたはクラスター ライブラリ インターフェイスを使用してインストールできない場合があります。 代わりに、 initスクリプトを使用してライブラリをインストールできます。

以下は、クラスターの初期化時に pip を使用して Databricks Runtime クラスターに Python ライブラリをインストールする init スクリプトの例です。

Bash
#!/bin/bash

/databricks/python/bin/pip install astropy

クラスターからのライブラリのアンインストール​

注記

クラスターからライブラリをアンインストールしても、クラスターを再起動するまでライブラリは削除されません。クラスターを再起動するまで、アンインストールされたライブラリのステータスは [再起動時のアンインストールを保留中] と表示されます。

ライブラリをアンインストールするには、クラスターUIを使用します。

  1. サイドバーのコンピュートアイコン［ コンピュート ］をクリックします。
  2. クラスター名をクリックします。
  3. 「 ライブラリ 」タブをクリックします。
  4. ライブラリをアンインストールするクラスターの横にあるチェックボックスをオンにし、 [アンインストール] をクリックしてから [確認] をクリックします。ステータスが [再起動時のアンインストールを保留中] に変わります。

[再起動] をクリックし、 [確認] をクリックしてライブラリをアンインストールします。ライブラリはクラスターの [ライブラリ] タブから削除されます。

クラスターにインストールされているライブラリを表示する​

  1. サイドバーのコンピュートアイコン［ コンピュート ］をクリックします。
  2. クラスター名をクリックします。
  3. 「ライブラリ」 タブをクリックします。タブには、ライブラリごとに、名前とバージョン、タイプ、 インストール ステータス、およびアップロードされている場合はソース ファイルが表示されます。

クラスターインストール済みライブラリの更新​

クラスターにインストールされたライブラリを更新するには、古いバージョンのライブラリをアンインストールし、新しいバージョンをインストールします。

注記

Requirements.txtファイルは、アンインストールして再起動する必要はありません。 requirements.txtファイルの内容を変更した場合は、再インストールするだけで、インストールされたファイルの内容を更新できます。

に最終更新