コンピュートスコープライブラリ

クラスター ライブラリは、クラスター上で実行されているすべてのノートブックとジョブで使用できます。 この記事では、Databricks ワークスペースで ライブラリ UI をインストールする 方法について詳しく説明します。

次の方法を使用して、クラスターにライブラリをインストールできます。

• 特定のクラスターでのみ使用するライブラリをインストールします。

• REST API を使用してライブラリをインストールします。 ライブラリ API を参照してください。

• Databricks CLIを使用してライブラリをインストールします。Databricks CLI を参照してください。

• Terraform を使用してライブラリをインストールします。 Databricks Terraform プロバイダーとライブラリを参照してください。

• クラスタ作成時に実行されるinitスクリプトを使用してライブラリをインストールします。 initスクリプトを使用したライブラリのインストールを参照してください。

クラスターにライブラリをインストールする

クラスタにライブラリをインストールするには、以下の手順に従ってください。

1. サイドバーの［ コンピュート ］をクリックします。
2. クラスター名をクリックします。
3. 「 ライブラリ 」タブをクリックします。
4. 「 新規インストール 」をクリックします。
5. [ライブラリをインストール] ダイアログが表示されます。
6. [ライブラリのソース] オプションのいずれかを選択し、表示される手順に従い、その後 [インストール] をクリックします。

重要

ライブラリは、Databricks Runtime 14.3 LTS 以前を使用している場合は DBFS からインストールできます。 ただし、ワークスペース ユーザーは誰でも DBFS に格納されているライブラリ ファイルを変更できます。 Databricksワークスペースでのライブラリのセキュリティを向上させるために、DBFSルートへのライブラリファイルの保存は、Databricks Runtime 15.1 以降のデフォルトによって非推奨になり、無効になっています。DBFSルートへのライブラリの格納は非推奨となり、デフォルトで無効化されますを参照ください。

Databricksでは代わりに、 Python ライブラリ、 JARファイル、 Sparkコネクタを含むすべてのライブラリをワークスペースファイルまたはUnity Catalog ボリュームにアップロードするか、ライブラリ パッケージ リポジトリを使用することをお勧めします。ワークロードがこれらのパターンをサポートしていない場合は、クラウド・オブジェクト・ストレージに保管されているライブラリーも使用できます。

すべてのクラスター・アクセス・モードが、すべてのライブラリ構成をサポートしているわけではありません。 コンピュートスコープライブラリを参照してください。

ライブラリのソース	手順
ワークスペース	ワークスペース ファイルを選択するか、Whl、圧縮された wheelhouse (拡張子は*.wheelhouse.whl )、JAR、ZIP、tar、または requirements.txt ファイルをアップロードします。ワークスペースファイルからライブラリをインストールするを参照してください
ボリューム	ボリュームから Whl、JAR、または requirements.txt ファイルを選択します。 ボリュームからのライブラリーのインストールを参照してください。
ファイルパス/GCS	ライブラリの種類を選択し、ライブラリオブジェクトへの完全な URI を指定します (例: /Workspace/path/to/library.whl、 /Volumes/path/to/library.whl、 gs://bucket-name/path/to/library.whl)。 オブジェクトストレージからのライブラリのインストールを参照してください。
PyPI	PyPI パッケージ名を入力します。 PyPI パッケージを参照してください。
Maven	Maven 座標を指定します。 Maven または Spark パッケージを参照してください。
CRAN	パッケージの名前を入力します。 CRAN パッケージを参照してください。
DBFS (非推奨)	JAR または Whl ファイルを DBFSルートに読み込みます。DBFS に格納されたファイルは、どのワークスペース ユーザーでも変更できるため、これはお勧めしません。

ライブラリのソース	手順
ワークスペース	ワークスペース ファイルを選択するか、Whl、圧縮された wheelhouse (拡張子は*.wheelhouse.whl )、JAR、ZIP、tar、または requirements.txt ファイルをアップロードします。ワークスペースファイルからライブラリをインストールするを参照してください
ボリューム	ボリュームから Whl、JAR、または requirements.txt ファイルを選択します。 ボリュームからのライブラリーのインストールを参照してください。
ファイルパス/GCS	ライブラリの種類を選択し、ライブラリオブジェクトへの完全な URI を指定します (例: /Workspace/path/to/library.whl、 /Volumes/path/to/library.whl、 gs://bucket-name/path/to/library.whl)。 オブジェクトストレージからのライブラリのインストールを参照してください。
PyPI	PyPI パッケージ名を入力します。 PyPI パッケージを参照してください。
Maven	Maven 座標を指定します。 Maven または Spark パッケージを参照してください。
CRAN	パッケージの名前を入力します。 CRAN パッケージを参照してください。
DBFS (非推奨)	JAR または Whl ファイルを DBFSルートに読み込みます。DBFS に格納されたファイルは、どのワークスペース ユーザーでも変更できるため、これはお勧めしません。

クラスタリングにライブラリをインストールすると、そのクラスタリングにすでにアタッチされているノートブックには、新しいライブラリがすぐには表示されません。 ノートブックに新しいライブラリを表示するには、新しいセッションを開始する必要があります。

注記

インストールに 2 時間以上かかったライブラリは、失敗としてマークされます。

Install a Library with an initスクリプト

ライブラリにカスタム構成が必要な場合、ワークスペースまたはクラスター ライブラリ インターフェイスを使用してインストールできない場合があります。 代わりに、 initスクリプトを使用してライブラリをインストールできます。

以下は、クラスターの初期化時に pip を使用して Databricks Runtime クラスターに Python ライブラリをインストールする init スクリプトの例です。

Bash

#!/bin/bash

/databricks/python/bin/pip install astropy

クラスターからのライブラリのアンインストール

注記

クラスターからライブラリをアンインストールしても、クラスターを再起動するまでライブラリは削除されません。クラスターを再起動するまで、アンインストールされたライブラリのステータスは [再起動時のアンインストールを保留中] と表示されます。

ライブラリをアンインストールするには、クラスターUIを使用します。

1. サイドバーの［ コンピュート ］をクリックします。
2. クラスター名をクリックします。
3. 「 ライブラリ 」タブをクリックします。
4. ライブラリをアンインストールするクラスターの横にあるチェックボックスをオンにし、 [アンインストール] をクリックしてから [確認] をクリックします。ステータスが [再起動時のアンインストールを保留中] に変わります。

再起動 して 確認 をクリックして、ライブラリをアンインストールします。ライブラリがクラスターのライブラリ タブから削除されます。

クラスターにインストールされているライブラリを表示する

1. サイドバーの［ コンピュート ］をクリックします。
2. クラスター名をクリックします。
3. 「ライブラリ」 タブをクリックします。タブには、ライブラリごとに、名前とバージョン、タイプ、 インストール ステータス、およびアップロードされている場合はソース ファイルが表示されます。

クラスターインストール済みライブラリの更新

クラスターにインストールされたライブラリを更新するには、古いバージョンのライブラリをアンインストールし、新しいバージョンをインストールします。

注記

Requirements.txtファイルは、アンインストールして再起動する必要はありません。 requirements.txtファイルの内容を変更した場合は、再インストールするだけで、インストールされたファイルの内容を更新できます。