ワークスペースファイルとは？

ワークスペースファイルとは、DatabricksノートブックではないDatabricksワークスペース内の任意のファイルです。ワークスペースファイルは、任意のファイルの種類にすることができます。一般的な例は次のとおりです。

.py カスタムモジュールで使用されるファイル。
.md ファイル（README.mdなど）
.csv またはその他の小さなデータファイル。
.txt ファイル。
.whl ライブラリ。
ログファイル。

ワークスペースファイルには、以前は " repo内のファイル" と呼ばれていたファイルが含まれます。

重要

ワークスペースファイルは、バージョン 11.2 では [既定] によってすべての場所で有効 Databricks Runtime が、管理者が REST API を使用して無効にすることができます。本番運用ワークロードの場合は、 Databricks Runtime 11.3 LTS 以降を使用してください。この機能にアクセスできない場合は、ワークスペース管理者に問い合わせてください。

ワークスペースファイルでできること

Databricksは、組み込みのファイルエディターなど、多くの種類のワークスペースファイルに対してローカル開発と同様の機能を提供します。すべてのファイルタイプやすべてのユースケースがサポートされているわけではありません。例えば、インポートされたディレクトリまたはリポジトリにイメージを含めることはできますが、ノートブックにイメージを埋め込むことはできません。

ワークスペースファイルへのアクセスを作成、編集、管理するには、ノートブックの操作で使い慣れたパターンを使用します。ワークスペースファイルからのライブラリのインポートには、ローカル開発と同様の相対パスを使用できます。詳細については、次を参照してください。

ワークスペースファイルに格納された initスクリプトには、特別な動作があります。ワークスペースファイルを使用して、任意の Databricks Runtime バージョンの initスクリプトを保存および参照できます。「 initスクリプトをワークスペースファイルに保存する」を参照してください。

注

Databricks Runtime 14.0 以降では、ローカルで実行されるコードの既定の現在の作業ディレクトリ (CWD) は、実行されているノートブックまたはスクリプトを含むディレクトリです。これは、Databricks Runtime 13.3 LTS 以前からの動作の変更です。「デフォルトの現在の作業ディレクトリは何ですか?」を参照してください。

制限事項

ワークスペースファイルの制限事項の完全なリストについては、「ワークスペースファイルの制限事項」を参照してください。

ファイルサイズの制限

個々のワークスペースファイルは 500 MB に制限されています。

Databricks Container Services を使用したクラスターを使用する Git フォルダー内のファイルのDatabricks Runtimeバージョン

Databricks Runtime 11.3 LTS 以降を実行しているクラスターでは、デフォルト設定により、Databricks Container Services (DCS) で Git フォルダー内のワークスペースファイルを使用できます。

Databricks Runtime バージョン 10.4 LTS および 9.1 LTS を実行しているクラスターでは、DCS を使用してクラスター上の Git フォルダー内のワークスペースファイルにアクセスするように dockerfile を構成する必要があります。必要な Databricks Runtime バージョンについては、次の dockerfile を参照してください。

「 Databricks コンテナーサービスを使用してコンテナーをカスタマイズする」を参照してください。

ワークスペースファイルを有効にする

Databricks ワークスペースでノートブック以外のファイルのサポートを有効にするには、 /api/2.0/ワークスペース-confを呼び出します。 Databricks ワークスペースにアクセスできるノートブックまたは他の環境からの REST API。ワークスペースファイルはデフォルトで有効になっています。

Databricks ワークスペースでノートブック以外のファイルのサポートを有効または再度有効にするには、 /api/2.0/workspace-confを呼び出して、 enableWorkspaceFileSystemキーの値を取得します。 trueに設定されている場合、ノートブック以外のファイルはワークスペースですでに有効になっています。

次の例は、ノートブックからこの API を呼び出して、ワークスペースファイルが無効になっているかどうかを確認し、無効になっている場合は再度有効にする方法を示しています。

例: Databricks ワークスペースファイルのサポートを再度有効にするためのノートブック

ノートブックを新しいタブで開く