ワークスペースファイルとは?

ワークスペースファイルとは、DatabricksノートブックではないDatabricksワークスペース内の任意のファイルです。ワークスペースファイルは、任意のファイルの種類にすることができます。一般的な例は次のとおりです。

  • .py カスタムモジュールで使用されるファイル。

  • .md ファイル(README.mdなど)

  • .csv またはその他の小さなデータファイル。

  • .txt ファイル。

  • .whl ライブラリ。

  • ログファイル。

ワークスペース ファイルには、以前は " repo内のファイル" と呼ばれていたファイルが含まれます。

重要

ワークスペース ファイルは、バージョン 11.2 では [既定] によってすべての場所で有効 Databricks Runtime が、管理者が REST API を使用して無効にすることができます。 本番運用ワークロードの場合は、 Databricks Runtime 11.3 LTS 以降を使用してください。 この機能にアクセスできない場合は、ワークスペース管理者に問い合わせてください。

ワークスペース ファイルで できること

Databricksは、組み込みのファイルエディターなど、多くの種類のワークスペースファイルに対してローカル開発と同様の機能を提供します。すべてのファイルタイプやすべてのユースケースがサポートされているわけではありません。例えば、インポートされたディレクトリまたはリポジトリにイメージを含めることはできますが、ノートブックにイメージを埋め込むことはできません。

ワークスペースファイルへのアクセスを作成、編集、管理するには、ノートブックの操作で使い慣れたパターンを使用します。ワークスペースファイルからのライブラリのインポートには、ローカル開発と同様の相対パスを使用できます。詳細については、次を参照してください。

ワークスペース ファイルに格納された initスクリプトには、特別な動作があります。 ワークスペースファイルを使用して、任意の Databricks Runtime バージョンの initスクリプトを保存および参照できます。 「 initスクリプトをワークスペース ファイルに保存する」を参照してください。

Databricks Runtime 14.0 以降では、ローカルで実行されるコードの既定の現在の作業ディレクトリ (CWD) は、実行されているノートブックまたはスクリプトを含むディレクトリです。 これは、Databricks Runtime 13.3 LTS 以前からの動作の変更です。 「デフォルトの現在の作業ディレクトリは何ですか?」を参照してください。

制限事項

ワークスペース ファイルの制限事項の完全なリストについては、「ワークスペース ファイルの制限事項」を参照してください。

ファイルサイズの制限

個々のワークスペース ファイルは 500 MB に制限されています。

Databricks Container Services を使用したクラスターを使用する Git フォルダー内のファイルのDatabricks Runtimeバージョン

Databricks Runtime 11.3 LTS 以降を実行しているクラスターでは、デフォルト設定により、Databricks Container Services (DCS) で Git フォルダー内のワークスペース ファイルを使用できます。

Databricks Runtime バージョン 10.4 LTS および 9.1 LTS を実行しているクラスターでは、DCS を使用してクラスター上の Git フォルダー内のワークスペース ファイルにアクセスするように dockerfile を構成する必要があります。 必要な Databricks Runtime バージョンについては、次の dockerfile を参照してください。

Databricks コンテナー サービスを使用してコンテナーをカスタマイズする」を参照してください。

ワークスペースファイルを有効にする

Databricks ワークスペースでノートブック以外のファイルのサポートを有効にするには、 /api/2.0/ワークスペース-confを呼び出します。 Databricks ワークスペースにアクセスできるノートブックまたは他の環境からの REST API。 ワークスペース ファイルはデフォルトで有効になっています。

Databricks ワークスペースでノートブック以外のファイルのサポートを有効または再度有効にするには、 /api/2.0/workspace-confを呼び出して、 enableWorkspaceFileSystemキーの値を取得します。 trueに設定されている場合、ノートブック以外のファイルはワークスペースですでに有効になっています。

次の例は、ノートブックからこの API を呼び出して、ワークスペース ファイルが無効になっているかどうかを確認し、無効になっている場合は再度有効にする方法を示しています。 ワークスペース ファイルを無効にするには、 /api/2.0/workspace-conf API を使用してenableWorkspaceFilesystemfalseに設定します。

例: Databricks ワークスペース ファイルのサポートを再度有効にするためのノートブック

ノートブックを新しいタブで開く