メインコンテンツまでスキップ

プログラムでワークスペース ファイルを操作する

Databricks に格納されているワークスペース ファイルをプログラムで操作できます。 これにより、次のようなタスクが可能になります。

  • 小さなデータファイルをノートブックやコードと一緒に保存します。
  • Git と同期されたディレクトリにログファイルを書き込む。
  • 相対パスを使用したモジュールのインポート。
  • 環境仕様ファイルを作成または変更する。
  • ノートブックからの出力の書き込み。
  • TensorBoard.

Databricks Runtime 11.3 LTS 以降では、ワークスペース ファイルをプログラムで作成、編集、名前変更、削除できます。 ノートブック向けの本機能は、 Databricks Runtime 16.2 以降、およびサーバレス環境 2 以降でサポートされています。

注記

ワークスペース ファイルへの書き込みを無効にするには、クラスター環境変数 WSFS_ENABLE_WRITE_SUPPORT=falseを設定します。 詳細については、 環境変数を参照してください。

注記

Databricks Runtime 14.0 以降では、ローカルで実行されるコードのデフォルト カレント ワーキング ディレクトリ (CWD) は、実行されているノートブックまたはスクリプトを含むディレクトリです。これは、Databricks Runtime 13.3 LTS 以下からの動作の変更です。 「デフォルトの現在の作業ディレクトリとは」を参照してください。

ファイルの場所の読み取り​

シェルコマンドを使用して、リポジトリやローカルファイルシステムなどのファイルの場所を読み取ります。

ファイルの場所を特定するには、次のように入力します。

Bash
%sh ls
  • ファイルがリポジトリにない: このコマンドは、ファイルシステムを /databricks/driverで返します。
  • ファイルはリポジトリにあります。 このコマンドは、 /Workspace/Repos/name@domain.com/public_repo_2/repos_file_systemなどの仮想化リポジトリを返します。

データ ワークスペース ファイルの読み取り​

ノートブックのコードから、 .csv ファイルや .json ファイルなどの小さなデータ ファイルをプログラムで読み取ることができます。 次の例では、Pandas を使用して、プロジェクト リポジトリのルートを基準にした /data ディレクトリに格納されているファイルをクエリします。

Python
import pandas as pd
df = pd.read_csv("./data/winequality-red.csv")
df

Spark を使用してデータ ファイルを読み取ることができます。 Spark に完全修飾パスを提供する必要があります。

  • Git フォルダ内のワークスペース ファイルは、パス . file:/Workspace/Repos/<user-folder>/<repo-name>/path/to/fileを使用します。
  • 個人用ディレクトリ内のワークスペース ファイルは、パス file:/Workspace/Users/<user-folder>/path/to/fileを使用します。

ファイルへの絶対パスまたは相対パスは、ファイルの横にあるドロップダウンメニューからコピーできます。

[ファイル] ドロップダウン メニュー

次の例は、 {os.getcwd()} を使用してフル パスを取得する方法を示しています。

Python
import os
spark.read.format("csv").load(f"file:{os.getcwd()}/my_data.csv")

Databricks 上のファイルの詳細については、「 Databricks 上のファイルの操作」を参照してください。

プログラムによるファイルやディレクトリの作成、更新、削除​

Databricks Runtime 11.3 LTS 以降では、Databricks のワークスペース ファイルを直接操作できます。 ノートブックは、 Databricks Runtime 16.2 以降、およびサーバレス環境 2 以降ではワークスペース ファイルとして扱われます。 次の例では、標準の Python パッケージと機能を使用して、ファイルとディレクトリを作成および操作します。

Python
# Create a new directory

os.mkdir('dir1')

# Create a new file and write to it

with open('dir1/new_file.txt', "w") as f:
    f.write("new content")

# Append to a file

with open('dir1/new_file.txt', "a") as f:
    f.write(" continued")

# Delete a file

os.remove('dir1/new_file.txt')

# Delete a directory

os.rmdir('dir1')

ワークスペース ファイルとしてのノートブック​

注記

この機能は、 Databricks Runtime 16.2 以降、およびサーバレス環境 2 以降で使用できます。

ファイルとのプログラムによるすべての操作は、ノートブックでも使用できます。 ワークスペース内の資産は、次の場合にノートブックとして識別されます。

  • .ipynb拡張子があります。
  • または、1 行目のコメントに文字列 Databricks notebook source が含まれ、拡張子が .py、 .r、 .scala、 .sqlのいずれかです。

これらの条件を変更するノートブックまたはファイルの書き込みまたは名前変更を行うと、ノートブックまたはファイルの種類も変更されます。 たとえば、最初の行が # Databricks notebook source であるファイル myfile.txtがある場合、そのファイルの名前を myfile.py に変更すると、ノートブックに変換されます。

ファイルをノートブックに変換する方法については、「 ファイルをインポートしてノートブックに変換する」を参照してください。

に最終更新