メインコンテンツまでスキップ
非公開のページ
このページは非公開です。 検索対象外となり、このページのリンクに直接アクセスできるユーザーのみに公開されます。

ファイルメタデータ列

入力ファイルのメタデータ情報は、 _metadata 列で取得できます。 _metadata列は 非表示 の列であり、すべての入力ファイル形式で使用できます。返された DataFrame に _metadata 列を含めるには、ソースを指定する読み取りクエリで列を明示的に選択する必要があります。

データソースに _metadataという名前のカラムが含まれている場合、クエリはファイルメタデータではなく、データソースからカラムを返します。

警告

新しいフィールドは、将来のリリースで _metadata 列に追加される可能性があります。 _metadata 列が更新された場合のスキーマ進化エラーを防ぐために、Databricks では、クエリの列から特定のフィールドを選択することをお勧めします。例を参照してください。

サポートされているメタデータ​

_metadata 列は STRUCT で、次のフィールドが含まれています。

名前

タイプ

説明

例

Databricks Runtime の最小リリース

file_path

STRING

入力ファイルのファイル・パス。

file:/tmp/f0.csv

10.5

file_name

STRING

入力ファイルの名前とその拡張子。

f0.csv

10.5

file_size

LONG

入力ファイルの長さ (バイト単位)。

628

10.5

file_modification_time

TIMESTAMP

入力ファイルの最終変更タイムスタンプ。

2021-12-20 20:05:21

10.5

ファイル_ブロック_スタート

LONG

読み取られるブロックの開始オフセット (バイト単位)。

0

13.0

file_block_length

LONG

読み取られるブロックの長さ (バイト単位)。

628

13.0

例​

基本的なファイルベースのデータソースリーダーで使用​

Python
df = spark.read \
  .format("csv") \
  .schema(schema) \
  .load("dbfs:/tmp/*") \
  .select("*", "_metadata")

display(df)

'''
Result:
+---------+-----+----------------------------------------------------+
|   name  | age |                 _metadata                          |
+=========+=====+====================================================+
|         |     | {                                                  |
|         |     |    "file_path": "dbfs:/tmp/f0.csv",                |
| Debbie  | 18  |    "file_name": "f0.csv",                          |
|         |     |    "file_size": 12,                                |
|         |     |    "file_block_start": 0,                          |
|         |     |    "file_block_length": 12,                        |
|         |     |    "file_modification_time": "2021-07-02 01:05:21" |
|         |     | }                                                  |
+---------+-----+----------------------------------------------------+
|         |     | {                                                  |
|         |     |    "file_path": "dbfs:/tmp/f1.csv",                |
| Frank   | 24  |    "file_name": "f1.csv",                          |
|         |     |    "file_size": 12,                                |
|         |     |    "file_block_start": 0,                          |
|         |     |    "file_block_length": 12,                        |
|         |     |    "file_modification_time": "2021-12-20 02:06:21" |
|         |     | }                                                  |
+---------+-----+----------------------------------------------------+
'''

特定のフィールドを選択する​

Python
spark.read \
  .format("csv") \
  .schema(schema) \
  .load("dbfs:/tmp/*") \
  .select("_metadata.file_name", "_metadata.file_size")

フィルターでの使用​

Python
spark.read \
  .format("csv") \
  .schema(schema) \
  .load("dbfs:/tmp/*") \
  .select("*") \
  .filter(col("_metadata.file_name") == lit("test.csv"))

COPY INTO(レガシー)での使用​

SQL
COPY INTO my_delta_table
FROM (
  SELECT *, _metadata FROM 's3://my-bucket/csvData'
)
FILEFORMAT = CSV

Auto Loaderでの使用​

ソース データに _metadataという名前の列が含まれている場合は、名前を source_metadataに変更します。 名前を変更しないと、ターゲットテーブルのファイルメタデータ列にアクセスできません。クエリは代わりにソース列を返します。

Python
spark.readStream \
  .format("cloudFiles") \
  .option("cloudFiles.format", "csv") \
  .schema(schema) \
  .load("s3://my-bucket/csvData") \
  .selectExpr("*", "_metadata as source_metadata") \
  .writeStream \
  .option("checkpointLocation", checkpointLocation) \
  .start(targetTable)

foreachBatch を使用していて、ストリーミング DataFrame にファイル メタデータ列を含める場合は、foreachBatch 関数の前にストリーミング読み取り DataFrame で参照する必要があります。foreachBatch 関数内でファイル メタデータ列のみを参照する場合、列は含まれません。

Python
spark.readStream \
  .format("cloudFiles") \
  .option("cloudFiles.format", "csv") \
  .load("s3://my-bucket/csvData") \
  .select("*", "metadata") \
  .writeStream \
  .foreachBatch(...)

関連記事​

に最終更新