ファイル メタデータ列
_metadata
列を使用して、入力ファイルのメタデータ情報を取得できます。_metadata
列は 非表示 の列であり、すべての入力ファイル形式で使用できます。返される DataFrame に _metadata
列を含めるには、クエリーで明示的に参照する必要があります。
データソースに _metadata
という名前の列が含まれている場合、クエリーはファイルのメタデータではなく、データソースから列を返します。
警告
将来のリリースで、新しいフィールドが [ _metadata
] 列に追加される可能性があります。 _metadata
列が更新された場合にスキーマ進化エラーが発生しないように、Databricks では、クエリーの列から特定のフィールドを選択することをお勧めします。例を参照してください。
サポートされているメタデータ
_metadata
列は、次のフィールドを含む STRUCT
です。
名前 |
タイプ |
説明 |
例 |
最小 Databricks Runtime リリース |
---|---|---|---|---|
file_path |
|
入力ファイルのファイル パス。 |
|
10.5 |
file_name |
|
入力ファイルの名前とその拡張子。 |
|
10.5 |
file_size |
|
入力ファイルの長さ (バイト単位)。 |
628 |
10.5 |
file_modification_time |
|
入力ファイルの最終変更タイムスタンプ。 |
|
10.5 |
file_block_start |
|
読み取られるブロックの開始オフセット (バイト単位)。 |
0 |
13.0 |
file_block_length |
|
読み取られるブロックの長さ (バイト単位)。 |
628 |
13.0 |
例
基本的なファイルベースのデータソースリーダーでの使用
df = spark.read \
.format("csv") \
.schema(schema) \
.load("dbfs:/tmp/*") \
.select("*", "_metadata")
display(df)
'''
Result:
+---------+-----+----------------------------------------------------+
| name | age | _metadata |
+=========+=====+====================================================+
| | | { |
| | | "file_path": "dbfs:/tmp/f0.csv", |
| Debbie | 18 | "file_name": "f0.csv", |
| | | "file_size": 12, |
| | | "file_block_start": 0, |
| | | "file_block_length": 12, |
| | | "file_modification_time": "2021-07-02 01:05:21" |
| | | } |
+---------+-----+----------------------------------------------------+
| | | { |
| | | "file_path": "dbfs:/tmp/f1.csv", |
| Frank | 24 | "file_name": "f1.csv", |
| | | "file_size": 12, |
| | | "file_block_start": 0, |
| | | "file_block_length": 12, |
| | | "file_modification_time": "2021-12-20 02:06:21" |
| | | } |
+---------+-----+----------------------------------------------------+
'''
val df = spark.read
.format("csv")
.schema(schema)
.load("dbfs:/tmp/*")
.select("*", "_metadata")
display(df_population)
/* Result:
+---------+-----+----------------------------------------------------+
| name | age | _metadata |
+=========+=====+====================================================+
| | | { |
| | | "file_path": "dbfs:/tmp/f0.csv", |
| Debbie | 18 | "file_name": "f0.csv", |
| | | "file_size": 12, |
| | | "file_block_start": 0, |
| | | "file_block_length": 12, |
| | | "file_modification_time": "2021-07-02 01:05:21" |
| | | } |
+---------+-----+----------------------------------------------------+
| | | { |
| | | "file_path": "dbfs:/tmp/f1.csv", |
| Frank | 24 | "file_name": "f1.csv", |
| | | "file_size": 10, |
| | | "file_block_start": 0, |
| | | "file_block_length": 12, |
| | | "file_modification_time": "2021-12-20 02:06:21" |
| | | } |
+---------+-----+----------------------------------------------------+
*/
特定のフィールドを選択する
spark.read \
.format("csv") \
.schema(schema) \
.load("dbfs:/tmp/*") \
.select("_metadata.file_name", "_metadata.file_size")
spark.read
.format("csv")
.schema(schema)
.load("dbfs:/tmp/*")
.select("_metadata.file_name", "_metadata.file_size")
フィルターでの使用
spark.read \
.format("csv") \
.schema(schema) \
.load("dbfs:/tmp/*") \
.select("*") \
.filter(col("_metadata.file_name") == lit("test.csv"))
spark.read
.format("csv")
.schema(schema)
.load("dbfs:/tmp/*")
.select("*")
.filter(col("_metadata.file_name") === lit("test.csv"))
COPY INTOで使用
COPY INTO my_delta_table
FROM (
SELECT *, _metadata FROM 's3://my-bucket/csvData'
)
FILEFORMAT = CSV
Auto Loaderでの使用
注
_metadata
列を書き込むときは、名前を次のように変更します source_metadata
。_metadata
として記述すると、データソースに _metadata
という名前の列が含まれている場合、クエリーはファイルのメタデータではなく、データソースから列を返すため、ターゲット テーブルのメタデータ列にアクセスできなくなります。
spark.readStream \
.format("cloudFiles") \
.option("cloudFiles.format", "csv") \
.schema(schema) \
.load("s3://my-bucket/csvData") \
.selectExpr("*", "_metadata as source_metadata") \
.writeStream \
.option("checkpointLocation", checkpointLocation) \
.start(targetTable)
spark.readStream
.format("cloudFiles")
.option("cloudFiles.format", "csv")
.schema(schema)
.load("s3://my-bucket/csvData")
.selectExpr("*", "_metadata as source_metadata")
.writeStream
.option("checkpointLocation", checkpointLocation)
.start(targetTable)