メインコンテンツまでスキップ

入力ファイル

このDataFrameを構成するファイルのベストエフォートのスナップショットを返します。 このメソッドは、各構成要素であるBaseRelationに対してそれぞれのファイルを要求し、すべての結果を統合するだけです。ソースとの関連性によっては、すべての入力ファイルが見つからない場合があります。重複データは削除されます。

構文

inputFiles()

戻り値

list: ファイルパスのリスト。

Python
import os
import tempfile
with tempfile.TemporaryDirectory(prefix="inputFiles") as d:
spark.createDataFrame(
[{"age": 100, "name": "Alice"}]
).repartition(1).write.json(d, mode="overwrite")

df = spark.read.format("json").load(d)

if os.environ.get('PYTEST_DBCONNECT_MODE') is None:
len(df.inputFiles())
else:
1 # dbconnect doesn't support inputFiles.
# 1
このページの見出し