入力ファイル名

現在の Spark タスクのファイル名の文字列列を作成します。

構文

Python

from pyspark.sql import functions as sf

sf.input_file_name()

戻り値

pyspark.sql.Column: ファイル名。

例

例1 : 入力ファイル名を取得する

Python

import os
from pyspark.sql import functions as sf
path = os.path.abspath(__file__)
df = spark.read.text(path)
df.select(sf.input_file_name()).first()

Output

Row(input_file_name()='file:/...')