nome_do_arquivo_de_entrada

Cria uma coluna de strings para o nome do arquivo da tarefa Spark atual.

Sintaxe

Python

from pyspark.sql import functions as sf

sf.input_file_name()

Devoluções

pyspark.sql.Column: nomes de arquivos.

Exemplos

Exemplo 1 : Obter o nome do arquivo de entrada

Python

import os
from pyspark.sql import functions as sf
path = os.path.abspath(__file__)
df = spark.read.text(path)
df.select(sf.input_file_name()).first()

Output

Row(input_file_name()='file:/...')