inputFiles

Renvoie un instantané au mieux des fichiers qui composent ce DataFrame. Cette méthode demande simplement à chaque BaseRelation constituante ses fichiers respectifs et prend l'union de tous les résultats. Selon les relations source, cela peut ne pas trouver tous les fichiers d'entrée. Les doublons sont supprimés.

Syntaxe

inputFiles()

Retourne

liste : liste des chemins de fichiers.

Exemples

Python

import os
import tempfile
with tempfile.TemporaryDirectory(prefix="inputFiles") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).repartition(1).write.json(d, mode="overwrite")

    df = spark.read.format("json").load(d)

    if os.environ.get('PYTEST_DBCONNECT_MODE') is None:
        len(df.inputFiles())
    else:
        1  # dbconnect doesn't support inputFiles.
# 1