csv (DataFrameReader)

Charge un fichier CSV et renvoie le résultat sous forme de DataFrame. Si inferSchema est activé, cette fonction lit l'entrée une fois pour déterminer le schéma. Pour éviter cela, soit désactivez inferSchema, soit spécifiez le schéma explicitement en utilisant schema.

Syntaxe

csv(path, schema=None, **options)

parameter

parameter	Type	Description
path	str ou list	Un ou plusieurs chemins d'entrée, ou un RDD de chaînes stockant des lignes CSV.
schema	StructType ou str, facultatif.	Un schéma d'entrée facultatif en tant qu'objet StructType ou une chaîne au format DDL (par exemple, 'col0 INT, col1 DOUBLE').

parameter	Type	Description
path	str ou list	Un ou plusieurs chemins d'entrée, ou un RDD de chaînes stockant des lignes CSV.
schema	StructType ou str, facultatif.	Un schéma d'entrée facultatif en tant qu'objet StructType ou une chaîne au format DDL (par exemple, 'col0 INT, col1 DOUBLE').

Renvoie

DataFrame

Exemples

Écrire un DataFrame dans un fichier CSV et le relire.

Python

import tempfile
with tempfile.TemporaryDirectory(prefix="csv") as d:
    df = spark.createDataFrame([{"age": 100, "name": "Alice"}])
    df.write.mode("overwrite").format("csv").save(d)

    spark.read.csv(d, schema=df.schema, nullValue="Alice").show()
    # +---+----+
    # |age|name|
    # +---+----+
    # |100|NULL|
    # +---+----+