csv (DataFrameReader)

Carrega um arquivo CSV e retorna o resultado como um DataFrame. Se inferSchema estiver habilitado, esta função lê a entrada uma vez para determinar o esquema. Para evitar isso, desative inferSchema ou especifique o esquema explicitamente usando schema.

Sintaxe

csv(path, schema=None, **options)

Parâmetros

Parâmetro	Tipo	Descrição
path	string ou lista	Um ou mais caminhos de entrada, ou um RDD de strings armazenando linhas CSV.
schema	StructType ou str, opcional	Um esquema de entrada opcional como um objeto StructType ou strings formatadas em DDL (por exemplo, 'col0 INT, col1 DOUBLE').

Devoluções

DataFrame

Exemplos

Escreva um DataFrame em um arquivo CSV e leia-o de volta.

Python

import tempfile
with tempfile.TemporaryDirectory(prefix="csv") as d:
    df = spark.createDataFrame([{"age": 100, "name": "Alice"}])
    df.write.mode("overwrite").format("csv").save(d)

    spark.read.csv(d, schema=df.schema, nullValue="Alice").show()
    # +---+----+
    # |age|name|
    # +---+----+
    # |100|NULL|
    # +---+----+