Schéma

Spécifie le schéma d'entrée. Certaines sources de données (telles que le JSON) peuvent déduire automatiquement le schéma d’entrée à partir des données. En spécifiant le schéma ici, la source de données sous-jacente peut ignorer l'étape d'inférence du schéma, ce qui accélère le chargement des données.

Syntaxe

schema(schema)

parameter

parameter	Type	Description
schema	StructType ou str	Un objet StructType ou une string au format DDL (par exemple, 'col0 INT, col1 DOUBLE').

parameter	Type	Description
schema	StructType ou str	Un objet StructType ou une string au format DDL (par exemple, 'col0 INT, col1 DOUBLE').

Renvoie

DataFrameReader

Exemples

Spécifiez le schéma lors de la lecture d'un fichier CSV.

Python

import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
    spark.read.schema("col0 INT, col1 DOUBLE").format("csv").load(d).printSchema()
    # root
    #  |-- col0: integer (nullable = true)
    #  |-- col1: double (nullable = true)