esquema (DataStreamReader)

Especifica o esquema de entrada. Algumas fontes de dados (por exemplo, JSON) conseguem inferir o esquema de entrada automaticamente a partir dos dados. Especificar o esquema aqui permite que a fonte de dados ignore a inferência de esquema e acelere o carregamento de dados.

Sintaxe

schema(schema)

Parâmetros

Parâmetro	Tipo	Descrição
schema	StructType ou str	Um objeto StructType ou strings formatadas em DDL (por exemplo, col0 INT, col1 DOUBLE).

Devoluções

DataStreamReader

Exemplos

Python

from pyspark.sql.types import StructField, StructType, StringType
spark.readStream.schema(StructType([StructField("data", StringType(), True)]))
# <...streaming.readwriter.DataStreamReader object ...>
spark.readStream.schema("col0 INT, col1 DOUBLE")
# <...streaming.readwriter.DataStreamReader object ...>

Especifique um esquema diferente para um arquivo CSV:

Python

import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
    spark.readStream.schema("col0 INT, col1 STRING").format("csv").load(d).printSchema()
    # root
    #  |-- col0: integer (nullable = true)
    #  |-- col1: string (nullable = true)