esquema
Especifica o esquema de entrada. Algumas fontes de dados (como JSON) conseguem inferir o esquema de entrada automaticamente a partir dos dados. Ao especificar o esquema aqui, a fonte de dados subjacente pode ignorar a inferência de esquema, o que acelera o carregamento de dados.
Sintaxe
schema(schema)
Parâmetros
Parâmetro | Tipo | Descrição |
|---|---|---|
| StructType ou str | Um objeto |
Devoluções
DataFrameReader
Exemplos
Especifique o esquema ao ler um arquivo CSV.
Python
import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
spark.read.schema("col0 INT, col1 DOUBLE").format("csv").load(d).printSchema()
# root
# |-- col0: integer (nullable = true)
# |-- col1: double (nullable = true)