carregar (DataStreamReader)

Carrega uma transmissão de dados de uma fonte de dados e retorna como um DataFrame.

Sintaxe

load(path=None, format=None, schema=None, **options)

Parâmetros

Parâmetro	Tipo	Descrição
path	str, opcional	Caminho para fonte de dados apoiada pelo sistema de arquivos.
format	str, opcional	Formato da fonte de dados. O valor padrão é 'parquet'.
schema	StructType ou str, opcional	Esquema para os dados de entrada como um StructType ou strings formatadas em DDL (por exemplo, col0 INT, col1 DOUBLE).
**options		Todas as outras opções de strings.

Parâmetro	Tipo	Descrição
path	str, opcional	Caminho para fonte de dados apoiada pelo sistema de arquivos.
format	str, opcional	Formato da fonte de dados. O valor padrão é 'parquet'.
schema	StructType ou str, opcional	Esquema para os dados de entrada como um StructType ou strings formatadas em DDL (por exemplo, col0 INT, col1 DOUBLE).
**options		Todas as outras opções de strings.

Devoluções

DataFrame

Exemplos

Carregue uma transmissão de um arquivo JSON temporário:

Python

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="load") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).format("json").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()