nome (DataStreamReader)
Atribui um nome à fonte de transmissão para a evolução do ponto de verificação. Isso permite que as consultas de transmissão evoluam, possibilitando que as fontes sejam reordenadas ou adicionadas sem quebrar a compatibilidade com o ponto de verificação. Quando a evolução da fonte está ativada, todas as fontes em uma consulta devem ser nomeadas.
Sintaxe
name(source_name)
Parâmetros
Parâmetro | Tipo | Descrição |
|---|---|---|
| str | O nome desta fonte de transmissão. Deve conter apenas letras ASCII (az, AZ), dígitos (0-9) e sublinhado (_). |
Devoluções
DataStreamReader
Notas
Requer que a evolução da fonte de transmissão seja ativada através da configuração spark.sql.streaming.enableSourceEvolution .
Exemplos
Indique duas fontes e una-as:
Python
df1 = spark.readStream.format("rate").name("source1").load()
df2 = spark.readStream.format("rate").name("source2").load()
query = df1.union(df2).writeStream.format("console").start()
Nomes de origem válidos e inválidos:
Python
# Valid names
spark.readStream.format("rate").name("mySource").load()
spark.readStream.format("rate").name("my_source_123").load()
# Invalid name — raises AnalysisException
spark.readStream.format("rate").name("my-source").load()