Gerenciador de consultas de streaming

gerenciar todas as instâncias StreamingQuery ativas associadas a um SparkSession. Use spark.streams para acessar isso.

Sintaxe

Python

# Access through SparkSession
spark.streams

Propriedades

Propriedade	Descrição
active	Retorna uma lista de todas as consultas de transmissão ativas associadas a este SparkSession.

Métodos

Método	Descrição
get(id)	Retorna uma consulta ativa pelo seu ID único.
awaitAnyTermination(timeout)	Aguarda até que qualquer consulta ativa seja finalizada ou até que o tempo limite expire.
resetTerminated()	Esquece consultas encerradas anteriormente para que awaitAnyTermination() possa ser usado novamente para aguardar novos encerramentos.
addListener(listener)	registro a StreamingQueryListener para receber retornos de chamada de eventos do ciclo de vida.
removeListener(listener)	Cancela o registro de um StreamingQueryListener.

Exemplos

Python

sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sqm = spark.streams
[q.name for q in sqm.active]
# ['this_query']
sqm.awaitAnyTermination(5)
# True
sq.stop()
sqm.resetTerminated()