Ouvinte de consulta de streaming

Uma classe abstrata para escutar eventos relacionados a StreamingQuery. Crie uma subclasse dessa classe e implemente seus métodos abstratos para receber retornos de chamada de eventos do ciclo de vida para consultas de transmissão.

Sintaxe

Python

from pyspark.sql.streaming import StreamingQueryListener

class MyListener(StreamingQueryListener):
    def onQueryStarted(self, event):
        pass

    def onQueryProgress(self, event):
        pass

    def onQueryIdle(self, event):
        pass

    def onQueryTerminated(self, event):
        pass

Métodos

Método	Descrição
onQueryStarted(event)	Chamado quando uma consulta é iniciada.
onQueryProgress(event)	Chamado quando há alguma atualização de status (taxa de ingestão atualizada, etc.).
onQueryIdle(event)	Chamado quando a consulta está parada e aguardando novos dados para processar.
onQueryTerminated(event)	Chamado quando uma consulta é interrompida, com ou sem erro.

Notas

Os métodos não são thread-safe, pois podem ser chamados por threads diferentes.

No modo Spark Connect, o ouvinte não tem acesso a variáveis definidas fora dele. Use self.spark em vez de spark para acessar a sessão dentro do ouvinte no modo Connect.

Exemplos

Python

from pyspark.sql.streaming import StreamingQueryListener

class MyListener(StreamingQueryListener):
    def onQueryStarted(self, event):
        # Do something with event.
        pass

    def onQueryProgress(self, event):
        # Do something with event.
        pass

    def onQueryIdle(self, event):
        # Do something with event.
        pass

    def onQueryTerminated(self, event):
        # Do something with event.
        pass

spark.streams.addListener(MyListener())