onQueryProgress (StreamingQueryListener)

Appelée lorsqu'il y a une mise à jour du statut (taux d'ingestion mis à jour, etc.)

Syntaxe

onQueryProgress(event)

parameter

parameter	Type	Description
event	QueryProgressEvent	L'objet événement contenant les informations de progression pour la query.

parameter	Type	Description
event	QueryProgressEvent	L'objet événement contenant les informations de progression pour la query.

Renvoie

None

Notes

Cette méthode est asynchrone. Le statut dans StreamingQuery sera toujours le plus récent, quel que soit le moment où cette méthode est appelée. Par conséquent, le statut de StreamingQuery peut être modifié avant ou au moment où vous traitez l'événement. Par exemple, vous pourriez trouver StreamingQuery terminé lorsque vous traitez QueryProgressEvent.

Exemples

Python

from pyspark.sql.streaming import StreamingQueryListener

class MyListener(StreamingQueryListener):
    def onQueryStarted(self, event):
        pass

    def onQueryProgress(self, event):
        print(f"Query progress: {event.progress.numInputRows} rows processed")

    def onQueryIdle(self, event):
        pass

    def onQueryTerminated(self, event):
        pass

spark.streams.addListener(MyListener())