processAllAvailable (StreamingQuery)

Bloque jusqu'à ce que toutes les données disponibles dans la source aient été traitées et validées vers la destination. Destiné aux tests.

Syntaxe

processAllAvailable()

Renvoie

None

Notes

Dans le cas de données arrivant en continu, cette méthode peut bloquer indéfiniment. Cette méthode n'est garantie de bloquer que jusqu'à ce que les données qui ont été ajoutées de manière synchrone à une source de Stream avant l'invocation (c'est-à-dire que getOffset doit refléter immédiatement l'ajout).

Exemples

Python

sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sq.processAllAvailable()
sq.stop()