StreamingQueryManager

SparkSessionに関連付けられているすべてのアクティブなStreamingQueryインスタンスを管理します。これにアクセスするにはspark.streamsを使用してください。

構文

Python

# Access through SparkSession
spark.streams

物件

属性	説明
active	このSparkSessionに関連付けられているすべてのアクティブなストリーミングクエリのリストを返します。

方法

手法	説明
get(id)	一意のIDによってアクティブなクエリを返します。
awaitAnyTermination(timeout)	アクティブなクエリがすべて終了するか、タイムアウトが経過するまで待機します。
resetTerminated()	過去に終了したクエリを破棄し、 awaitAnyTermination()再度使用して新しい終了を待つことができるようにします。
addListener(listener)	ライフサイクル イベント コールバックを受信するには、 StreamingQueryListenerを登録します。
removeListener(listener)	StreamingQueryListenerの登録を解除します。

例

Python

sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sqm = spark.streams
[q.name for q in sqm.active]
# ['this_query']
sqm.awaitAnyTermination(5)
# True
sq.stop()
sqm.resetTerminated()