onQueryProgress (StreamingQueryListener)

当有一些状态更新时调用 (引入速率已更新等)

Syntax

onQueryProgress(event)

参数

参数 类型 Description
event QueryProgressEvent 包含查询进度信息的事件对象。

退货

None

注释

此方法是异步的。 无论何时调用此方法,状态都 StreamingQuery 始终为最新状态。 因此,在处理事件之前或处理事件时,可能会更改状态 StreamingQuery 。 例如,在处理StreamingQuery时,你可能会发现QueryProgressEvent终止。

示例

from pyspark.sql.streaming import StreamingQueryListener

class MyListener(StreamingQueryListener):
    def onQueryStarted(self, event):
        pass

    def onQueryProgress(self, event):
        print(f"Query progress: {event.progress.numInputRows} rows processed")

    def onQueryIdle(self, event):
        pass

    def onQueryTerminated(self, event):
        pass

spark.streams.addListener(MyListener())