当有一些状态更新时调用 (引入速率已更新等)
Syntax
onQueryProgress(event)
参数
| 参数 | 类型 | Description |
|---|---|---|
event |
QueryProgressEvent | 包含查询进度信息的事件对象。 |
退货
None
注释
此方法是异步的。 无论何时调用此方法,状态都 StreamingQuery 始终为最新状态。 因此,在处理事件之前或处理事件时,可能会更改状态 StreamingQuery 。 例如,在处理StreamingQuery时,你可能会发现QueryProgressEvent终止。
示例
from pyspark.sql.streaming import StreamingQueryListener
class MyListener(StreamingQueryListener):
def onQueryStarted(self, event):
pass
def onQueryProgress(self, event):
print(f"Query progress: {event.progress.numInputRows} rows processed")
def onQueryIdle(self, event):
pass
def onQueryTerminated(self, event):
pass
spark.streams.addListener(MyListener())