注册从服务器接收进度更新时要调用的进度处理程序。
Syntax
registerProgressHandler(handler)
参数
| 参数 | 类型 | Description |
|---|---|---|
handler |
ProgressHandler | 接口后面的 ProgressHandler 可调用项。 每次进度更新时都会调用此处理程序。 |
退货
None
注释
此方法仅受 Spark Connect 支持。 使用常规 Spark 会话会引发异常。
示例
def progress_handler(stages, inflight_tasks, done):
print(f"{len(stages)} Stages known, Done: {done}")
spark.registerProgressHandler(progress_handler)
res = spark.range(10).repartition(1).collect()
# 3 Stages known, Done: False
# 3 Stages known, Done: True
spark.clearProgressHandlers()