abort (DataSourceStreamWriter)

由于任务失败而中止此微批处理。

当一个或多个任务失败时,在驱动程序上调用此方法。 提交消息是从 write() 每个任务的方法调用中收集的,并传递给此方法。 实现应使用提交消息中止流式处理接收器中的微包。

Syntax

abort(messages: List[Optional[WriterCommitMessage]], batchId: int)

参数

参数 类型 Description
messages WriterCommitMessage 列表 提交消息的列表。 如果写入任务失败,提交消息将为 None
batchId int 一个整数,用于唯一标识正在写入的一批数据。 每个微分块处理时,整数增加 1。