触发器 (DataStreamWriter)

设置流式处理查询的触发器。 如果未设置,查询将尽可能快地运行,等效于 processingTime='0 seconds'。 一次只能设置一个触发器参数。

请参阅配置结构化流式处理触发器间隔。

计算与流水线执行

在Lakeflow管道中,管道管理流的执行。 使用 流水线执行设置 来控制流水线数据的处理时间。

当你直接在无服务器计算中使用 DataStreamWriter 笔记本和作业时,请使用 availableNow=True。 默认触发器 processingTime、 continuous和 在 realTime 该计算中不被支持。 这些限制不适用于无服务器流水线执行模式。 请参阅 流式处理限制。

Syntax

trigger(*, processingTime=None, once=None, continuous=None, availableNow=None, realTime=None)

参数

参数 类型 Description
processingTime str,可选 处理时间间隔字符串(例如,'5 seconds''1 minute')。 根据处理时间定期运行微分查询。
once bool,可选 如果 True只处理一批数据,则终止查询。 在Databricks Runtime 11.3 LTS及以上版本中已被弃用。 改用 availableNow=True。
continuous str,可选 Azure Databricks 不支持。 该参数使Apache Spark的实验性连续处理模式得以实现,该模式不同于连续流水线模式。 使用实时模式进行低延迟的结构化流式查询。
availableNow bool,可选 如果 True处理多个批处理中的所有可用数据,则终止查询。
realTime str,可选 批处理持续时间字符串(例如 '5 minutes', )。 在长期运行批次中记录到达时处理。 该值控制批处理时长,而非记录处理延迟。 请参阅 结构化流式处理中的实时模式。

退货

DataStreamWriter

示例

df = spark.readStream.format("rate").load()

每 5 秒触发执行一次:

df.writeStream.trigger(processingTime='5 seconds')
# <...streaming.readwriter.DataStreamWriter object ...>

处理多个批处理中的所有可用数据:

df.writeStream.trigger(availableNow=True)
# <...streaming.readwriter.DataStreamWriter object ...>

配置实时模式,每五分钟批次。 记录在每批到达时都会被处理。 使用支持的 源、汇和计算类型:

kafka_df = (spark.readStream
    .format("kafka")
    .option("kafka.bootstrap.servers", "<bootstrap-servers>")
    .option("subscribe", "<input-topic>")
    .load())
kafka_df.writeStream.trigger(realTime="5 minutes")
# <...streaming.readwriter.DataStreamWriter object ...>