使用create_streaming_table()
函数为流式操作的输出记录创建目标表,这些操作包括create_auto_cdc_flow()、create_auto_cdc_from_snapshot_flow()和@append_flow输出记录。
注释
create_target_table()
和 create_streaming_live_table()
函数已弃用。 Databricks 建议更新现有代码以使用 create_streaming_table()
函数。
语法
import dlt
dlt.create_streaming_table(
name = "<table-name>",
comment = "<comment>",
spark_conf={"<key>" : "<value", "<key" : "<value>"},
table_properties={"<key>" : "<value>", "<key>" : "<value>"},
path="<storage-location-path>",
partition_cols=["<partition-column>", "<partition-column>"],
cluster_by_auto = True,
cluster_by = ["<clustering-column>", "<clustering-column>"],
schema="schema-definition",
expect_all = {"<key>" : "<value", "<key" : "<value>"},
expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
row_filter = "row-filter-clause"
)
参数
参数 | 类型 | DESCRIPTION |
---|---|---|
name |
str |
必填。 表名称。 |
comment |
str |
表的说明。 |
spark_conf |
dict |
用于执行此查询的 Spark 配置列表 |
table_properties |
dict |
表的dict 的 。 |
path |
str |
表数据的存储位置。 如果未设置,请使用包含表的架构的托管存储位置。 |
partition_cols |
list |
用于对表进行分区的一个或多个列的列表。 |
cluster_by_auto |
bool |
启用表格上的自动液体聚类功能。 这可以与 cluster_by 结合使用,定义要用作初始聚类键的列,然后根据工作负载进行监控,并自动更新键选择。 请参阅 自动液体聚类。 |
cluster_by |
list |
对表启用动态聚类,并定义要用作聚类键的列。 请参阅 对表使用液体聚类分析。 |
schema |
str 或 StructType |
表的架构定义。 架构可以定义为 SQL DDL 字符串,或使用 Python StructType 定义。 |
expect_all 、expect_all_or_drop 、expect_all_or_fail |
dict |
数据表的质量约束。 提供相同的行为并使用与预期修饰器函数相同的语法,但作为参数实现。 请参阅 期望值。 |
row_filter |
str |
(公共预览版)表的行筛选器子句。 请参阅发布具有行筛选器和列掩码的表。 |