通过

table_changes 表值函数

  • 项目

适用于：勾选“是” Databricks SQL 勾选“是” Databricks Runtime

返回已启用更改数据馈送的 Delta Lake 表的更改日志。

若要调用此函数，至少需要具备以下条件之一：

  • 指定表的 SELECT 权限
  • 成为表的所有者
  • 拥有管理权限

语法

table_changes ( table_str, start [, end ] )

参数

  • table_str：一个字符串字面量，表示表的可选限定名称。
  • start：BIGINT 或时间戳文本，表示要返回的更改的第一个版本或时间戳。
  • end：可选 BIGINT 或时间戳文本，表示要返回的更改的最新版本或时间戳。 如果未指定，则返回从 start 到当前更改的所有更改。

返回

包含 table_str 中标识的表的所有列，以及以下列：

  • _change_type STRING NOT NULL

    指定更改：delete、insert、update_preimage 或 update_postimage

  • _commit_version BIGINT NOT NULL

    指定与更改关联的表的提交版本。

  • _commit_timestamp TIMESTAMP NOT NULL

    指定与更改关联的提交时间戳。

如果 table_str 不表示限定的表名，则该名称是使用 current_schema 值进行限定的。 如果表名包含空格或点，则在字符串中使用反引号将名称的该部分引起来。

示例

-- Create a Delta table with Change Data Feed;
> CREATE TABLE myschema.t(c1 INT, c2 STRING) TBLPROPERTIES(delta.enableChangeDataFeed=true);

-- Modify the table
> INSERT INTO myschema.t VALUES (1, 'Hello'), (2, 'World');
> INSERT INTO myschema.t VALUES (3, '!');
> UPDATE myschema.t SET c2 = upper(c2) WHERE c1 < 3;
> DELETE FROM myschema.t WHERE c1 = 3;

-- Show the history of table change events
> DESCRIBE HISTORY myschema.t;
 version timestamp                    userId           userName      operation    operationParameters                                            ...
       4 2022-09-01T18:32:35.000+0000 6167625779053302 alf@melmak.et DELETE       {"predicate":"[\"(spark_catalog.myschema.t.c1 = 3)\"]"}
       3 2022-09-01T18:32:32.000+0000 6167625779053302 alf@melmak.et UPDATE       {"predicate":"(c1#3195878 < 3)"}
       2 2022-09-01T18:32:28.000+0000 6167625779053302 alf@melmak.et WRITE        {"mode":"Append","partitionBy":"[]"}
       1 2022-09-01T18:32:26.000+0000 6167625779053302 alf@melmak.et WRITE        {"mode":"Append","partitionBy":"[]"}
       0 2022-09-01T18:32:23.000+0000 6167625779053302 alf@melmak.et CREATE TABLE {"isManaged":"true","description":null,"partitionBy":"[]","properties":"{\"delta.enableChangeDataFeed\":\"true\"}"}

-- Show the change table feed using a the commit timestamp retrieved from the history.
> SELECT * FROM table_changes('`myschema`.`t`', 2);
 c1 c2     _change_type    _commit_version _commit_timestamp
  3 !      insert                        2 2022-09-01T18:32:28.000+0000
  2 WORLD  update_postimage              3 2022-09-01T18:32:32.000+0000
  2 World  update_preimage               3 2022-09-01T18:32:32.000+0000
  1 Hello  update_preimage               3 2022-09-01T18:32:32.000+0000
  1 HELLO  update_postimage              3 2022-09-01T18:32:32.000+0000
  3 !      delete                        4 2022-09-01T18:32:35.000+0000

-- Show the ame change table feed using a point in time.
> SELECT * FROM table_changes('`myschema`.`t`', '2022-09-01T18:32:27.000+0000') ORDER BY _commit_version;
 c1 c2     _change_type    _commit_version _commit_timestamp
  3 !      insert                        2 2022-09-01T18:32:28.000+0000
  2 WORLD  update_postimage              3 2022-09-01T18:32:32.000+0000
  2 World  update_preimage               3 2022-09-01T18:32:32.000+0000
  1 Hello  update_preimage               3 2022-09-01T18:32:32.000+0000
  1 HELLO  update_postimage              3 2022-09-01T18:32:32.000+0000
  3 !      delete                        4 2022-09-01T18:32:35.000+0000