映射数据流转换概述

适用于:Azure 数据工厂 Azure Synapse Analytics

数据流在 Azure 数据工厂和 Azure Synapse 管道中均可用。 本文适用于映射数据流。 如果不熟悉转换,请参阅介绍性文章使用映射数据流转换数据

下面是映射数据流中当前受支持的转换的列表。 你可以单击每个转换,了解其配置详细信息。

名称 类别 说明
聚合 架构修饰符 定义不同类型的聚合,如 SUM、MIN、MAX 和 COUNT,并按现有或计算列进行分组。
更改行 行修饰符 对行设置插入、删除、更新和更新插入策略。
Assert 行修饰符 为每一行设置断言规则。
强制转换 架构修饰符 使用类型检查更改列数据类型。
有条件拆分 多个输入/输出 根据匹配条件将数据行路由到不同的流。
派生列 架构修饰符 使用数据流表达式语言生成新列或修改现有字段。
外部调用 架构修饰符 逐行内联调用外部终结点。
Exists 多个输入/输出 检查数据是否存在于另一个源或流中。
Filter 行修饰符 基于条件筛选行。
平展 格式化程序 获取层次结构(如 JSON)中的数组值,并将其展开到各个行。
Flowlet Flowlet 生成并包括自定义可重复使用的转换逻辑。
Join 多个输入/输出 合并两个源或流中的数据。
查找 多个输入/输出 引用来自其他源的数据。
新建分支 多个输入/输出 对同一数据流应用多组操作和转换。
Parse 格式化程序 分析数据流中的文本列(是 JSON 字符串、带分隔符的文本或 XML 格式文本)。
透视表 架构修饰符 一种聚合,其中一个或多个分组列将其不同的行值转换到各个列中。
Rank 架构修饰符 根据排序条件生成已排序的排名
Select 架构修饰符 别名列和流名称,以及删除或重新排序列
接收器 - 数据的最终目标
Sort 行修饰符 对当前数据流中的传入行进行排序
Source - 数据流的数据源
字符串化 格式化程序 将复杂类型转换为纯字符串
代理键 架构修饰符 添加增量非业务任意密钥值
联合 多个输入/输出 垂直合并多个数据流
逆透视 架构修饰符 将列透视为行值
窗口 架构修饰符 定义数据流中基于窗口的列聚合。