映射数据流转换概述

适用于: Azure 数据工厂 Azure Synapse Analytics

提示

试用 Microsoft Fabric 中的数据工厂,这是一种适用于企业的一站式分析解决方案。 Microsoft Fabric 涵盖从数据移动到数据科学、实时分析、商业智能和报告的所有内容。 了解如何免费开始新的试用

数据流在 Azure 数据工厂和 Azure Synapse 管道中均可用。 本文适用于映射数据流。 如果不熟悉转换,请参阅介绍性文章使用映射数据流转换数据

下面是映射数据流中当前受支持的转换的列表。 你可以单击每个转换,了解其配置详细信息。

名称 类别 说明
聚合 架构修饰符 定义不同类型的聚合,如 SUM、MIN、MAX 和 COUNT,并按现有或计算列进行分组。
更改行 行修饰符 对行设置插入、删除、更新和更新插入策略。
Assert 行修饰符 为每一行设置断言规则。
强制转换 架构修饰符 使用类型检查更改列数据类型。
有条件拆分 多个输入/输出 根据匹配条件将数据行路由到不同的流。
派生列 架构修饰符 使用数据流表达式语言生成新列或修改现有字段。
外部调用 架构修饰符 逐行内联调用外部终结点。
Exists 多个输入/输出 检查数据是否存在于另一个源或流中。
Filter 行修饰符 基于条件筛选行。
平展 格式化程序 获取层次结构(如 JSON)中的数组值,并将其展开到各个行。
Flowlet Flowlet 生成并包括自定义可重复使用的转换逻辑。
Join 多个输入/输出 合并两个源或流中的数据。
查找 多个输入/输出 引用来自其他源的数据。
新建分支 多个输入/输出 对同一数据流应用多组操作和转换。
Parse 格式化程序 分析数据流中的文本列(是 JSON 字符串、带分隔符的文本或 XML 格式文本)。
透视表 架构修饰符 一种聚合,其中一个或多个分组列将其不同的行值转换到各个列中。
Rank 架构修饰符 根据排序条件生成已排序的排名
Select 架构修饰符 别名列和流名称,以及删除或重新排序列
接收器 - 数据的最终目标
Sort 行修饰符 对当前数据流中的传入行进行排序
Source - 数据流的数据源
字符串化 格式化程序 将复杂类型转换为纯字符串
代理键 架构修饰符 添加增量非业务任意密钥值
联合 多个输入/输出 垂直合并多个数据流
逆透视 架构修饰符 将列透视为行值
窗口 架构修饰符 定义数据流中基于窗口的列聚合。