映射数据流转换概述
适用于: Azure 数据工厂 Azure Synapse Analytics
提示
试用 Microsoft Fabric 中的数据工厂,这是一种适用于企业的一站式分析解决方案。 Microsoft Fabric 涵盖从数据移动到数据科学、实时分析、商业智能和报告的所有内容。 了解如何免费开始新的试用!
数据流在 Azure 数据工厂和 Azure Synapse 管道中均可用。 本文适用于映射数据流。 如果不熟悉转换,请参阅介绍性文章使用映射数据流转换数据。
下面是映射数据流中当前受支持的转换的列表。 你可以单击每个转换,了解其配置详细信息。
名称 | 类别 | 说明 |
---|---|---|
聚合 | 架构修饰符 | 定义不同类型的聚合,如 SUM、MIN、MAX 和 COUNT,并按现有或计算列进行分组。 |
更改行 | 行修饰符 | 对行设置插入、删除、更新和更新插入策略。 |
Assert | 行修饰符 | 为每一行设置断言规则。 |
强制转换 | 架构修饰符 | 使用类型检查更改列数据类型。 |
有条件拆分 | 多个输入/输出 | 根据匹配条件将数据行路由到不同的流。 |
派生列 | 架构修饰符 | 使用数据流表达式语言生成新列或修改现有字段。 |
外部调用 | 架构修饰符 | 逐行内联调用外部终结点。 |
Exists | 多个输入/输出 | 检查数据是否存在于另一个源或流中。 |
Filter | 行修饰符 | 基于条件筛选行。 |
平展 | 格式化程序 | 获取层次结构(如 JSON)中的数组值,并将其展开到各个行。 |
Flowlet | Flowlet | 生成并包括自定义可重复使用的转换逻辑。 |
Join | 多个输入/输出 | 合并两个源或流中的数据。 |
查找 | 多个输入/输出 | 引用来自其他源的数据。 |
新建分支 | 多个输入/输出 | 对同一数据流应用多组操作和转换。 |
Parse | 格式化程序 | 分析数据流中的文本列(是 JSON 字符串、带分隔符的文本或 XML 格式文本)。 |
透视表 | 架构修饰符 | 一种聚合,其中一个或多个分组列将其不同的行值转换到各个列中。 |
Rank | 架构修饰符 | 根据排序条件生成已排序的排名 |
Select | 架构修饰符 | 别名列和流名称,以及删除或重新排序列 |
接收器 | - | 数据的最终目标 |
Sort | 行修饰符 | 对当前数据流中的传入行进行排序 |
Source | - | 数据流的数据源 |
字符串化 | 格式化程序 | 将复杂类型转换为纯字符串 |
代理键 | 架构修饰符 | 添加增量非业务任意密钥值 |
联合 | 多个输入/输出 | 垂直合并多个数据流 |
逆透视 | 架构修饰符 | 将列透视为行值 |
窗口 | 架构修饰符 | 定义数据流中基于窗口的列聚合。 |