为 Azure 数据资源管理器创建事件中心数据连接
在 Azure 数据资源管理器中,可以从事件中心(一个大数据流式处理平台和事件引入服务)引入数据。 事件中心每秒可以准实时处理数百万个事件。
在本文中,你将连接到事件中心并将数据引入 Azure 数据资源管理器。 有关从事件中心引入数据的概述,请参阅 Azure 事件中心数据连接。
若要了解如何使用 Kusto SDK 创建连接,请参阅使用 SDK 创建事件中心数据连接。
有关基于以前的 SDK 版本的代码示例,请参阅存档的文章。
创建事件中心数据连接
在本部分,你将在事件中心与 Azure 数据资源管理器表之间建立连接。 只要建立了此连接,数据就会从事件中心传输到目标表。 如果将事件中心移动到了其他资源或订阅,则需要更新或重新创建连接。
先决条件
- Microsoft 帐户或 Microsoft Entra 用户标识。 无需 Azure 订阅。
- Azure 数据资源管理器群集和数据库。 创建群集和数据库。
- 必须在 Azure 数据资源管理器群集上配置流式引入。
获取数据
Source
在“获取数据”窗口中,“源”选项卡处于选中状态。
从可用列表中选择数据源。 在此示例中,你将从事件中心引入数据。
配置
选择目标数据库和表。 如果要将数据引入新表,请选择“+ 新建表”并输入表名称。
注意
表名称最多可包含 1024 个字符,包括空格、字母数字、连字符和下划线。 不支持特殊字符。
填写以下字段:
设置 字段说明 订阅 事件中心资源所在的订阅 ID。 事件中心命名空间 标识你的命名空间的名称。 事件中心 需要的事件中心 使用者组 你的事件内定义的使用者组 数据连接名称 标识你的数据连接的名称。 高级筛选器 压缩 事件中心消息有效负载的压缩类型。 事件系统属性 事件中心系统属性。 如果每个事件消息有多个记录,则系统属性将添加到第一个记录中。 添加系统属性时,创建或更新表架构和映射以包括所选属性。 事件检索开始日期 数据连接将检索在“事件检索开始日期”之后创建的事件中心事件。 只能检索按照事件中心保留期保留的事件。 如果未指定“事件检索开始日期”,则默认时间是创建数据连接的时间。 选择“下一步”
检查
此时会打开“检查”选项卡,其中包含数据的预览。
要完成引入过程,请选择“完成”。
可选:
如果预览窗口中显示的数据不完整,可能需要更多数据来创建包含所有必要数据字段的表。 使用以下命令从事件中心提取新数据:
“丢弃显示的数据并提取新数据”:丢弃显示的数据并搜索新事件。
提取更多数据:除已找到的事件外,还搜索更多事件。
注意
若要查看数据的预览,事件中心必须正在发送事件。
选择“命令查看器”以查看和复制基于输入生成的自动命令。
使用“架构定义文件”下拉列表更改从中推断架构的文件。
通过从下拉列表中选择所需格式来更改自动推断的数据格式。 请参阅 Azure 数据资源管理器支持的用于引入的数据格式。
编辑列。
浏览基于数据类型的高级选项。
编辑列
注意
- 对于表格格式(CSV、TSV、PSV),无法将列映射两次。 若要映射到现有列,请先删除新列。
- 不能更改已有列类型。 如果尝试映射到其他格式的列,结果可能出现空列。
以下参数决定了你可在表中进行的更改:
- 表类型为“新”或“现有”
- 映射类型为“新”或“现有”
表类型 | 映射类型 | 可用调整 |
---|---|---|
新建表 | 新映射 | 重命名列、更改数据类型、更改数据源、映射转换、添加列、删除列 |
现有表 | 新映射 | 新建列(随后可在其上更改数据类型、进行重命名和更新) |
现有表 | 现有映射 | 无 |
映射转换
某些数据格式映射(Parquet、JSON 和 Avro)支持简单的引入时间转换。 若要应用映射转换,请在“编辑列”窗口中创建或更新列。
可对具有 string 或 datetime 类型且源的数据类型为 int 或 long 的列执行映射转换。 支持的映射转换为:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
基于数据类型的高级选项
表格(CSV、TSV、PSV):
如果要在现有表中引入表格格式,则可以选择“高级”>“保留当前表架构”。 表格数据不一定要包括用于将源数据映射到现有列的列名称。 选中此选项后,映射将按顺序完成,表架构保持不变。 如果未选中此选项,无论数据结构如何,都为传入的数据创建新列。
要将第一行用作列名,请选择“高级”>“首行是列标题”。
JSON:
要确定 JSON 数据的列划分,请选择“高级”>“嵌套级别”,从 1 到 100。
如果选择“高级”>“忽略数据格式错误”,则以 JSON 格式引入数据。 如果未选中此复选框,则以 multijson 格式引入数据。
总结
如果数据引入成功完成,则“数据准备”窗口中的所有三个步骤都会带有绿色的对勾标记。 可以查看用于每个步骤的命令,或选择要查询、可视化或删除引入数据的卡片。
删除事件中心数据连接
相关内容
- 检查与事件中心示例消息应用的连接
- 在 Web UI 中查询数据