将数据从容器或 ADLS 中引入 Azure 数据资源管理器

• 05/11/2021
• • o
  • a

借助一键式引入，可将 JSON、CSV 和其他格式的数据快速引入表中并轻松创建映射结构。 数据可以从存储、本地文件或容器引入，可以是一次性引入过程，也可以是持续引入过程。

本文档介绍如何使用直观的一键式向导将容器中的 CSV 数据引入新表 。 可采用一次性操作方式引入数据，也可以采用连续方式，连续方式即设置事件网格引入管道来响应源容器中的新文件并将符合条件的数据引入表中。 这个过程可稍作调整以适用于各种不同的用例。

有关一键式引入的概述，请参阅一键式引入。 若要了解如何将数据引入 Azure 数据资源管理器中的现有表，请参阅一键式引入到现有表中

先决条件

• Azure 订阅。 创建 Azure 帐户。
• 一个群集和数据库。
• 一个存储帐户。
  • 可以在 BlobStorage、StorageV2 或 Data Lake Storage Gen2 的 Azure 存储帐户上设置事件网格通知订阅。

引入新数据

1. 在 Web UI 的左侧菜单中，右键单击“数据库”并选择“引入新数据”。

   

2. 在“引入新数据”窗口中，“源”选项卡处于选中状态 。 系统会自动填充“群集”和“数据库”字段。

   1. 若要向群集添加新连接，可选择自动填充的群集名称下面的“添加群集连接”。

      

   2. 在弹出窗口中，输入要连接的群集的“连接 URI”。

   3. 输入要用于标识此群集的“显示名称”，然后选择“添加”。

      

3. 选择“表” > “新建”并输入新表的名称。 可以使用字母数字字符、连字符和下划线。 不支持特殊字符。

   备注

   表名称必须介于 1 到 1024 个字符之间。

   

选择引入类型

在“源类型”下，执行以下步骤：

1. 选择“从 blob 容器”（Blob 容器、ADLS Gen1 容器、ADLS Gen2 容器）。 最多可以从一个容器中引入 1000 个 blob。
2. 在“链接到存储”字段中，添加容器的 SAS URL，并选择性地输入样本大小。 若要从此容器中的文件夹进行引入，请参阅从容器中的文件夹引入。

从容器中的文件夹引入

若要从某个容器内的特定文件夹引入，请生成下列格式的字符串：

container_path/folder_path;access_key_1

你将在选择引入类型中使用此字符串，而不是 SAS URL。

1. 导航到存储帐户，然后选择“存储资源管理器”>“选择 Blob 容器”

   

2. 浏览到所选文件夹，然后选择“复制 URL”。 将该值粘贴到临时文件中，再将 ; 添加到此字符串的末尾。

   

3. 在左侧菜单的“设置”下，选择“访问密钥” 。

   

4. 在“密钥 1”下，复制密钥字符串 。 将该值粘贴到步骤 2 中字符串的末尾。

存储订阅错误

如果在从存储帐户引入时收到以下错误消息：

在所选订阅下找不到存储。 请在门户中将存储帐户 storage_account_name 订阅添加到你选择的订阅中。

1. 在右上方的菜单栏中选择 图标。 这会打开“目录 + 订阅”窗格。

2. 在“所有订阅”下拉列表中，将你的存储帐户的订阅添加到所选列表中。

   

示例数据

此时会显示数据样本。 如果需要，请筛选数据，仅引入以特定字符开头或结尾的文件。 调整筛选器时，预览会自动更新。

例如，筛选以 .csv 扩展名开头的所有文件。

系统将随机选择一个文件，并且将根据架构定义文件生成架构。 你可选择不同的文件。

编辑架构

选择“编辑架构”以查看并编辑表列配置。 服务会通过检查源的名称自动确定该源是否已压缩。

在“架构”选项卡中：

1. 选择“数据格式”：

   在这种情况下，数据格式为 CSV

   提示

   如果要使用 JSON 文件，请参阅使用一键式引入将 JSON 数据从本地文件引入到 Azure 数据资源管理器中的现有表。

2. 可以选中“包括列名”复选框，以忽略文件的标题行。

   

在“映射名称”字段中输入映射名称。 可以使用字母数字字符和下划线。 不支持空格、特殊字符和连字符。

编辑表

引入到新表后，在创建表时可以更改表的各个方面。

以下参数决定了你可在表中进行的更改：

• 表类型为“新”或“现有”
• 映射类型为“新”或“现有”

命令编辑器

在“编辑器”窗格上方选择“v”按钮，打开编辑器。 在编辑器中，可以查看和复制基于输入生成的自动命令。

开始引入

选择“开始引入”，在创建表和映射后开始引入数据。

完成数据引入

如果数据引入成功完成，则“数据引入已完成”窗口中的所有三个步骤都会带有绿色的对勾标记。

探索快速查询和工具

在引入进度下方的磁贴中，探索“快速查询”或“工具” ：

• “快速查询”包含指向 Web UI（其中包含示例查询）的链接。

• “工具”包含一个指向 Web UI 上的“撤消”或“删除新数据”的链接，因此，你可以通过运行相关的 .drop 命令来排查问题 。

  备注

  使用 .drop 命令时，可能会丢失数据。 请谨慎使用。 Drop 命令只会还原此引入流所做的更改（新建范围和列）， 而不会删除任何其他内容。

创建连续引入

通过持续引入，可创建一个事件网格，它会在源容器中侦听新文件。 任何满足预定义参数（前缀、后缀等）条件的新文件都会自动引入到目标表中。

1. 在“连续引入”磁贴中选择“事件网格”，以打开 Azure 门户 。 此时会打开数据连接页，其中打开了事件网格数据连接器，并已输入了源和目标参数（源容器、表和映射）。

   

2. 选择“创建”，以创建用于侦听该容器中发生的任何更改、更新或新数据的数据连接。

   

后续步骤

• 在 Azure 数据资源管理器 Web UI 中查询数据
• 使用 Kusto 查询语言编写 Azure 数据资源管理器的查询