通过 Azure 门户创建使用 Data Lake Storage Gen2 的群集

Azure 门户是一种基于 Web 的管理工具,用于管理 Azure 云中托管的服务和资源。 本文介绍如何使用门户创建基于 Linux 的 Azure HDInsight 群集。 创建 HDInsight 群集一文提供了其他详细信息。

警告

HDInsight 群集是基于分钟按比例计费,而不管用户是否使用它们。 请务必在使用完群集之后将其删除。 请参阅如何删除 HDInsight 群集

如果没有 Azure 订阅,可在开始前创建一个试用帐户

若要创建将 Data Lake Storage Gen2 用作存储的 HDInsight 群集,请按照以下步骤操作,配置具有分层命名空间的存储帐户。

创建用户分配的托管标识

创建用户分配的托管标识(如果还没有)。

  1. 登录 Azure 门户
  2. 在左上角,单击“创建资源”。
  3. 在搜索框中键入“用户分配”并单击“用户分配的托管标识”。
  4. 单击创建
  5. 输入托管标识的名称,选择正确的订阅、资源组和位置。
  6. 单击创建

有关 Azure HDInsight 中托管标识的工作原理的详细信息,请参阅 Azure HDInsight 中的托管标识

创建用户分配的托管标识

创建与 Data Lake Storage Gen2 配合使用的存储帐户

创建与 Azure Data Lake Storage Gen2 配合使用的存储帐户。

  1. 登录到 Azure 门户
  2. 在左上角,单击“创建资源”。
  3. 在搜索框中,键入“存储”,然后单击“存储帐户” 。
  4. 单击“创建”。
  5. 在“创建存储帐户”屏幕上:
    1. 选择正确的订阅和资源组。
    2. 为要与 Data Lake Storage Gen2 配合使用的存储帐户输入名称。
    3. 单击“高级”选项卡。
    4. 单击 Data Lake Storage Gen2 下的“分层命名空间”旁边的“启用”。
    5. 单击“查看 + 创建”。
    6. 单击“创建”

有关存储帐户创建过程中其他选项的详细信息,请参阅快速入门:为 Azure Data Lake Storage Gen2 创建存储帐户

显示 Azure 门户中存储帐户创建情况的屏幕截图

在 Data Lake Storage Gen2 上设置托管标识的权限

将托管标识分配到存储帐户上的“存储 Blob 数据所有者”角色。

  1. Azure 门户中转到自己的存储帐户。

  2. 选择“访问控制 (IAM)”。

  3. 选择“添加”>“添加角色分配”。

    显示访问控制 (IAM) 页面的屏幕截图,其中打开了“添加角色分配”菜单。

  4. 在“角色”选项卡上,选择“存储 Blob 数据所有者”。

    显示“添加角色分配”页面的屏幕截图,其中选择了“角色”选项卡。

  5. 在“成员”选项卡上,选择“托管标识”,然后选择“选择成员”。

  6. 选择你的订阅,选择“用户分配的托管标识”,然后选择你的用户分配的托管标识。

  7. 在“查看 + 分配”选项卡上,选择“查看 + 分配”,以分配角色 。

    现在,选定的用户分配的标识会列在选定的角色下。

    若要详细了解角色分配,请参阅使用 Azure 门户分配 Azure 角色

  8. 此初始设置完成后,可通过门户创建群集。 群集必须与存储帐户位于同一 Azure 区域中。 在群集创建菜单的“存储”选项卡中,选择以下选项:

    • 对于“主要存储类型”,请选择“Azure Data Lake Storage Gen2” 。

    • 在“主存储帐户”下,搜索并选择新建的 Data Lake Storage Gen2 存储的存储帐户。

    • 在“标识”下,选择新建的用户分配的托管标识。

      用于配合使用 Data Lake Storage Gen2 和 Azure HDInsight 的存储设置

    注意

    • 若要在存储帐户级别向 Data Lake Storage Gen2 添加辅助存储帐户,只需将先前创建的托管标识分配给要添加的新 Data Lake Storage Gen2 即可。 请注意,不支持通过 HDInsight 上的“其他存储帐户”边栏选项卡向 Data Lake Storage Gen2 添加辅助存储帐户。
    • 可以在 HDInsight 使用的 Azure Blob 存储帐户上启用 RA-GRS 或 RA-ZRS。 但是,不支持针对 RA-GRS 或 RA-ZRS 辅助终结点创建群集。
    • HDInsight 不支持将 Data Lake Storage Gen2 设置为“读取访问异地区域冗余存储(RA-GZRS)”或“异地区域冗余存储(GZRS)”。

删除群集

请参阅使用浏览器、PowerShell 或 Azure CLI 删除 HDInsight 群集

故障排除

如果在创建 HDInsight 群集时遇到问题,请参阅访问控制要求

后续步骤

你已成功创建 HDInsight 群集。 现在可以了解如何使用群集了。

Apache Spark 群集

Apache Hadoop 群集

Apache HBase 群集