设置包含自定义 Ambari DB 的 HDInsight 群集
Apache Ambari 简化了 Apache Hadoop 群集的管理和监视。 Ambari 提供易于使用的 Web UI 和 REST API。 Ambari 包括在 HDInsight 群集中,用于监视群集和进行配置更改。
在一般的群集创建过程中,如其他文章(例如在 HDInsight 中设置群集)中所述,Ambari 将部署在由 HDInsight 管理的、不可供用户访问的 S0 Azure SQL 数据库中。
使用自定义 Ambari DB 功能,可以在由你管理的外部数据库中部署新群集和设置 Ambari。 部署是使用 Azure 资源管理器模板完成的。 此功能提供以下优势:
- 自定义 - 可以选择数据库的大小和处理容量。 如果大型群集需要处理密集型工作负荷,规格较低的 Ambari 数据库可能会成为管理操作的瓶颈。
- 灵活性 - 可根据要求按需缩放数据库。
- 控制 - 可以根据组织的要求管理数据库的备份和安全性。
本文的余下内容将讨论以下几点:
- 使用自定义 Ambari DB 功能的要求
- 使用自己的外部数据库为 Apache Ambari 预配 HDInsight 群集所要执行的步骤
自定义 Ambari DB 的要求
可以使用所有群集类型和版本来部署自定义的 Ambari DB。 多个群集不能使用同一个 Ambari DB。
自定义 Ambari DB 具有以下附加要求:
- 数据库名称不能包含连字符或空格
- 必须有现有的 Azure SQL DB 服务器和数据库。
- 为 Ambari 设置提供的数据库必须是空的。 没有任何表采用默认的 dbo 架构。
- 用于连接到数据库的用户应具有对数据库的 SELECT、CREATE TABLE、INSERT、UPDATE、DELETE、ALTER ON SCHEMA 和 REFERENCES ON SCHEMA 权限。
GRANT CREATE TABLE TO newuser;
GRANT INSERT TO newuser;
GRANT SELECT TO newuser;
GRANT UPDATE TO newuser;
GRANT DELETE TO newuser;
GRANT ALTER ON SCHEMA::dbo TO newuser;
GRANT REFERENCES ON SCHEMA::dbo TO newuser;
- 在托管 Ambari 的服务器上启用“允许访问 Azure 服务”选项。
- 需要在防火墙规则中允许来自 HDInsight 服务的管理 IP 地址。 有关必须添加到服务器级别防火墙规则的 IP 地址列表,请参阅 HDInsight 管理 IP 地址。
在外部数据库中托管 Apache Ambari DB 时,请记住以下几点:
- 你需要负责支付用于保存 Ambari 的 Azure SQL DB 的额外费用。
- 定期备份自定义 Ambari DB。 Azure SQL 数据库会自动生成备份,但备份保留时间范围有所不同。 有关详细信息,请参阅了解 SQL 数据库自动备份。
- 在 HDInsight 群集达到“正在运行”状态后,请勿更改自定义 Ambari DB 密码。 不支持此操作。
部署包含自定义 Ambari DB 的群集
若要创建使用你自己的外部 Ambari 数据库的 HDInsight 群集,请使用自定义 Ambari DB 快速入门模板。
编辑 azuredeploy.parameters.json
中的参数,指定有关新群集以及用于保存 Ambari 的数据库的信息。
可以使用 Azure CLI 开始部署。 请将 <RESOURCEGROUPNAME>
替换为要在其中部署群集的资源组。
az deployment group create --name HDInsightAmbariDBDeployment \
--resource-group <RESOURCEGROUPNAME> \
--template-file azuredeploy.json \
--parameters azuredeploy.parameters.json
警告
请对 HDInsight 群集使用以下建议的 SQL DB 和头节点 VM。 请勿将默认的 Ambari DB (S0) 用于任何生产环境。
数据库和头节点调整大小
下表提供了有关基于 HDInsight 群集大小选择 Azure SQL DB 层的指南。
工作器节点数 | 必需的 DB 层 | 必需的头节点 VM |
---|---|---|
<=4 | S0 | 4 核/28 GB RAM 或更高配置 |
>4 && <=8 | S1 | 4 核/28 GB RAM 或更高配置 |
>8 && <=16 | S2 | 4 核/28 GB RAM 或更高配置 |
>16 && <=32 | S3 | 8 核/56 GB RAM 或更高配置 |
>32 && <=64 | S4 | 8 核/56 GB RAM 或更高配置 |
>64 && <=128 | P2 | 16 核/112 GB RAM 或更高配置 |
>128 | 联系支持人员 | 联系支持人员 |