Azure HDInsight 的默认和推荐节点配置是什么?
本文介绍 Azure HDInsight 群集的默认和推荐节点配置。
群集的默认和最小推荐节点配置以及虚拟机大小
下表列出了 HDInsight 群集的默认和推荐虚拟机 (VM) 大小。 在创建 PowerShell 或 Azure CLI 脚本以部署 HDInsight 群集时,要了解要使用的 VM 大小,此信息必不可少。
如果需要群集中有 32 个以上辅助节点,头节点大小应选择至少具有 8 个核心和 14 GB RAM。
只有启用了“加速写入功能”的 Kafka 和 HBase 群集才是具有数据磁盘的群集类型。 在这些方案中,HDInsight 支持 P30 和 S30 磁盘大小。 对于所有其他群集类型,HDInsight 向其提供托管磁盘空间。 从 2019 年 11 月 7 日起,新创建的群集中每个节点的托管磁盘大小均为 128 GB。 此项不能更改。
下表中总结了本文档中使用的所有最小推荐 VM 类型的规范。
大小 | vCPU | 内存:GiB | 临时存储 (SSD) GiB | 最大临时存储吞吐量:IOPS/读取 MBps/写入 MBps | 最大的数据磁盘/吞吐量:IOPS | 最大 NIC 数/预期网络带宽 (MBps) |
---|---|---|---|---|---|---|
Standard_D3_v2 | 4 | 14 | 200 | 12000/187/93 | 16/16x500 | 4 / 3000 |
Standard_D4_v2 | 8 | 28 | 400 | 24000/375/187 | 32/32x500 | 8 / 6000 |
Standard_D5_v2 | 16 | 56 | 800 | 48000/750/375 | 64/64x500 | 8 / 12000 |
Standard_D12_v2 | 4 | 28 | 200 | 12000/187/93 | 16/16x500 | 4 / 3000 |
Standard_D13_v2 | 8 | 56 | 400 | 24000/375/187 | 32/32x500 | 8 / 6000 |
Standard_D14_v2 | 16 | 112 | 800 | 48000/750/375 | 64/64x500 | 8 / 12000 |
Standard_A1_v2 | 1 | 2 | 10 | 1000/20/10 | 2/2x500 | 2 / 250 |
Standard_A2_v2 | 2 | 4 | 20 | 2000/40/20 | 4/4x500 | 2 / 500 |
Standard_A4_v2 | 4 | 8 | 40 | 4000/80/40 | 8/8x500 | 4 / 1000 |
有关每个 VM 类型规范的详细信息,请参阅以下文档:
所有受支持的区域
注意
若要获取用于 Powershell 和其他脚本的 SKU 标识符,请在下表中将 Standard_
添加到所有 VM SKU 的开头。 例如,D12_v2
将变为 Standard_D12_v2
。
群集类型 | Hadoop | HBase | 交互式查询 | Spark | Kafka |
---|---|---|---|---|---|
头:默认 VM 大小 | E4_v3 | E4_v3 | D13_v2 | E8_v3, D13_v2* |
E4_v3 |
头:建议的最小 VM 大小 | D5_v2 | D3_v2 | D13_v2 | D12_v2, D13_v2* |
D3_v2 |
辅助角色:默认 VM 大小 | E8_v3 | E4_v3 | D14_v2 | E8_v3 | 4 个 E4_v3,每个代理 2 个 S30 磁盘 |
辅助角色:建议的最小 VM 大小 | D5_v2 | D3_v2 | D13_v2 | D12_v2 | D3_v2 |
Zookeeper:默认 VM 大小 | A4_v2 | A4_v2 | A4_v2 | ||
ZooKeeper:建议的最小 VM 大小 | A4_v2 | A4_v2 | A4_v2 |
* = Spark 企业安全性套餐 (ESP) 群集的 VM 大小
注意
- 对于 HBase 群集类型,辅助角色称为“区域”。