HDInsight 群集管理最佳做法
了解管理 HDInsight 群集的最佳做法。
如何创建 HDInsight 群集?
选项 | 文档 |
---|---|
Azure 数据工厂 | 使用 Azure 数据工厂在 HDInsight 中创建按需 Apache Hadoop 群集 |
自定义资源管理器模板 | 使用资源管理器模板在 HDInsight 中创建 Apache Hadoop 群集 |
快速入门模板 | HDInsight 快速入门模板 |
Azure 示例 | HDInsight Azure 示例 |
Azure 门户 | 使用 Azure 门户在 HDInsight 中创建基于 Linux 的群集 |
Azure CLI | 使用 Azure CLI 创建 HDInsight 群集 |
Azure PowerShell | 使用 Azure PowerShell 在 HDInsight 中创建基于 Linux 的群集 |
cURL | 使用 Azure REST API 创建 Apache Hadoop 群集 |
SDK(.NET、Python、Java) | .NET、Python、Java、Go |
注意
如果要创建群集,并重新使用以前创建的群集的群集名称,请等待此前的群集删除操作完成,然后再创建群集。
如何自定义 HDInsight 群集?
选项 | 文档 |
---|---|
脚本操作 | 使用脚本操作自定义 Azure HDInsight 群集 |
Bootstrap | 使用 Bootstrap 自定义 HDInsight 群集 |
外部元存储 | 在 Azure HDInsight 中使用外部元数据存储 |
自定义 Ambari DB | 使用自定义 Ambari 数据库设置 HDInsight 群集 |
创建群集时,我可能会遇到什么错误?
错误 | 详细信息 |
---|---|
没有配额 | 可在每个区域的订阅上创建的内核数是有配额的。 有关详细信息,请参阅容量规划:配额。 |
没有更多的可用 IP 地址 | 每个 VNet 都有有限数量的 IP 地址。 创建 HDInsight 群集时,每个节点(包括 zookeeper 和网关节点)将使用其中一些分配的 IP 地址。 如果所有 IP 地址都在使用中,则会遇到此错误。 |
网络安全组 (NSG) 规则不允许与 HDInsight 资源提供程序通信 | 如果使用 NSG 或用户定义的路由 (UDR) 来控制流向 HDInsight 群集的入站流量,则必须确保群集能够与关键的 Azure 运行状况和管理服务通信。 有关详细信息,请参阅 Azure HDInsight 的网络安全组 (NSG) 服务标记 |
重新使用群集名称 | 使用之前已用过的群集名称时,需要等待 X 分钟,然后再重新创建群集。 否则会看到一条消息,指出该资源已存在。 |
如何管理正在运行的 HDInsight 群集?
选项 | 文档 |
---|---|
自动缩放 | 自动缩放 Azure HDInsight 群集 |
手动缩放 | 缩放 Azure HDInsight 群集 |
使用 Ambari 进行监视 | 在 Azure HDInsight 中监视群集性能 |
服务问题、计划内维护、运行状况和安全公告 | 订阅特定于订阅的服务运行状况警报 |
如何检查已删除的 HDInsight 群集?
Azure Monitor 日志
可以使用以下查询和 Azure Monitor 日志来监视已删除的群集。
AzureActivity
| where ResourceProvider == "Microsoft.HDInsight" and (OperationName == "Create or Update Cluster" or OperationName == "Delete Cluster") and ActivityStatus == "Succeeded"