在 Azure HDInsight 中管理磁盘空间

  • 项目

本文介绍在与 Azure HDInsight 群集交互时出现的问题的故障排除步骤和可能的解决方法。

Hive 日志配置

  1. 在 Web 浏览器中导航到 https://CLUSTERNAME.azurehdinsight.cn，其中的 CLUSTERNAME 是群集的名称。

  2. 依次转到“Hive”>“配置”>“高级”>“高级 hive-log4j”。 检查以下设置：

    • hive.root.logger=DEBUG,RFA。 这是默认值，将日志级别修改为 INFO 可输出较少的日志条目。

    • log4jhive.log.maxfilesize=1024MB。 此为默认值，可以根据需要修改。

    • log4jhive.log.maxbackupindex=10。 此为默认值，可以根据需要修改。 如果省略了参数，则生成的日志文件将是无穷无尽的。

Yarn 日志配置

检查以下配置：

  • Apache Ambari

    1. 在 Web 浏览器中，导航到 https://CLUSTERNAME.azurehdinsight.cn，其中 CLUSTERNAME 是群集的名称。

    2. 依次转到“Hive”>“配置”>“高级”>“资源管理器”。 请务必选中“启用日志聚合”。 如果禁用，则名称节点在本地保存日志，而不会在应用程序完成或终止时将它们聚合到远程存储中。

  • 确保群集大小适合工作负荷。 工作负载可能最近发生了变化，或者群集可能已经调整了大小。 纵向扩展群集来匹配更高的工作负载。

  • /mnt/resource 可能由孤立文件填充（资源管理器重启就是如此）。 如有必要，请手动清理 /mnt/resource/hadoop/yarn/log 和 /mnt/resource/hadoop/yarn/local。

后续步骤

如果你的问题未在本文中列出，或者无法解决问题，请访问以下渠道之一获取更多支持：

  • 如果需要更多帮助，可以从 Azure 门户提交支持请求。