方案：Apache Spark 流式处理应用程序在 Azure HDInsight 中执行 24 天后停止

  • 项目

本文介绍在 Azure HDInsight 群集中使用 Apache Spark 组件时出现的问题的故障排除步骤和可能的解决方案。

问题

Apache Spark 流式处理应用程序在执行 24 天后停止，日志文件中没有错误。

原因

livy.server.session.timeout 值控制 Apache Livy 应等待会话完成的时间。 会话长度达到 session.timeout 值后，会自动终止 Livy 会话和应用程序。

解决方法

对于长时间运行的作业，请使用 Ambari UI 增加 livy.server.session.timeout 值。 可使用 URL https://<yourclustername>.azurehdinsight.cn/#/main/services/LIVY/configs 从 Ambari UI 访问 Livy 配置。

将 <yourclustername> 替换为门户中显示的 HDInsight 群集的名称。

后续步骤

如果你的问题未在本文中列出，或者无法解决问题，请访问以下渠道之一获取更多支持：

  • 如果需要更多帮助，可以从 Azure 门户提交支持请求。 从菜单栏中选择“支持” ，或打开“帮助 + 支持” 中心。