最新 HDInsight 版本中的 Conda 版本回归

问题发布日期:2023 年 10 月 13 日

在最新的 Azure HDInsight 版本中,conda 版本错误地降级到了 4.2.9。 此回归已在即将发布的版本中修复,但目前可能会影响 Spark 作业执行并导致脚本操作失败。 Conda 4.3.30 是 5.0 和 5.1 群集的所需版本,因此请按照以下步骤来缓解问题。

重要

此问题会影响映像版本 5.1.3000.0.2308052231 的群集。 了解如何查看 HDInsight 群集的映像版本

  1. 使用安全外壳 (SSH) 连接到群集中的任何虚拟机 (VM)。

  2. 切换到根用户:sudo su

  3. 检查 conda 版本:/usr/bin/anaconda/bin/conda info

  4. 如果版本为 4.2.9,请在所有节点运行以下脚本操作,从而将群集升级到 Conda 版本 4.3.30:

    https://hdiconfigactions2.blob.core.chinacloudapi.cn/hdi-sre-workspace/conda_update_4_3_30_patch.sh

资源