最新 HDInsight 版本中的 Conda 版本回归
问题发布日期:2023 年 10 月 13 日
在最新的 Azure HDInsight 版本中,conda 版本错误地降级到了 4.2.9。 此回归已在即将发布的版本中修复,但目前可能会影响 Spark 作业执行并导致脚本操作失败。 Conda 4.3.30 是 5.0 和 5.1 群集的所需版本,因此请按照以下步骤来缓解问题。
重要
此问题会影响映像版本 5.1.3000.0.2308052231 的群集。 了解如何查看 HDInsight 群集的映像版本。
建议的步骤
使用安全外壳 (SSH) 连接到群集中的任何虚拟机 (VM)。
切换到根用户:
sudo su
。检查 conda 版本:
/usr/bin/anaconda/bin/conda info
。如果版本为 4.2.9,请在所有节点运行以下脚本操作,从而将群集升级到 Conda 版本 4.3.30:
https://hdiconfigactions2.blob.core.chinacloudapi.cn/hdi-sre-workspace/conda_update_4_3_30_patch.sh