并行化 Hyperopt 超参数优化

注意

不再维护 Hyperopt 的开源版本。

Hyperopt 将在下一个主要 DBR ML 版本中被删除。 Azure Databricks 建议使用 Optuna,以便获得类似的体验,并访问最新的超参数优化算法。

此笔记本展示如何使用 Hyperopt 并行优化超参数计算。 它使用 SparkTrials 类在群集辅助角色之间自动分配计算。 它还说明了 Hyperopt 运行的自动化 MLflow 跟踪,以便可以保存结果供以后使用。

使用自动化 MLflow 跟踪笔记本并行优化超参数

获取笔记本

在笔记本的最后一个单元格中执行操作后,MLflow UI 应显示:

Hyperopt MLflow 演示