Databricks Runtime 4.1 ML（不受支持）

  • 项目

Databricks Runtime 4.1 ML 为机器学习和数据科学提供随时可用的环境。 它包含多个热门库，其中包括 TensorFlow、Keras 和 XGBoost。 它还支持使用 Horovod 进行分布式 TensorFlow 训练。

注意

此版本已于 2019 年 1 月 17 日弃用。 建议使用较新的 Databricks Runtime ML 版本，这取决于你要使用的库版本。

有关详细信息，包括有关如何创建 Databricks Runtime ML 群集的说明，请参阅 Databricks 上的 AI 和机器学习。

注意

Databricks Runtime ML 版本会获取基础 Databricks Runtime 版本的所有维护更新。 有关所有维护更新的列表，请参阅《Databricks 运行时维护更新（已存档）。

库

Databricks Runtime 4.1 ML 是基于 Databricks Runtime 4.1 构建的。 有关 Databricks Runtime 4.1 中新增功能的信息，请参阅 Databricks Runtime 4.1（不受支持）发行说明。 除了 Databricks Runtime 4.1 中的新功能，Databricks Runtime 4.1 ML 还包括以下库来支持机器学习。 其中一些功能也包含在基础 Databricks Runtime 4.1 中，并同样进行了说明。

类别 库
分布式深度学习 使用 Horovod 和 Spark 进行分布式训练：

* HorovodEstimator
* horovod 0.12.1
* openmpi 3.0.0
* paramiko 2.4.1
* cloudpickle 0.5.2

分布式 TensorFlow 和 Keras 预测：

* spark-deep-learning 1.0 pre-release
* tensorframes 0.3.0
深度学习 [Keras]:

* keras 2.1.5
* h5py 2.7.1

TensorFlow：

* (CPU clusters) tensorflow 1.7.1
* (GPU clusters) tensorflow-gpu 1.7.1

GPU 库：

* CUDA 9.0（也安装在基础 Databricks Runtime 中）
* cuDNN 7.0（也安装在基础 Databricks Runtime 中）
* NCCL 2.0.5-3
XGBoost * XGBoost4j 0.8-spark2.3-s_2.11
其他机器学习库 * Numpy 1.14.2（也包括在基础 Databricks Runtime 中；版本可能不同）
* Scikit-learn 0.18.1（也已在基本 Databricks Runtime 中安装）
* scipy（也安装在基础 Databricks Runtime 中）