用于机器学习的 Databricks Runtime 15.1 (EoS)

用于机器学习的 Databricks Runtime 15.1 基于 Databricks Runtime 15.1 (EoS) 为机器学习和数据科学提供随时可用的环境。 Databricks Runtime ML 包含许多常用的机器学习库，包括 TensorFlow、PyTorch 和 XGBoost。 Databricks Runtime ML 包括 AutoML 工具，可用于自动训练机器学习管道。 Databricks Runtime ML 还支持使用 Horovod 进行分布式深度学习训练。

新增功能和改进

Databricks Runtime 15.1 ML 基于 Databricks Runtime 15.1 构建。 若要了解 Databricks Runtime 15.1 中的新增功能，包括 Apache Spark MLlib 和 SparkR，请参阅 Databricks Runtime 15.1 (EoS) 发行说明。

中断性变更

默认情况下不再安装旧版 Databricks CLI

在 Databricks Runtime 14.3 LTS ML 及更低版本中，由于 MLflow 的预安装版本需要旧版 Databricks CLI，因此后者自动安装在 $PATH 中。 Databricks Runtime 15.1 ML 包括 MLflow 版本 2.10.2，它不需要旧版 CLI。

从 Databricks Runtime 15.1 ML 开始，旧版 Databricks CLI 不再自动安装在 $PATH 中。 对于依赖运行时中安装的旧版 CLI 的用户来说，这是一个中断性变更。 像 %sh databricks ... 这样的命令在 Databricks Runtime 15.1 ML 及更高版本中不再起作用。

若要继续从笔记本使用旧版 Databricks CLI，请将其安装为群集或笔记本库。 新的 Databricks CLI 可从 Web 终端获取。 有关详细信息，请参阅使用 Web 终端和 Databricks CLI。

从 Databricks Runtime 15.1 ML 开始，MLeap 不再可用

MLeap 在 Databricks Runtime 15.1 ML 及更高版本中不再可用。 若要打包模型以方便部署到基于 JVM 的框架上，Databricks 建议使用 ONNX 格式。

弃用 Horovod 和 HorovodRunner

Horovod 和 HorovodRunner 现已弃用。 对于分布式深度学习，Databricks 建议使用 TorchDistributor 通过 PyTorch 进行分布式训练，或使用 tf.distribute.Strategy API 通过 TensorFlow 进行分布式训练。 Horovod 和 HorovodRunner 预装在 Databricks Runtime 15.1 ML 中，但会在下一个主要的 Databricks Runtime ML 版本中删除。

系统环境

Databricks Runtime 15.1 ML 中的系统环境在以下方面不同于 Databricks Runtime 15.1：

• 对于 GPU 群集，Databricks Runtime ML 包含以下 NVIDIA GPU 库：
  • CUDA 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Libraries

以下部分列出了 Databricks Runtime 15.1 ML 中包含的库，这些库不同于 Databricks Runtime 15.1 中包含的库。

本节内容：

• 顶层库
• Python 库
• R 库
• Java 库和 Scala 库（Scala 2.12 群集）

顶层库

Databricks Runtime 15.1 ML 包含以下顶层库：

• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn
• （已弃用）Horovod 和 HorovodRunner

Python 库

Databricks Runtime 15.1 ML 使用 virtualenv 进行 Python 包管理，包含许多常用的 ML 包。

除了以下部分指定的包，Databricks Runtime 15.1 ML 还包含以下包：

• hyperopt 0.2.7+db4
• sparkdl 3.0.0_db1
• automl 1.25.0

若要在本地 Python 虚拟环境中重现 Databricks Runtime ML Python 环境，请下载 requirements-15.1.txt 文件并运行 pip install -r requirements-15.1.txt。 此命令安装 Databricks Runtime ML 使用的所有开源库，但不安装 Databricks 开发的库，例如 databricks-automl、databricks-feature-store，或 hyperopt 的 Databricks 分支。

CPU 群集上的 Python 库

GPU 群集上的 Python 库

R 库

R 库与 Databricks Runtime 15.1 中的 R 库完全相同。

Java 库和 Scala 库（Scala 2.12 群集）

除了 Databricks Runtime 15.1 中的 Java 库和 Scala 库之外，Databricks Runtime 15.1 ML 还包含以下 JAR：

CPU 群集

GPU 群集