用于机器学习的 Databricks Runtime 15.3 （EoS）

Databricks Runtime 15.3 for 机器学习 提供基于Databricks Runtime 15.3（EoS）的机器学习和数据科学的即用型环境。 Databricks Runtime ML 包含许多常用的机器学习库，包括 TensorFlow、PyTorch 和 XGBoost。 Databricks Runtime ML 包括 AutoML 工具，可用于自动训练机器学习管道。 Databricks Runtime ML 还支持使用 Horovod 进行分布式深度学习训练。

新增功能和改进

Databricks Runtime 15.3 ML 基于 Databricks Runtime 15.3 构建。 有关 Databricks Runtime 15.3 中的新增功能（包括 Apache Spark MLlib 和 SparkR）的信息，请参阅 Databricks Runtime 15.3 （EoS） 发行说明。

AutoML 手动数据分割和样本权重

AutoML 现在支持手动数据拆分，允许为分类和回归模型指定逐行训练、验证和测试数据集。 请参阅将数据拆分为训练、验证和测试集。

AutoML 现在支持样本权重，你可以在训练回归模型期间调整每行的重要性。 有关详细信息，请参阅 AutoML Python API 的 回归参数。

系统环境

Databricks Runtime 15.3 ML 中的系统环境在以下方面不同于 Databricks Runtime 15.3：

• 对于 GPU 群集，Databricks Runtime ML 包含以下 NVIDIA GPU 库：
  • CUDA 12.1
  • cusolver 11.4.5.107-1
  • cupti 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Libraries

以下部分列出了 Databricks Runtime 15.3 ML 中包含的库，这些库不同于 Databricks Runtime 15.3 中包含的库。

本节内容：

• 顶层库
• Python库
• R 库
• Java 和 Scala 库（Scala 2.12 群集）

顶级库

Databricks Runtime 15.3 ML 包含以下顶层库：

• datasets
• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• Scikit-learn
• TensorFlow
• TensorBoard
• 转换器

Python库

Databricks Runtime 15.3 ML 使用 virtualenv 进行Python包管理，并包括许多常用的 ML 包。

除了以下部分指定的包，Databricks Runtime 15.3 ML 还包含以下包：

• Hyperopt 0.2.7+DB3
• Sparkdl 3.0.0_db1
• automl 1.27.0

若要在本地Python虚拟环境中重现 Databricks Runtime ML Python 环境，请下载 requirements-15.3.txt 文件并运行 pip install -r requirements-15.3.txt。 此命令安装 Databricks Runtime ML 使用的所有开放源代码库，但不安装 Databricks 开发的库，例如 databricks-automl、databricks-feature-engineering 或 hyperopt 的 Databricks 分支。

Python 库在中央处理器 (CPU) 群集上

Python GPU 集群上的库

R 库

R 库与 Databricks Runtime 15.3 中的 R 库完全相同。

Java和 Scala 库（Scala 2.12 群集）

除了 Databricks Runtime 15.3 中的Java库和 Scala 库外，Databricks Runtime 15.3 ML 还包含以下 JAR：

CPU 群集

GPU 群集