用于机器学习的 Databricks Runtime 15.3

用于机器学习的 Databricks Runtime 15.3 基于 Databricks Runtime 15.3，为机器学习和数据科学提供了随时可用的环境。 Databricks Runtime ML 包含许多常用的机器学习库，包括 TensorFlow、PyTorch 和 XGBoost。 Databricks Runtime ML 包括 AutoML 工具，可用于自动训练机器学习管道。 Databricks Runtime ML 还支持使用 Horovod 进行分布式深度学习训练。

新增功能和改进

Databricks Runtime 15.3 ML 基于 Databricks Runtime 15.3 构建。 要了解 Databricks Runtime 15.3 中的新增功能（包括 Apache Spark MLlib 和 SparkR），请参阅 Databricks Runtime 15.3 发行说明。

Databricks AutoML 手动数据拆分和样本权重

AutoML 现在支持手动数据拆分，允许为分类和回归模型指定逐行训练、验证和测试数据集。 请参阅将数据拆分为训练、验证和测试集。

AutoML 现在支持样本权重，你可以在训练回归模型期间调整每行的重要性。 有关详细信息，请参阅 AutoML Python API 的回归参数。

系统环境

Databricks Runtime 15.3 ML 中的系统环境在以下方面不同于 Databricks Runtime 15.3：

• 对于 GPU 群集，Databricks Runtime ML 包含以下 NVIDIA GPU 库：
  • CUDA 12.1
  • cusolver 11.4.5.107-1
  • cupti 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Libraries

以下部分列出了 Databricks Runtime 15.3 ML 中包含的库，这些库不同于 Databricks Runtime 15.3 中包含的库。

本节内容：

• 顶层库
• Python 库
• R 库
• Java 库和 Scala 库（Scala 2.12 群集）

顶层库

Databricks Runtime 15.3 ML 包含以下顶层库：

• datasets
• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• Scikit-learn
• TensorFlow
• TensorBoard
• 转换器

Python 库

Databricks Runtime 15.3 ML 使用 virtualenv 进行 Python 包管理，包含许多常用的 ML 包。

除了以下部分指定的包，Databricks Runtime 15.3 ML 还包含以下包：

• hyperopt 0.2.7+db3
• sparkdl 3.0.0_db1
• automl 1.27.0

若要在本地 Python 虚拟环境中重现 Databricks Runtime ML Python 环境，请下载 requirements-15.3.txt 文件并运行 pip install -r requirements-15.3.txt。 此命令安装 Databricks Runtime ML 使用的所有开源库，但不安装 Databricks 开发的库，例如 databricks-automl、databricks-feature-engineering，或 hyperopt 的 Databricks 分支。

CPU 群集上的 Python 库

GPU 群集上的 Python 库

R 库

R 库与 Databricks Runtime 15.3 中的 R 库完全相同。

Java 库和 Scala 库（Scala 2.12 群集）

除了 Databricks Runtime 15.3 中的 Java 库和 Scala 库之外，Databricks Runtime 15.3 ML 还包含以下 JAR：

CPU 群集

GPU 群集