为 ML 准备环境

本部分介绍如何为机器学习和深度学习准备数据和 Azure Databricks 环境。

用于机器学习的 Databricks Runtime (Databricks Runtime ML) 是一个针对机器学习和数据科学优化的现成环境。 Databricks Runtime ML 包含很多外部库,例如 TensorFlow、PyTorch、Horovod、scikit-learn 和 XGBoost,它还提供了多个扩展来提升性能,这些扩展包括 XGBoost 中的 GPU 加速、使用 HorovodRunner 的分布式深度学习,以及使用 Databricks 文件系统 (DBFS) FUSE 装载的模型检查点。

若要使用 Databricks Runtime ML,请在创建群集时选择运行时的 ML 版本。

注意

若要在 Unity Catalog 中访问机器学习工作流的数据,群集的访问模式必须是单用户(已分配)。 共享群集与用于机器学习的 Databricks Runtime 不兼容。

安装库

你可以安装其他库来为笔记本或群集创建自定义环境。

使用 GPU 群集

可创建 GPU 群集来提升深度学习任务的执行速度。 要了解如何创建 Azure Databricks GPU 群集,请参阅启用了 GPU 的计算。 Databricks Runtime ML 包括 GPU 硬件驱动程序和 NVIDIA 库(例如 CUDA)。