为 ML 和 DL 准备数据和环境
本部分介绍如何为机器学习和深度学习准备数据和 Azure Databricks 环境。
准备数据
本部分中的文章介绍加载和预处理特定于 ML 和 DL 应用程序的数据的各个方面。
准备环境
用于机器学习的 Databricks Runtime (Databricks Runtime ML) 是一个针对机器学习和数据科学优化的现成环境。 Databricks Runtime ML 包含很多外部库，例如 TensorFlow、PyTorch、Horovod、scikit-learn 和 XGBoost，它还提供了多个扩展来提升性能，这些扩展包括 XGBoost 中的 GPU 加速、使用 HorovodRunner 的分布式深度学习，以及使用 Databricks 文件系统 (DBFS) FUSE 装载的模型检查点。
若要使用 Databricks Runtime ML，请在创建群集时选择运行时的 ML 版本。
注意
若要在 Unity Catalog 中访问机器学习工作流的数据，群集的访问模式必须是单用户（已分配）。 共享群集与用于机器学习的 Databricks Runtime 不兼容。
安装库
你可以安装其他库来为笔记本或群集创建自定义环境。
- 若要使库可用于群集上运行的所有笔记本，请创建群集库。 创建时，还可以使用 init 脚本在群集上安装库。
- 若要安装仅供特定笔记本会话使用的库，请使用笔记本范围的 Python 库。
使用 GPU 群集
可创建 GPU 群集来提升深度学习任务的执行速度。 要了解如何创建 Azure Databricks GPU 群集，请参阅启用了 GPU 的计算。 Databricks Runtime ML 包括 GPU 硬件驱动程序和 NVIDIA 库（例如 CUDA）。