本文将引导你完成将包或 requirements.txt 文件上传到工作区文件并将其安装到 Azure Databricks 中的群集上所需的步骤。 可以将库安装到全用途计算或作业计算上。
重要
本文介绍如何将库存储为工作区文件。 这不同于已弃用的工作区库。
有关工作区文件的详细信息,请参阅 工作区 UI。
需要 Databricks Runtime 15.0 或更高版本才能将requirements.txt 文件上传到工作区文件。 有关完整的库兼容性详细信息,请参阅 “安装库”。
将库加载到工作区文件
可以将库加载到工作区文件,其方式与加载其他文件相同。
将库加载到工作区文件:
单击左侧栏中的“
工作区”。
导航到工作区中你要上传库的位置。
单击
在右上角选择“ 导入”。
此时会出现“导入”对话框。 对于“导入来源:”,选择“文件”或“URL”。 拖放或浏览到要上传的文件,或提供文件的 URL 路径。
单击“导入” 。
将工作区文件中的库安装到群集
将库安装到群集上时,在该群集上运行的所有笔记本都有权访问该库。
将库从工作区文件安装到群集上:
单击左侧栏中的“
计算”。
在群集列表中单击群集的名称。
单击“库”选项卡。
单击“新安装”。 将显示“安装库”对话框。
对于“库源”,请选择“工作区”。
上传库或 requirements.txt 文件、浏览到工作区中的库或 requirements.txt,或在 “工作区文件路径 ”字段中输入其工作区位置,如下所示:
/Workspace/Users/someone@example.com/<path-to-library>/<library-name>.<ext>
单击“安装” 。
从工作区文件向工作流任务添加依赖库
可以将依赖库添加到工作区文件中的任务。 请参阅 Lakeflow 作业中的配置和编辑任务。
从工作区文件配置具有依赖库的工作流任务:
选择工作流中的现有任务或创建新任务。
请在“依赖库”旁边单击“+ 添加”。
在“添加依赖库”对话框中,为“库源”选择“工作区”。
上传库或 requirements.txt 文件、浏览到工作区中的库或 requirements.txt 文件,或在 “工作区文件路径” 字段中输入其工作区位置,如下所示:
/Workspace/Users/someone@example.com/<path-to-library>/<library-name>.<ext>
单击“安装” 。
将库从工作区文件安装到笔记本
可以将 Python 库直接安装到笔记本,以创建特定于该笔记本的自定义环境。 例如,可以在笔记本中使用特定版本的库,而不会影响群集上可能需要相同库的不同版本的其他用户。 有关详细信息,请参阅笔记本范围内的库。
向笔记本安装库时,只有当前笔记本以及与该笔记本关联的任何作业有权访问该库。 附加到同一群集的其他笔记本不受影响。