从对象存储安装库

本文将指导你完成从 Azure Databricks 上的云对象存储安装库所需的步骤。

可以将自定义 JAR 和 Python Whl 库存储在云对象存储中，而不是将它们存储在 DBFS 根目录中。 有关完整的库兼容性详细信息，请参阅群集范围的库。

将库加载到对象存储

可以像加载其他文件一样，将库加载到对象存储中。 你必须在云提供商中具有适当的权限，才能创建新的对象存储容器或将文件加载到云对象存储中。

授予对对象存储的只读权限

Databricks 建议为与库安装相关的所有特权配置只读权限。

Azure Databricks 允许向控制对云对象存储中数据的访问的单个群集分配安全权限。 可以扩展这些策略，以添加对包含库的云对象存储的只读访问权限。

Databricks 建议使用 Microsoft Entra ID 服务主体来管理对存储在 Azure Data Lake Storage Gen2 中的库的访问。 请使用以下链接的文档完成此设置：

1. 创建对所需 Blob 具有读取和列出权限的服务主体。 请参阅通过 Microsoft Entra ID（以前称为 Azure Active Directory）使用服务主体访问存储。

2. 使用机密保存凭据。 请参阅机密。

3. 请在创建群集时在 Spark 配置和环境变量中设置属性，如以下示例所示：

   Spark 配置：

   spark.hadoop.fs.azure.account.auth.type.<storage-account>.dfs.core.chinacloudapi.cn OAuth
   spark.hadoop.fs.azure.account.oauth.provider.type.<storage-account>.dfs.core.chinacloudapi.cn org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
   spark.hadoop.fs.azure.account.oauth2.client.id.<storage-account>.dfs.core.chinacloudapi.cn <application-id>
   spark.hadoop.fs.azure.account.oauth2.client.secret.<storage-account>.dfs.core.chinacloudapi.cn {{secrets/<secret-scope>/<service-credential-key>}}
   spark.hadoop.fs.azure.account.oauth2.client.endpoint.<storage-account>.dfs.core.chinacloudapi.cn https://login.chinacloudapi.cn/<tenant-id>/oauth2/token
   

   环境变量：

   SERVICE_CREDENTIAL={{secrets/<secret-scope>/<service-credential-key>}}
   

4. （可选）使用 azcopy 或 Azure CLI 重构 init 脚本。

   可以在 init 脚本中引用配置群集期间设置的环境变量，以传递作为机密存储的凭据进行验证。

将库安装到群集

若要将存储在云对象存储中的库安装到群集，请完成以下步骤：

1. 从群集 UI 中的列表中选择一个群集。
2. 选择“库”选项卡。
3. 选择“文件路径/ADLS”选项。
4. 提供库对象的完整 URI 路径（例如 abfss://container-name@storage-account-name.dfs.core.chinacloudapi.cn/path/to/library.whl）。
5. 单击“安装” 。

还可以使用 REST API 或 CLI 安装库。

将库安装到笔记本

可以使用 %pip 安装存储在对象存储中的自定义 Python wheel 文件，范围限定为笔记本隔离的 SparkSession。 若要使用此方法，必须将库存储在可公开读取的对象存储中，或使用预签名 URL。

请参阅作用域为笔记本的 Python 库。