Azure 托管 Lustre 与 Azure Blob 存储集成,以简化将数据从 Blob 容器导入文件系统的过程。 可以在 创建群集期间配置此集成,并在创建群集后随时创建导入作业。
本文介绍如何使用 Azure 门户创建一个导入作业,该作业将数据从 Blob 容器导入到现有的 Azure 托管 Lustre 文件系统。
注释
将数据从 Blob 容器导入 Azure 托管 Lustre 文件系统时,只会将文件名(命名空间)和元数据导入到 Lustre 文件系统命名空间。
客户端首次访问文件时,将导入 Blob 的实际内容。 首次访问数据时,Lustre 分层存储管理(HSM)功能将 Blob 内容拉取到文件系统中的相应文件时,会稍有延迟。 此延迟仅在首次访问文件时发生。
可以使用装载的客户端中的 Lustre lfs hsm_restore 命令(具有 sudo 功能)预提取 Blob 容器的内容。 若要了解详细信息,请参阅 从 Blob 存储还原数据。
先决条件
- 现有的 Azure 托管 Lustre 文件系统:使用 Azure 门户、 Azure 资源管理器或 Terraform 创建一个。 若要了解有关 Blob 集成的详细信息,请参阅 Blob 集成先决条件。
创建导入任务
若要开始将数据从 Blob 容器导入 Azure 托管 Lustre 文件系统,请创建导入作业。 本部分介绍如何在 Azure 门户中创建、配置和启动导入作业。
注释
一次只能运行一个导入或导出作业。 例如,如果导入作业正在进行,并且你尝试启动另一个导入或导出作业,则会收到错误。
配置导入选项并启动作业
若要配置导入选项并启动作业,请执行以下步骤:
在 Azure 门户中,打开 Azure 托管 Lustre 文件系统。 在 “设置”下,选择 “Blob 集成”。
选择 “+ 创建新作业”。
从“作业类型”下拉菜单中选择“导入”。
在 “作业名称 ”字段中输入导入作业的名称。
为 “冲突解决模式 ”字段选择一个值。 此设置确定导入作业如何处理文件系统中的现有文件与导入的新文件之间的冲突。 在此示例中,我们选择 “跳过”。 若要了解详细信息,请参阅 冲突解决模式。
为 容错选择一个值。 此设置确定导入作业如何处理导入过程中发生的错误。 在此示例中,我们选择“ 允许错误”。 若要了解详细信息,请参阅 容错。
若要筛选要从 Blob 存储导入的数据,请输入导入前缀。 Azure 门户允许输入最多 10 个前缀。 在此示例中,我们指定前缀
/data和/logs。 若要了解详细信息,请参阅 “导入前缀”。配置作业后,选择 “开始” 开始导入过程。
以下屏幕截图显示了 Azure 门户中的导入作业配置设置。
监视导入作业
创建导入作业后,可以监视其进度,以确保其成功完成。 本部分介绍如何在 Azure 门户中监视导入作业。
若要查看作业详细信息,请执行以下步骤:
- 在 Azure 门户中,打开 Azure 托管 Lustre 文件系统。 在 “设置”下,选择 “Blob 集成”。
- 从最近的作业列表中选择要监视的导入作业。
- “ 作业详细信息 ”窗格显示有关作业的信息,包括作业状态、开始时间、Blob 导入以及导入过程中发生的任何错误或冲突。
以下屏幕截图显示了 Azure 门户中导入作业的作业详细信息。
作业完成后,可以查看日志记录容器以查看有关导入过程的详细信息,包括发生的任何错误或冲突。 此信息仅在作业完成后可用。