Azure 托管 Lustre 的自动导出功能是自动将 Azure 托管 Lustre 文件系统中的更改与链接的 Azure Blob 存储容器同步的功能。
使用此功能有助于确保文件系统中的新文件和修改的文件反映在关联的 Blob 存储容器中,而无需手动干预。 这简化了数据管理并改进了长期存储的同步。
自动导出功能
自动导出通过持续监视 Azure 托管 Lustre 文件系统中的更改来运行。 根据配置的导出策略,它会更新关联的 Blob 存储容器的内容以反映这些更改。 此功能为用户提供了一个无缝和自动化的过程,用于复制数据。
Configuration
在配置了关联 Blob 存储容器的现有 Azure 托管 Lustre 文件系统上启用自动导出功能。 可以使用 Azure 门户中的 Blob 集成 设置来配置自动导出。
若要创建新的自动导出作业,请执行以下步骤:
在 Azure 门户中,打开 Azure 托管 Lustre 文件系统。 在 “设置”下,选择 “Blob 集成”。
选择 “+ 创建新作业”。
在 “作业类型” 下拉列表中,选择“ 自动导出”。
在 “文件系统路径 ”字段中,可以通过输入字符串来指定目录路径。
此路径(前缀)下的文件系统中的所有新文件或更改的文件都会不断导出。 文件被写入到 Blob 容器中,其文件路径(或前缀)与它们在 Lustre 文件系统中相同。 为了避免覆盖 Blob 容器中的现有文件,请确保 Lustre 文件系统中的文件路径不会与 Blob 容器中文件的现有路径重叠。 唯一的例外是如果您的 Lustre 文件是从 blob 容器中的该路径导入的。
自动导出行为
下面是自动导出如何处理不同类型的更改:
- 新建文件创建、新目录和文件内容更改:Blob 集成过程标识新文件和更改的目录和数据。 它自动启动导出作业。 自动导出可确保将最新版本的文件传输到 Blob 存储。
- 元数据更改:当前 未同步重命名、所有权更新或权限调整等更改。
- 删除:在文件系统中删除文件、目录或符号链接时,不会从 Blob 存储容器 中删除 它们。
一次不能运行多个 Blob 集成作业(例如手动导出、自动导出和导入)。
自动导出通过连续导出迭代工作。 迭代完成后,Blob 集成过程会扫描文件系统中是否有任何新文件、目录或内容更改。 它启动导出作业的新迭代。
在配置的日志记录容器中导出作业日志有助于识别同步问题,并帮助你了解作失败的原因。
监视和管理自动导出
可以使用 Azure 门户监视自动导出活动和管理配置。
Blob 集成窗格在“最近作业”部分中显示导出活动的详细信息,包括最近作业的状态以及与自动同步相关的指标。
若要取消进程内作业,请选择“最近作业”表中该作业的“取消”链接。 “取消”链接仅适用于当前作业。
若要查看自动导出作业的指标,请选择作业的名称值。 “ 指标 ”窗格显示在门户的侧面板上。
自动导出作业监控
Blob 集成窗格在“最近作业”部分中显示导出活动的详细信息,包括最近作业的状态以及与自动同步相关的指标。
若要取消正在进行的作业,请选择“最近作业”表中该作业的“取消”链接。 “取消”链接仅适用于当前作业。
若要查看自动导出作业的指标,请选择作业的名称值。 “ 指标 ”窗格显示在门户的侧面板上。
Metrics
在门户中,指标分为两个主要类别:总体和当前迭代。
总体统计信息
启用自动导出后的统计信息
导出的文件总数
启用自动导出后已成功复制到关联的 Blob 容器的文件计数。
导出的 MiB 总数
启用自动导出后,聚合文件大小(以 MiB 为单位)已成功复制到关联的 Blob 容器。
迭代已完成
Blob 集成过程识别新的或更改的数据并启动新的导出作业的次数。
上次成功迭代
最后一次迭代的完成时间戳,该时间戳已成功将所有数据导出到关联的 Blob 容器中。
当前迭代统计信息
有关当前活动的统计信息
发现的文件
导出作业当前正在导出的文件计数,包括此迭代中已成功复制到关联的 Blob 容器的文件。*
MiB 发现
聚合导出作业当前正在导出的文件大小(以 MiB 为单位),包括此迭代中已成功复制到关联的 Blob 容器的文件。*
导出的文件
成功复制到关联 Blob 容器中的新文件和已更改文件的计数。
MiB 已导出
新的和更改的数据的聚合文件大小(以 MiB 为单位)已成功复制到关联的 Blob 容器。
文件失败
在当前迭代期间未能复制的文件总数。 选择此链接可转到 “日志记录容器 ”页,查看与此自动导出作业关联的日志。
当前正在进行的迭代的指标应解读为到目前为止。 例如, “发现的文件 ”是报告时发现导出的文件数。 下一个报告周期可能会显示发现更多文件。
注意事项和最佳做法
使用自动导出功能时,请考虑以下最佳做法以确保顺利运行:
- 冲突管理:如果同一个文件在文件系统和 Blob 存储中都被修改,则存在被覆盖的风险。 使用应用程序级协调来防止发生冲突的编辑。
- 在删除之前禁用自动导出:删除文件系统或其 Blob 集成过程之前,请确保所有排队的更新都已同步。 验证 上次成功迭代时间 是否为最近,并且 文件失败 指标为零,以避免数据丢失。 然后,禁用自动导出。