与本地系统相比,云提供更广泛的存储解决方案,必须定义应存储不同类型的数据(如用户主目录、项目数据和暂存磁盘)的位置。 本部分还讨论了数据迁移策略,无论是涉及本地系统和云之间的一次性传输还是持续同步。 组织可以通过仔细选择存储选项并利用工具来高效移动数据来优化成本和性能。
本部分重点介绍在 HPC 云环境中管理存储的关键注意事项,重点介绍各种云存储选项以及迁移数据的过程。 此外,它还提供了有关设置存储和管理数据迁移的实用指导,重点是随着高性能计算(HPC)环境的发展,实现可伸缩性和自动化。
云中的存储选项
与本地环境相比,云中存储选项的多样性和容量增加。 最佳做法是定义放置数据的主要位置,例如用户主目录、项目数据、暂存磁盘和长期存储。 由于云的主要优势之一是按需获取资源,因此在开始定义存储选项时更为重要。 随着环境的发展,存储选项所需的数据量变得更加清晰。
数据迁移
若要将数据移入和移出本地系统到 Azure 中的 HPC 环境,可以使用多种方法和工具。 根据具体情况,数据迁移可能是一次性复制,或者涉及定期同步,以保持数据的时效性。 考虑到对网络基础结构的影响,可以使用适当的协议(例如 NFS 或 SMB)来管理 Azure 作业访问本地数据的过程。 此外,分层机制还可用于根据访问模式和数据生命周期策略自动在不同存储层之间移动数据来优化成本。
有关详细信息,请查看以下组件的说明:
此处介绍了每个组件。 每个部分均包括以下内容:
- 对组件的概述
- 对组件的要求是什么(即我们需要从组件中获得什么)
- 可用的工具和服务
- HPC 直接迁移背景下的组件最佳做法
- 快速入门设置示例
快速入门的目标是让用户了解如何开始使用组件。 随着 HPC 云部署的发展成熟,预计可通过基础结构即软件工具(例如 Terraform 或 Bicep)来自动使用组件。