什么是 Azure 托管的 Lustre 文件系统?

Azure Managed Lustre是一个托管文件系统,可为高性能计算(HPC)工作负载提供可缩放、强大且经济高效的存储。

以下是Azure Managed Lustre的一些主要功能和优势:

  • 加速 HPC 工作负荷:提供高性能分布式并行文件系统解决方案。 它非常适合需要高吞吐量、低延迟和 Lustre 协议兼容性的 HPC 工作负荷。
  • 专用的托管服务:提供 Lustre 并行文件系统的优势,而无需管理底层基础结构的复杂性。 Azure Managed Lustre 是一项完全托管的服务,可简化操作、降低设置成本,并且消除复杂的维护。
  • Azure Blob 存储集成:将Azure Managed Lustre文件系统与Azure Blob 存储容器连接,以实现最佳数据放置和成本管理。 有关详细信息,请参阅 Azure Blob 存储集成。
  • Azure Kubernetes 服务 (AKS)集成:使用与 AKS 兼容的 CSI 驱动程序容器化工作负荷。 有关详细信息,请参阅 将 Azure 托管 Lustre 与 Kubernetes 一起使用。

Lustre 是一个开源并行文件系统,可以扩展到大规模存储大小,同时提供高性能吞吐量。 世界上最快的超级计算机将 Lustre 用于以数据为中心的工作流,在多种行业中。 有关 Lustre 的详细信息,请参阅 https://www.lustre.org。

Azure Managed Lustre中的数据安全性

默认情况下,Azure 使用 Azure 管理的密钥加密存储在 Azure 中的所有静态数据。 如果要管理用于加密Azure Managed Lustre群集中存储数据的密钥,请按照Azure磁盘存储服务器端加密中的说明进行操作。

托管磁盘的虚拟机(VM)主机加密可保护 Azure Managed Lustre 文件系统中的所有信息。 即使为 Lustre 磁盘添加客户管理的密钥,托管磁盘也会保存数据。 添加客户管理的密钥可为安全需求较高的客户提供额外的安全级别。 有关详细信息,请参阅 Azure 磁盘存储的服务器端加密。

注释

Azure Managed Lustre不会将客户数据存储在部署服务实例的区域之外。

Azure Managed Lustre中的数据复原能力

Azure Managed Lustre文件系统使用Azure托管磁盘作为对象存储目标(OST)数据磁盘。

创建为持久文件系统类型的所有Azure Managed Lustre文件系统都使用配置为本地冗余存储(LRS)Azure高级 SSD(固态驱动器)磁盘。 系统在本地数据中心内将 LRS 磁盘内容复制三次,以防范驱动器和服务器机架故障带来的影响。

Azure Managed Lustre文件系统本身还通过用于存储这些磁盘上的数据的对象存储过程来增强数据复原能力。

如果需要区域或全局数据冗余,可以将文件系统与Azure Blob 存储集成。 集成后,可以启动导出作业,将文件导出到具有不同冗余策略的Azure Blob 存储容器,以便长期存储。 为存储帐户配置Azure Blob 存储冗余。 创建存储帐户时,可以选择区域性数据冗余(ZRS)或全局数据冗余(GRS)。 若要详细了解Azure Managed Lustre文件的数据冗余选项,请参阅支持的存储帐户类型。

Azure Blob 存储 集成

Azure Blob 存储与Azure Managed Lustre集成,这样就可以指定要从 blob 容器导入文件以供文件系统使用。 Azure Blob 存储集成是 Lustre 分层存储管理(HSM)的应用。 无需为每个作业导入整个数据集。 相反,可以为不同的作业创建不同的文件系统,并将数据存储在使用之间的低成本Azure blob 容器中。 高性能计算作业完成后,可以将已更改的数据导出到Azure Blob 存储,并删除Azure Managed Lustre系统。

该服务负责安装和维护。 只需指定要使用哪个 Blob 容器。

如果在创建 Lustre 文件系统时集成Azure Blob 存储,则可以使用 Lustre HSM 功能。 如果无需使用 Lustre HSM 的优势,可以直接使用客户端命令导入和导出 Azure Managed Lustre 文件系统的数据。

若要了解有关此功能的详细信息,请参阅Azure Blob 存储集成。

将Azure Managed Lustre与 Kubernetes 配合使用

若要将 Azure Managed Lustre 存储系统用于 Kubernetes 容器,请使用适用于 Kubernetes 的 Azure Managed Lustre 容器存储接口(CSI)驱动程序。 此驱动程序适用于Azure Kubernetes 服务 (AKS)。 目前不支持其他类型的 Kubernetes 安装。

Kubernetes 可以简化为Azure Managed Lustre工作负荷配置和部署虚拟客户端终结点的过程。 它自动执行设置任务,例如:

  • 创建Azure Kubernetes 服务 (AKS)用于运行 Pod 的Azure 虚拟机规模集。

  • 在 VM 实例上加载正确的 Lustre 客户端软件。

  • 指定 Azure Managed Lustre 挂载点,并将该信息传递给客户端 Pod。

  • 将 CSI 节点插件部署为 DaemonSet。

若要了解有关此功能的详细信息,请参阅将 Azure Managed Lustre CSI 驱动程序与Azure Kubernetes 服务配合使用。

若要了解要使用的驱动程序版本,请参阅 兼容的 Kubernetes 版本。