什么是 Azure 托管的 Lustre 文件系统？

Azure Managed Lustre是一个托管文件系统，可为高性能计算（HPC）工作负载提供可缩放、功能强大的经济高效存储。

以下是Azure Managed Lustre的一些主要功能和优势：

  • 加速 HPC 工作负荷：提供高性能分布式并行文件系统解决方案，非常适合需要高吞吐量、低延迟和 Lustre 协议兼容性的 HPC 工作负荷。
  • 专用的托管服务：提供 Lustre 并行文件系统的优势，而无需管理底层基础结构的复杂性。 Azure Managed Lustre 是一项完全托管的服务，可简化操作、降低设置成本，并且消除复杂的维护。
  • Azure Blob 存储集成：允许将 Azure 托管 Lustre 文件系统与 Azure Blob 存储容器连接，以实现最佳的数据放置和成本管理。 有关详细信息，请参阅 Azure Blob 存储集成。
  • Azure Kubernetes 服务（AKS）集成：允许使用与 AKS 兼容的 CSI 驱动程序容器化工作负荷。 有关详细信息，请参阅 将 Azure 托管 Lustre 与 Kubernetes 一起使用。

Lustre 是一个开源并行文件系统，可以扩展到大规模存储大小，同时提供高性能吞吐量。 Lustre 被全球最快的超级计算机以及众多行业中的数据密集型工作流所采用。 有关 Lustre 的详细信息，请参阅 https://www.lustre.org。

Azure Managed Lustre中的数据安全性

默认情况下，存储在Azure中的所有数据都使用Azure托管密钥进行静态加密。 如果要管理用于加密Azure Managed Lustre群集中存储数据的密钥，请按照Azure磁盘存储服务器端加密中的说明进行操作。

即使为 Lustre 磁盘添加客户管理的密钥，Azure Managed Lustre文件系统中的所有信息都受托管磁盘上的虚拟机（VM）主机加密的保护。 添加客户管理的密钥可为安全需求较高的客户提供额外的安全级别。 有关详细信息，请参阅 Azure 磁盘存储的服务器端加密。

注释

Azure Managed Lustre不会将客户数据存储在部署服务实例的区域之外。

Azure Managed Lustre中的数据复原能力

Azure Managed Lustre文件系统使用Azure托管磁盘作为对象存储目标（OST）数据磁盘。

所有创建为“持久”文件系统类型的 Azure Managed Lustre 文件系统均使用配置为本地冗余存储 (LRS) 的 Azure 高级 SSD（固态硬盘）磁盘。 LRS 磁盘内容在本地数据中心内复制三次，以防止驱动器和服务器机架故障。

Azure Managed Lustre文件系统本身还通过用于存储这些磁盘上的数据的对象存储过程来增强数据复原能力。

如果需要区域或全局数据冗余，可以将文件系统与Azure Blob 存储集成。 集成后，可以启动导出作业，将文件导出到具有不同冗余策略的Azure Blob 存储容器，以便长期存储。 为存储帐户配置Azure Blob 存储冗余。 创建存储帐户时，可以选择区域性数据冗余（ZRS）或全局数据冗余（GRS）。 若要详细了解Azure Managed Lustre文件的数据冗余选项，请参阅支持的存储帐户类型。

Azure Blob 存储 集成

Azure Blob 存储与Azure Managed Lustre集成，这样就可以指定要从 blob 容器导入文件以供文件系统使用。 Azure Blob 存储集成是 Lustre 分层存储管理（HSM）的应用。 无需为每个作业导入整个数据集。 相反，可以为不同的作业创建不同的文件系统，并将数据存储在使用之间的低成本Azure blob 容器中。 完成高性能计算作业后，可以将已更改的数据导出到Azure Blob 存储，并删除Azure Managed Lustre系统。

Azure Managed Lustre是自定义的，可与Azure Blob 存储无缝配合工作。 可以指定现有 Blob 容器，使其现有数据可从Azure Managed Lustre文件系统访问。 还可以指定一个空容器，并用数据填充它，或者用它来存储输出数据。 设置和维护是为你完成的。 只需指定要使用哪个 Blob 容器。

如果在创建 Lustre 文件系统时集成Azure Blob 存储，则可以使用 Lustre HSM 功能。 如果无需使用 Lustre HSM 的优势，可以直接使用客户端命令导入和导出 Azure Managed Lustre 文件系统的数据。

若要了解有关此功能的详细信息，请参阅Azure Blob 存储集成。

将Azure Managed Lustre与 Kubernetes 配合使用

如果要将 Azure Managed Lustre 存储系统与 Kubernetes 容器配合使用，可以使用适用于 Kubernetes 的 Azure Lustre 容器支持接口 （CSI） 驱动程序，该接口与 Azure Kubernetes 服务 (AKS) 兼容。 目前不支持其他类型的 Kubernetes 安装。

Kubernetes 可以简化 Azure Managed Lustre 工作负载的虚拟客户端终结点的配置和部署，并自动执行以下设置任务：

  • 创建由 Azure Kubernetes 服务 (AKS) 用于运行 Pod 的 Azure 虚拟机规模集。
  • 在 VM 实例上加载正确的 Lustre 客户端软件。
  • 指定 Azure Managed Lustre 挂载点，并将该信息传递给客户端 Pod。

适用于 Kubernetes 的 Azure Lustre CSI 驱动程序可以自动安装客户端软件和装载驱动器。 默认情况下，该驱动程序以包含两个副本的 Deployment 形式提供 CSI 控制器插件，并以 DaemonSet 形式提供 CSI 节点插件。 可以更改副本的数量。

若要了解有关此功能的详细信息，请参阅将 Azure Managed Lustre CSI 驱动程序与Azure Kubernetes 服务配合使用。

若要了解要使用的驱动程序版本，请参阅 兼容的 Kubernetes 版本。

相关内容

  • Last updated on