高性能计算 (HPC) 工作负载最佳做法指南

本指南提供了有关最适合高性能计算 (HPC) 工作负载的存储解决方案的最佳做法和指南。

通常需要在针对成本优化和针对性能优化之间进行权衡。 此工作负载最佳做法系列重点介绍如何为 Azure VM 上的 HPC 工作负载获取最佳存储解决方案。 如果工作负荷要求较低,可能不需要每项建议的优化。 评估这些建议时应考虑性能需求、成本和工作负荷模式。

概述

HPC 工作负载的存储包括核心存储,在某些情况下还包括加速器。

核心存储充当数据的永久存放处。 它包含丰富的数据管理功能,具有持久性、可用性、可缩放性、弹性和安全性。 加速器通过提供高性能数据访问来增强核心存储。 加速器可以按需预配,并使计算工作负载能够更快地访问数据。

初始注意事项

如果你是零基础,请参阅了解数据存储模型来选择数据存储,参阅选择 Azure 存储服务Azure 存储简介来了解存储服务选项。

概览

首先,需要考虑计划存储的数据量。 然后,考虑工作负载使用的 CPU 核心数和文件大小。 这些因素可帮助你缩小选择范围,更好地确定最适合工作负载的核心存储服务,以及是否使用加速器来增强性能。

配置 CPU 核心数 文件大小 核心存储建议 加速器建议
低于 50 TiB Azure 文件 无加速器
50 TiB - 5,000 TiB 少于 500 个 Azure 文件 无加速器
50 TiB - 5,000 TiB 超过 500 个 1 MiB 及更大 Azure 标准 Blob。 它受所有加速器支持,支持许多协议,并且经济高效。
50 TiB - 5,000 TiB 超过 500 个 小于 1 MiB Azure 高级 BlobAzure 标准 Blob
50 TiB - 5,000 TiB 超过 500 个 小于 512 KiB 无加速器
超过 5,000 TiB 请与你的现场或客户团队联系。

解决方案详细信息

如果在使用决策树后仍在不同选项之间犹豫不决,下面提供了有关每个解决方案的更多详细信息:

解决方案 最佳性能和缩放 数据访问(访问协议) 计费模式 核心存储或加速器
Azure 标准 Blob 适用于大型文件、带宽密集型工作负载。 适用于传统(文件)和云原生 (REST) HPC 应用。

易于访问、共享和管理数据集。

适用于所有加速器。
为使用的内容付费。 核心存储。
Azure 高级 Blob 在 IOPS 和延迟方面优于标准 Blob。

适用于具有许多中型文件和混合大小文件的数据集。
适用于传统(文件)和云原生 (REST) HPC 应用。

易于访问、共享和管理数据集。

适用于所有加速器。
为使用的内容付费。 核心存储。
Azure 高级文件 适合较小规模的容量和带宽(<1k 个核心)。

IOPS 和延迟适用于中型文件(>512 KiB)。
可轻松与 Linux (NFS) 和 Windows (SMB) 集成,但不能同时使用 NFS 和 SMB 来访问相同的数据。 为预配的使用量付费。 核心存储。

核心存储价格比较

核心存储选项的价格从高到低依次为:

  • Azure 高级 Blob 和 Azure 高级文件
  • Azure 标准 Blob

有关定价的详细信息,请参阅 Azure 产品定价