定义基本详细信息
Azure 门户中项目详细信息页的截图。
在 Project Details 中,选择将托管缓存的订阅和资源组。
在“服务详细信息”中,设置缓存名称和其他属性:
位置 - 选择其中一个支持的区域。
如果该区域支持 availability zones,请选择将托管缓存资源的区域。 Azure HPC Cache是区域性服务。
虚拟网络 - 您可以选择现有的虚拟网络或创建一个新的虚拟网络。
子网 - 选择或创建具有至少 64 个 IP 地址 (/24) 的子网。 此子网必须仅用于此Azure HPC Cache实例。
选择缓存类型和容量
在“缓存”页上,指定要创建的缓存类型和大小。 这些值决定了缓存的功能,包括:
- 缓存为客户端请求提供服务的速度有多快
- 缓存可以容纳的数据量
- 缓存是否支持读/写缓存模式
- 它可以有多少个存储目标
- 缓存的成本
在选择吞吐量或存储容量之前,需要先选择缓存类型。 选项包括:
- 读写标准缓存:灵活的常规用途缓存
- 只读缓存:一种高吞吐量缓存,旨在最大程度地减少文件access延迟;使用同步写入作处理修改
- 读写高级缓存(预览版):延迟最低、吞吐量最高的 NVMe 优化缓存
Azure portal创建向导中缓存选项卡的
请在根据需要选择缓存类型中详细了解这些缓存类型。
提示
可以将“读写”缓存类型通过存储目标配置为使用读取缓存或读写缓存使用模型。 “只读”缓存类型仅支持 NFS 和 ADLS-NFS 存储目标类型,并且仅限于读取缓存使用模型。 在了解缓存使用模型中详细了解缓存模式。
“标准”缓存 SKU 允许为选择的给定吞吐量选择缓存容量,而“高级”和“只读”缓存对于选择的每种给定吞吐量都提供固定容量。 缓存的功能由两个部署选项定义:
-
最大吞吐量 - 缓存的数据传输速率(GB/秒)
-
Cache 大小 - 为缓存数据分配的storage量(以 TB 为单位)
理解吞吐量和缓存大小
多种因素可能会影响HPC Cache的效率,但选择适当的吞吐量值和缓存storage大小是最重要的一个。
选择吞吐量值时,请记住,实际数据传输速率取决于工作负荷、网络速度和storage目标类型。
你选择的值设置整个缓存系统的最大吞吐量,但其中一些用于开销任务。 例如,如果客户端请求尚未存储在缓存中的文件,或者该文件被标记为过时,则缓存会使用其一些吞吐量从后端storage提取该文件。
Azure HPC Cache管理缓存和预加载的文件,以最大程度地提高缓存命中率。 缓存内容会被持续评估,文件在访问频率降低时会移动到长期存储。
选择一个缓存存储大小,能够足以存储活动的工作文件集,并留出存放元数据和其他开销的额外空间。
如需正确调整缓存大小的帮助,请联系Microsoft服务和支持部门。
根据需求选择缓存类型
有两种基本缓存类型:“标准”和“高级”。
Standard 缓存是常规使用的HPC Cache系统。 选择吞吐量值后,可以从多个存储大小中进行选择,并且可以附加任何HPC Cache支持的存储目标类型。
高级缓存专为性能最高的文件服务而设计。 它们使用高吞吐量 NVMe storage设备,这意味着高级缓存具有不同的定价结构、静态缓存容量,并且无法暂时停止。
缓存选项包括:
读写标准缓存
使用标准缓存时,可从多个缓存大小值中选择。 这些缓存可以配置为使用存储目标使用模型,适用于读取(直写)缓存和读写缓存。
只读缓存
这种类型的缓存提供比标准缓存更高的吞吐量和较低的延迟,但旨在仅优化文件和目录读取access。 不能将只读缓存配置为使用读写缓存使用模型,但读后写工作负荷将导致缓存命中,因为写入被同步持久化到存储目标。 对于每个吞吐量选项,这种类型的缓存只有一个缓存大小选项。
读写高级缓存(预览版)
高吞吐量缓存,可以配置为只读缓存或读写缓存。 对于每个吞吐量选项,这些缓存只有一个缓存大小选项。
下表解释了三种缓存类型的重要差异。
| 属性 |
读写标准缓存 |
只读缓存 |
读写高级缓存 |
| 吞吐量大小 |
2、4 或 8 GB/秒 |
4.5、9 或 16 GB/秒 |
5、10 或 20 GB/秒 |
| 缓存大小 |
3、6 或 12 TB(2 GB/秒) 6、12 或 24 TB(4 GB/秒) 12、24 或 48 TB(8 GB/秒) |
21 TB(4.5 GB/秒) 42 TB(9 GB/秒) 84 TB(16 GB/秒) |
21 TB(5 GB/秒) 42 TB(10 GB/秒) 84 TB(20 GB/秒) |
| 兼容存储目标类型 |
Azure Blob NFS(本地部署) ADLS-NFS(启用了 NFSv3 的 Azure Blob) |
NFS(本地部署) ADLS-NFS(支持 NFSv3 的 Azure Blob) |
Azure Blob NFS(本地部署) ADLS-NFS(支持 NFSv3 的 Azure Blob) |
| 缓存样式 |
读写缓存 |
只读缓存 |
读写缓存 |
| 不需要时,可终止缓存以节省成本 |
是 |
否 |
否 |
这三个缓存选项的最大存储目标数量为 20。
若要了解有关这些选项的详细信息,请参阅下列信息:
启用Azure Key Vault加密(可选)
如果要管理用于缓存存储的加密密钥,请在磁盘加密密钥页面上提供您的Azure Key Vault信息。 key vault(密钥保管库)必须与缓存位于同一区域和同一订阅中。
如果你不需要客户托管的密钥,可以跳过此部分。 默认情况下,Azure使用Microsoft管理的密钥加密数据。 阅读 Azure storage 加密,了解详细信息。
注意事项
创建缓存后,不能在 Microsoft 托管的密钥和客户托管的密钥之间进行更改。
有关客户管理的密钥加密过程的完整说明,请阅读 为 Azure HPC Cache 使用客户管理的加密密钥。
选择“客户托管”以选择客户托管的密钥加密。 将显示密钥保管库规范字段。 选择要使用的Azure Key Vault,然后选择要用于此缓存的密钥和版本。 密钥必须是 2048 位的 RSA 密钥。 可以从此页面创建新的密钥保管库、密钥或密钥版本。
若要使用自动密钥轮换,请选中“始终使用当前密钥版本”复选框。
若要对此缓存使用特定的托管标识,请在“托管标识”部分进行配置。 有关详细信息,请参阅 Azure 资源的托管标识是什么?
如果使用系统分配的托管标识或尚未拥有访问密钥保管库权限的用户分配标识,则创建缓存后必须执行额外的步骤。 此手动步骤授权缓存的托管标识使用密钥库。
Tags 页允许向Azure HPC Cache实例添加 resource tags。
完成缓存创建
配置新缓存后,请单击“查看+创建”选项卡。门户将验证选择,并允许你查看选择。 如果所有内容都正确,请单击“创建”。
缓存创建花费大约 10 分钟。 可以在Azure portal的通知面板中跟踪进度。
创建完成后,会显示一个通知,其中包含指向新Azure HPC Cache实例的链接,缓存将显示在订阅的 Resources 列表中。
注意事项
若缓存使用客户托管的加密密钥,且在创建后需要手动授权步骤,在部署状态更改为“完成”之前,缓存可能会出现在“资源”列表中。 一旦缓存的状态为 waiting for key就可以授权它使用key vault。
使用 Azure CLI 创建缓存
为 Azure HPC Cache设置Azure CLI。
注意事项
Azure CLI目前不支持使用客户管理的加密密钥创建缓存。 使用Azure portal。
使用 az hpc-cache create 命令创建新的Azure HPC Cache。
提供以下值:
缓存资源组名称
缓存名称
Azure 区域
缓存子网,格式如下:
--subnet "/subscriptions/<subscription_id>/resourceGroups/<cache_resource_group>/providers/Microsoft.Network/virtualNetworks/<virtual_network_name>/subnets/<cache_subnet_name>"
缓存子网需要至少 64 个 IP 地址 (/24),并且不能容纳其他任何资源。
缓存容量。 两个值设置Azure HPC Cache的最大吞吐量:
- 缓存大小 (GB)
- 缓存基础结构中使用的虚拟机 SKU
az hpc-cache skus list显示可用的 SKU 和每个 SKU 的有效缓存大小选项。 缓存大小选项的范围为 3 TB 到 48 TB,但仅支持某些值。
此图显示在准备此文档时(2020 年 7 月),哪些缓存大小和 SKU 组合有效。
| 缓存大小 |
Standard_2G |
Standard_4G |
Standard_8G |
| 3072 GB |
是 |
否 |
否 |
| 6144 GB |
是 |
是 |
否 |
| 12288 GB |
是 |
是 |
是 |
| 24576 GB |
否 |
是 |
是 |
| 49152 GB |
否 |
否 |
是 |
有关定价、吞吐量以及如何为工作流适当调整缓存大小的重要信息,请阅读“门户说明”选项卡上的“设置缓存容量”部分。
缓存创建示例:
az hpc-cache create --resource-group doc-demo-rg --name my-cache-0619 \
--location "chinanorth3" --cache-size-gb "3072" \
--subnet "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default" \
--sku-name "Standard_2G"
创建缓存需要几分钟。 成功后,create 命令返回如下输出:
{
"cacheSizeGb": 3072,
"health": {
"state": "Healthy",
"statusDescription": "The cache is in Running state"
},
"id": "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.StorageCache/caches/my-cache-0619",
"location": "chinanorth3",
"mountAddresses": [
"10.3.0.17",
"10.3.0.18",
"10.3.0.19"
],
"name": "my-cache-0619",
"provisioningState": "Succeeded",
"resourceGroup": "doc-demo-rg",
"sku": {
"name": "Standard_2G"
},
"subnet": "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default",
"tags": null,
"type": "Microsoft.StorageCache/caches",
"upgradeStatus": {
"currentFirmwareVersion": "5.3.42",
"firmwareUpdateDeadline": "0001-01-01T00:00:00+00:00",
"firmwareUpdateStatus": "unavailable",
"lastFirmwareUpdate": "2020-04-01T15:19:54.068299+00:00",
"pendingFirmwareVersion": null
}
}
该消息包含一些有用的信息,包括以下项:
- 客户端装载地址 - 准备好将客户端连接到缓存时,请使用这些 IP 地址。 阅读 装载 Azure HPC 缓存 以了解更多信息。
- 升级状态 - 发布软件更新时,此消息将会更改。 你可以在方便时手动升级缓存软件,否则数天后将自动应用升级。
注意
Az.HPCCache PowerShell 模块目前为公共预览版。 此预览版本未提供服务级别协议。 不建议用于生产型工作负荷。 某些功能可能不受支持或者受限。 有关详细信息,请参阅 Azure 预览版的使用条款。
要求
如果选择在本地使用 PowerShell,本文要求安装 Az PowerShell 模块并使用 Connect-AzAccount cmdlet 连接到 Azure 帐户。 有关安装 Az PowerShell 模块的详细信息,请参阅 Install Azure PowerShell。
重要
尽管 Az.HPCCache PowerShell 模块为预览版,但你需要使用 cmdlet 单独安装它。
Install-Module -Name Az.HPCCache
使用 Azure PowerShell 创建缓存
注意事项
Azure PowerShell目前不支持使用客户管理的加密密钥创建缓存。 使用Azure portal。
使用 New-AzHpcCache cmdlet 创建新的Azure HPC Cache。
提供以下值:
缓存资源组名称
缓存名称
Azure 区域
缓存子网,格式如下:
-SubnetUri "/subscriptions/<subscription_id>/resourceGroups/<cache_resource_group>/providers/Microsoft.Network/virtualNetworks/<virtual_network_name>/subnets/<cache_subnet_name>"
缓存子网需要至少 64 个 IP 地址 (/24),并且不能容纳其他任何资源。
缓存容量。 两个值设置Azure HPC Cache的最大吞吐量:
- 缓存大小 (GB)
- 缓存基础结构中使用的虚拟机的SKU
Get-AzHpcCacheSku 显示了可用的 SKU 以及每个 SKU 的有效缓存大小选项。 缓存大小选项的范围为 3 TB 到 48 TB,但仅支持某些值。
此图显示在准备此文档时(2020 年 7 月),哪些缓存大小和 SKU 组合有效。
| 缓存大小 |
Standard_2G |
Standard_4G |
Standard_8G |
| 3072 GB |
是 |
否 |
否 |
| 6144 GB |
是 |
是 |
否 |
| 12,288 GB |
是 |
是 |
是 |
| 24,576 吉字节 |
否 |
是 |
是 |
| 49,152 GB |
否 |
否 |
是 |
有关定价、吞吐量以及如何为工作流适当调整缓存大小的重要信息,请阅读“门户说明”选项卡上的“设置缓存容量”部分。
缓存创建示例:
$cacheParams = @{
ResourceGroupName = 'doc-demo-rg'
CacheName = 'my-cache-0619'
Location = 'chinanorth3'
cacheSize = '3072'
SubnetUri = "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default"
Sku = 'Standard_2G'
}
New-AzHpcCache @cacheParams
创建缓存需要几分钟。 成功后,create 命令返回以下输出:
cacheSizeGb : 3072
health : @{state=Healthy; statusDescription=The cache is in Running state}
id : /subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.StorageCache/caches/my-cache-0619
location : chinanorth3
mountAddresses : {10.3.0.17, 10.3.0.18, 10.3.0.19}
name : my-cache-0619
provisioningState : Succeeded
resourceGroup : doc-demo-rg
sku : @{name=Standard_2G}
subnet : /subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default
tags :
type : Microsoft.StorageCache/caches
upgradeStatus : @{currentFirmwareVersion=5.3.42; firmwareUpdateDeadline=1/1/0001 12:00:00 AM; firmwareUpdateStatus=unavailable; lastFirmwareUpdate=4/1/2020 10:19:54 AM; pendingFirmwareVersion=}
该消息包含一些有用的信息,包括以下项:
- 客户端装载地址 - 准备好将客户端连接到缓存时,请使用这些 IP 地址。 阅读 装载 Azure HPC Cache 以了解详细信息。
- 升级状态 - 发布软件更新时,此消息将会更改。 你可以在方便时手动升级缓存软件,否则数天后将自动应用升级。