在 Azure Kubernetes 服务 (AKS) 中，使用 Azure Blob 存储来创建和管理持久卷（Persistent Volumes，PV）

如果多个 Pod 需要并发访问同一存储卷，则可以使用 Azure Blob 存储通过 blobfuse 或 网络文件系统（NFS）进行连接。

本文介绍如何动态和静态创建 Azure Blob 存储容器，供 Azure Kubernetes 服务 （AKS） 群集中的多个 Pod 使用。

先决条件

• 在你的 AKS 集群上启用了 Azure Blob 存储 CSI 驱动程序。

• 启用了 NFS v3 的存储帐户，因此您可以使用 NFS 协议挂载持久卷。 无法在现有存储帐户上启用 NFS v3。 有关详细信息，请参阅 创建 NFS v3 帐户。

• 若要在使用 blobfuse 挂载时支持 Azure Data Lake Storage 帐户，请完成以下任务：

  • 若要在动态预配中使用驱动程序创建Data Lake Storage帐户，请在存储类参数中指定isHnsEnabled: "true"。
  • 若要在静态预配中启用对 Data Lake Storage 帐户的 blobfuse 访问，请在永久性卷中指定装载选项--use-adls=true。
  • 如果要启用具有分层命名空间的存储帐户，应使用 --use-adls=true 装载选项重新装载现有永久性卷。

• 默认情况下，blobfuse 缓存位于 /mnt 目录中。 如果 VM SKU 提供临时磁盘，则会将 /mnt 目录装载到临时磁盘上。 但是，如果 VM SKU 不提供临时磁盘，则会将 /mnt 目录装载到 OS 磁盘上，可以设置 --tmp-path= 装载选项来指定不同的缓存目录。

使用内置存储类，通过 Azure Blob 存储创建动态 PV

storage类用于定义如何创建Azure Blob storage容器。 存储帐户会自动在节点资源组中创建，以便与存储类一起使用来保存 Azure Blob 存储容器。 在 AKS 上使用存储 CSI 驱动程序时，有两个额外的内置 StorageClasses，它们使用 Azure Blob 存储的 CSI 驱动程序。

这两种存储类的回收策略可确保当删除相应的持久卷时删除底层的 Azure Blob 存储。 默认情况下，storage类还会将容器配置为可扩展，因为 set allowVolumeExpansion 参数设置为 true。

可以为存储类定义中的参数选择以下 Azure 存储冗余 SKUskuname 之一：

• Standard_LRS：标准本地冗余存储
• Premium_LRS：高级本地冗余存储
• Standard_ZRS：标准区域冗余存储
• Premium_ZRS：高级区域冗余存储
• Standard_GRS：标准异地冗余存储
• Standard_RAGRS：标准只读访问地理冗余存储

使用 Azure Blob 存储为动态 PV 创建自定义存储类

默认存储类适用于大多数方案。 在某些情况下，你可能想要使用自己的参数自定义自己的存储类。 在本部分中，我们提供了两个示例：一个使用 NFS 协议 ，一个使用 blobfuse。

使用 NFS 协议的自定义存储类示例

此示例中的清单使用 NFS 协议装载 Blob 存储容器。 可以使用它添加 tags 参数。

1. 在以下示例清单中创建一个名为 blob-nfs-sc.yaml 并粘贴的文件：

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: blob-nfs
   provisioner: blob.csi.azure.com
   parameters:
     protocol: nfs
     tags: environment=Development
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   

2. 使用 kubectl apply 以下命令创建存储类：

   kubectl apply -f blob-nfs-sc.yaml
   

   输出应类似于以下示例输出：

   storageclass.storage.k8s.io/blob-nfs created
   

使用 blobfuse 的自定义存储类示例

此示例中的清单使用 blobfuse 并装载 Blob 存储容器。 可以使用它更新 skuName 参数。

1. 在以下示例清单中创建一个名为 blobfuse-sc.yaml 并粘贴的文件：

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: blob-fuse
   provisioner: blob.csi.azure.com
   parameters:
     skuName: Standard_GRS  # available values: Standard_LRS, Premium_LRS, Standard_GRS, Standard_RAGRS
   reclaimPolicy: Delete
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   mountOptions:
     - -o allow_other
     - --file-cache-timeout-in-seconds=120
     - --use-attr-cache=true
     - --cancel-list-on-mount-seconds=10  # prevent billing charges on mounting
     - -o attr_timeout=120
     - -o entry_timeout=120
     - -o negative_timeout=120
     - --log-level=LOG_WARNING  # LOG_WARNING, LOG_INFO, LOG_DEBUG
     - --cache-size-mb=1000  # Default will be 80% of available memory, eviction will happen beyond that.
   

2. 使用 kubectl apply 以下命令创建存储类：

   kubectl apply -f blobfuse-sc.yaml
   

   输出应类似于以下示例输出：

   storageclass.storage.k8s.io/blob-fuse created
   

使用 Azure Blob 存储的动态 PV 的存储类参数

使用以下参数组为使用 Azure Blob 存储的持久卷声明 (PVC) 定义自定义存储类：

• 存储帐户：skuName、location、resourceGroup、subscriptionID、storageAccount、networkEndpointType、accessTier、allowBlobPublicAccess、allowSharedKeyAccess、requireInfraEncryption、publicNetworkAccess、tags和matchTags。
• 容器和端点：protocol、containerName、containerNamePrefix、server、storageEndpointSuffix、useDataPlaneAPI、softDeleteBlobs、softDeleteContainers以及enableBlobVersioning。
• BlobFuse：storeAccountKey、、getLatestAccountKeysecretName、secretNamespace和isHnsEnabled。
• NFS： mountPermissions 和 fsGroupChangePolicy.
• 虚拟网络： vnetResourceGroup、 vnetName、 subnetName和 vnetLinkName。

为具有 Azure Blob 存储的动态 PV 配置存储帐户参数

使用以下参数为动态预配的 PV 配置Azure存储帐户：

为具有 Azure Blob 存储的动态 PV 配置容器和终结点参数

使用以下参数为动态预配的 PV 配置容器、装载协议、存储终结点和标记：

为具有 Azure Blob 存储的动态 PV 配置 BlobFuse 参数

仅当对动态预配的 PV 使用 BlobFuse 时，以下参数才适用：

为具有 Azure Blob 存储的动态 PV 配置 NFS 参数

仅当对动态预配的 PV 使用 NFS 时，以下参数才适用：

为具有 Azure Blob 存储的动态 PV 配置虚拟网络参数

当驱动程序为动态预配的 PV 配置虚拟网络访问时，请使用以下参数：

为具有 Azure Blob 存储的动态 PV 配置专用终结点

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: blob-fuse
provisioner: blob.csi.azure.com
parameters:
  skuName: Premium_LRS  # available values: Standard_LRS, Premium_LRS, Standard_GRS, Standard_RAGRS, Standard_ZRS, Premium_ZRS
  protocol: fuse2
  networkEndpointType: privateEndpoint
reclaimPolicy: Delete
volumeBindingMode: Immediate
allowVolumeExpansion: true
mountOptions:
  - -o allow_other
  - --file-cache-timeout-in-seconds=120
  - --use-attr-cache=true
  - --cancel-list-on-mount-seconds=10  # prevent billing charges on mounting
  - -o attr_timeout=120
  - -o entry_timeout=120
  - -o negative_timeout=120
  - --log-level=LOG_WARNING  # LOG_WARNING, LOG_INFO, LOG_DEBUG
  - --cache-size-mb=1000  # Default will be 80% of available memory, eviction will happen beyond that.

创建用于动态预配的 PVC

PVC 使用存储类对象动态预配 Azure Blob 存储。 可以使用本部分中的示例 YAML 清单创建大小 为 5 GB 且具有 ReadWriteMany 访问权限的 PVC。 有关访问模式的详细信息，请参阅 Kubernetes PV 访问模式。

1. 创建一个名为blob-nfs-pvc.yaml的文件，并在其中粘贴以下 YAML 清单：

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: azure-blob-storage
   spec:
     accessModes:
     - ReadWriteMany
     storageClassName: azureblob-nfs-premium
     resources:
       requests:
         storage: 5Gi
   

2. 使用 kubectl create 以下命令创建 PVC：

   kubectl create -f blob-nfs-pvc.yaml
   

3. 使用 kubectl get 以下命令查看 PVC 的状态：

   kubectl get pvc azure-blob-storage
   

   输出应类似于以下示例输出，其中显示 PVC 处于 Bound 状态：

   NAME                 STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                AGE
   azure-blob-storage   Bound    pvc-aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb   5Gi        RWX            azureblob-nfs-premium       92m
   

在 Pod 中装载动态预配的 Blob 存储卷

以下 YAML 创建了一个 Pod，该 Pod 使用持久卷声明 azure-blob-storage 在 /mnt/blob 路径下挂载 Azure Blob 存储。

1. 创建名为 blob-nfs-pv 的文件并粘贴以下 YAML 清单。 请确保 claimName 与你之前创建的 PVC（azure-blob-storage）相匹配。

   kind: Pod
   apiVersion: v1
   metadata:
     name: mypod
   spec:
     containers:
     - name: mypod
       image: mcr.azk8s.cn/oss/nginx/nginx:1.17.3-alpine
       resources:
         requests:
           cpu: 100m
           memory: 128Mi
         limits:
           cpu: 250m
           memory: 256Mi
       volumeMounts:
       - mountPath: "/mnt/blob"
         name: volume
         readOnly: false
     volumes:
       - name: volume
         persistentVolumeClaim:
           claimName: azure-blob-storage
   

2. 使用以下命令 kubectl apply 创建 Pod：

   kubectl apply -f blob-nfs-pv.yaml
   

3. 成功运行 Pod 后，使用以下命令创建一个名为 test.txt 的新文件：

   kubectl exec mypod -- touch /mnt/blob/test.txt
   

4. 使用以下命令验证磁盘是否已正确装载，以列出装载的目录中的文件：

   kubectl exec mypod -- ls /mnt/blob
   

   输出应类似于以下示例输出，它展示了您在已挂载的 Azure Blob 存储中创建的 test.txt 文件：

   test.txt
   

使用 StatefulSet 管理利用 Azure Blob 存储的卷的生命周期

若要使存储卷在工作负载中持久存在，可以使用 StatefulSet。 通过此状态，可以更轻松地将现有卷匹配到替换任何失败 Pod 的新 Pod。 以下示例演示如何使用 NFS 协议或 Blobfuse 为 Blob 存储设置 StatefulSet。

使用 Azure Blob 存储创建静态 PV

以下部分提供有关使用 Azure Blob 存储创建静态 PV 的说明。 静态 PV 是管理员手动创建的持久卷。 此 PV 可供集群中的 Pods 使用。 若要使用静态 PV，请创建引用 PV 的 PVC，然后创建引用 PVC 的 Pod。

具有 Azure Blob 存储的静态 PV 的 CSI 卷参数

下表列出了可用于具有 Azure Blob 存储的静态 PV 的 CSI 卷源中的参数：

创建 Blob 存储容器

在为 AKS 创建 Azure Blob Storage 资源时，可以在节点资源组中创建该资源。 此方法允许 AKS 群集访问和管理 Blob 存储资源。

1. 使用命令 az aks show 通过参数 --query nodeResourceGroup 获取 AKS 群集的节点资源组的名称。

   az aks show --resource-group myResourceGroup --name myAKSCluster --query nodeResourceGroup -o tsv
   

   该命令的输出类似于以下示例：

   MC_myResourceGroup_myAKSCluster_chinanorth3
   

2. 如果在节点资源组中创建存储帐户，请使用上一步返回的节点资源组名称（例如， MC_myResourceGroup_myAKSCluster_eastus）。 然后，按照 “管理 Blob 存储” 中的步骤授权访问并在该存储帐户中创建容器。

装载卷

在本部分中，你将使用 NFS 协议或 Blobfuse 来挂载持久卷。

使用永久性卷

以下 YAML 创建一个 Pod，它使用之前创建的名为 pvc-blob 的 PV 或 PVC 在路径 /mnt/blob 装载 Azure Blob 存储。

1. 创建一个名为nginx-pod-blob.yaml的文件，并将以下 YAML 清单粘贴进去。 请确保 claimName 与之前创建的 PVC（pvc-blob）匹配。

   kind: Pod
   apiVersion: v1
   metadata:
     name: nginx-blob
   spec:
     nodeSelector:
       "kubernetes.io/os": linux
     containers:
       - image: mcr.azk8s.cn/oss/nginx/nginx:1.17.3-alpine
         name: nginx-blob
         volumeMounts:
           - name: blob01
             mountPath: "/mnt/blob"
             readOnly: false
     volumes:
       - name: blob01
         persistentVolumeClaim:
           claimName: pvc-blob
   

2. 使用 kubectl create 命令创建一个 pod 并装载 PVC：

   kubectl create -f nginx-pod-blob.yaml
   

3. 使用 kubectl exec 以下命令创建与 Pod 的交互式 shell 会话，验证是否已正确装载 Blob 存储：

   kubectl exec -it nginx-blob -- df -h
   

   输出应类似于以下示例输出，其中显示了 Blob 存储装载在 /mnt/blob 路径上：

   Filesystem      Size  Used Avail Use% Mounted on
   ...
   blobfuse         14G   41M   13G   1% /mnt/blob
   ...
   

相关内容

• 在 Azure Kubernetes 服务中使用 Azure 标签
• Azure Blob 存储的网络文件系统 (NFS) 3.0 协议支持的已知问题