在 Azure Kubernetes 服务 (AKS) 中，使用 Azure Blob 存储来创建和管理持久卷（Persistent Volumes，PV）

如果多个 Pod 需要并发访问同一存储卷，则可以使用 Azure Blob 存储通过 blobfuse 或 网络文件系统（NFS）进行连接。

本文介绍如何动态和静态创建 Azure Blob 存储容器，供 Azure Kubernetes 服务 （AKS） 群集中的多个 Pod 使用。

先决条件

• 在你的 AKS 集群上启用了 Azure Blob 存储 CSI 驱动程序。

• 若要在使用 blobfuse 装载时支持 Azure DataLake Gen2 存储帐户，需要执行以下操作：

  • 若要在动态预配中使用驱动程序创建 ADLS 帐户，请在存储类参数中指定 isHnsEnabled: "true" 。
  • 若要在静态预配中启用对 ADLS 帐户的 blobfuse 访问，请在持久卷中指定装载选项 --use-adls=true 。
  • 如果要启用具有分层命名空间的存储帐户，应使用 --use-adls=true 装载选项重新装载现有永久性卷。

• 默认情况下，blobfuse 缓存位于 /mnt 目录中。 如果 VM SKU 提供临时磁盘，则会将 /mnt 目录装载到临时磁盘上。 但是，如果 VM SKU 不提供临时磁盘，则会将 /mnt 目录装载到 OS 磁盘上，可以设置 --tmp-path= 装载选项来指定不同的缓存目录。

使用内置存储类，通过 Azure Blob 存储创建动态 PV

storage类用于定义如何创建Azure Blob storage容器。 存储帐户会自动在节点资源组中创建，以便与存储类一起使用来保存 Azure Blob 存储容器。 在 AKS 上使用存储 CSI 驱动程序时，有两个额外的内置 StorageClasses，它们使用 Azure Blob 存储的 CSI 驱动程序。

这两种存储类的回收策略可确保当删除相应的持久卷时删除底层的 Azure Blob 存储。 默认情况下，storage类还会将容器配置为可扩展，因为 set allowVolumeExpansion 参数设置为 true。

可以为存储类定义中的参数选择以下 Azure 存储冗余 SKUskuname 之一：

• Standard_LRS：标准本地冗余存储
• Premium_LRS：高级本地冗余存储
• Standard_ZRS：标准区域冗余存储
• Premium_ZRS：高级区域冗余存储
• Standard_GRS：标准异地冗余存储
• Standard_RAGRS：标准只读访问地理冗余存储

使用 Azure Blob 存储为动态 PV 创建自定义存储类

默认存储类适用于大多数方案。 在某些情况下，你可能想要使用自己的参数自定义自己的存储类。 在本部分中，我们提供了两个示例：一个使用 NFS 协议 ，一个使用 blobfuse。

使用 NFS 协议的自定义存储类示例

此示例中的清单使用 NFS 协议装载 Blob 存储容器。 可以使用它添加 tags 参数。

1. 在以下示例清单中创建一个名为 blob-nfs-sc.yaml 并粘贴的文件：

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: azureblob-nfs-premium
   provisioner: blob.csi.azure.com
   parameters:
     protocol: nfs
     tags: environment=Development
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   mountOptions:
     - nconnect=4
   

2. 使用 kubectl apply 以下命令创建存储类：

   kubectl apply -f blob-nfs-sc.yaml
   

   输出应类似于以下示例输出：

   storageclass.storage.k8s.io/blob-nfs-premium created
   

使用 blobfuse 的自定义存储类示例

此示例中的清单使用 blobfuse 并装载 Blob 存储容器。 可以使用它更新 skuName 参数。

1. 在以下示例清单中创建一个名为 blobfuse-sc.yaml 并粘贴的文件：

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: azureblob-fuse-premium
   provisioner: blob.csi.azure.com
   parameters:
     skuName: Standard_GRS  # available values: Standard_LRS, Premium_LRS, Standard_GRS, Standard_RAGRS
   reclaimPolicy: Delete
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   mountOptions:
     - -o allow_other
     - --file-cache-timeout-in-seconds=120
     - --use-attr-cache=true
     - --cancel-list-on-mount-seconds=10  # prevent billing charges on mounting
     - -o attr_timeout=120
     - -o entry_timeout=120
     - -o negative_timeout=120
     - --log-level=LOG_WARNING  # LOG_WARNING, LOG_INFO, LOG_DEBUG
     - --cache-size-mb=1000  # Default will be 80% of available memory, eviction will happen beyond that.
   

2. 使用 kubectl apply 以下命令创建存储类：

   kubectl apply -f blobfuse-sc.yaml
   

   输出应类似于以下示例输出：

   storageclass.storage.k8s.io/blob-fuse-premium created
   

使用 Azure Blob 存储的动态 PV 的存储类参数

下表包括可用于为 Azure Blob 存储上的持久性卷声明（PVC）定义自定义存储类的参数：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: blob-fuse
provisioner: blob.csi.azure.com
parameters:
  skuName: Premium_LRS  # available values: Standard_LRS, Premium_LRS, Standard_GRS, Standard_RAGRS, Standard_ZRS, Premium_ZRS
  protocol: fuse2
  networkEndpointType: privateEndpoint
reclaimPolicy: Delete
volumeBindingMode: Immediate
allowVolumeExpansion: true
mountOptions:
  - -o allow_other
  - --file-cache-timeout-in-seconds=120
  - --use-attr-cache=true
  - --cancel-list-on-mount-seconds=10  # prevent billing charges on mounting
  - -o attr_timeout=120
  - -o entry_timeout=120
  - -o negative_timeout=120
  - --log-level=LOG_WARNING  # LOG_WARNING, LOG_INFO, LOG_DEBUG
  - --cache-size-mb=1000  # Default will be 80% of available memory, eviction will happen beyond that.

使用 Azure Blob 存储创建 PVC

PVC 使用存储类对象动态预配 Azure Blob 存储。 可以使用本部分中的示例 YAML 清单创建大小 为 5 GB 且具有 ReadWriteMany 访问权限的 PVC。 有关访问模式的详细信息，请参阅 Kubernetes PV 访问模式。

1. 创建一个名为blob-nfs-pvc.yaml的文件，并在其中粘贴以下 YAML 清单：

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: azure-blob-storage
   spec:
     accessModes:
     - ReadWriteMany
     storageClassName: azureblob-nfs-premium
     resources:
       requests:
         storage: 5Gi
   

2. 使用 kubectl create 以下命令创建 PVC：

   kubectl create -f blob-nfs-pvc.yaml
   

3. 使用 [kubectl get pvc][kubectl-get-pvc] 命令查看 PVC 的状态：

   kubectl get pvc azure-blob-storage
   

   输出应类似于以下示例输出，其中显示 PVC 处于 Bound 状态：

   NAME                 STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                AGE
   azure-blob-storage   Bound    pvc-aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb   5Gi        RWX            azureblob-nfs-premium       92m
   

在 Pod 中使用 PVC 装载 Azure Blob 存储

以下 YAML 创建一个 Pod，该 Pod 使用永久性卷声明 azure-blob-storage 将 Azure Blob 存储装载到“/mnt/blob”路径。

1. 创建一个名为blob-nfs-pv的文件，并将以下 YAML 清单粘贴进去。 确保 claimName 与上一步中创建的 PVC 匹配。

   kind: Pod
   apiVersion: v1
   metadata:
     name: mypod
   spec:
     containers:
     - name: mypod
       image: mcr.azk8s.cn/oss/nginx/nginx:1.17.3-alpine
       resources:
         requests:
           cpu: 100m
           memory: 128Mi
         limits:
           cpu: 250m
           memory: 256Mi
       volumeMounts:
       - mountPath: "/mnt/blob"
         name: volume
         readOnly: false
     volumes:
       - name: volume
         persistentVolumeClaim:
           claimName: azure-blob-storage
   

2. 使用以下命令 kubectl apply 创建 Pod：

   kubectl apply -f blob-nfs-pv.yaml
   

3. 成功运行 Pod 后，使用以下命令创建一个名为 test.txt 的新文件：

   kubectl exec mypod -- touch /mnt/blob/test.txt
   

4. 使用以下命令验证磁盘是否已正确装载，以列出装载的目录中的文件：

   kubectl exec mypod -- ls /mnt/blob
   

   输出应类似于以下示例输出，它展示了您在已挂载的 Azure Blob 存储中创建的 test.txt 文件：

   test.txt
   

使用 StatefulSet 管理利用 Azure Blob 存储的卷的生命周期

若要使存储卷在工作负载中持久存在，可以使用 StatefulSet。 这样，将现有卷与替换任何失败的 Pod 相匹配就更容易了。 以下示例演示如何使用 NFS 协议或 Blobfuse 为 Blob 存储设置 StatefulSet。

使用 Azure Blob 存储创建静态 PV

以下部分提供有关使用 Azure Blob 存储创建静态 PV 的说明。 静态 PV 是管理员手动创建的持久卷。 此 PV 可供集群中的 Pods 使用。 若要使用静态 PV，请创建引用 PV 的 PVC，然后创建引用 PVC 的 Pod。

使用 Azure Blob 存储的静态 PV 的存储类参数

下表包含可用于使用 Azure Blob 存储针对静态 PVC 定义自定义存储类的参数：

创建 Blob 存储容器

在为 AKS 创建 Azure Blob Storage 资源时，可以在节点资源组中创建该资源。 此方法允许 AKS 群集访问和管理 Blob 存储资源。

1. 使用命令 az aks show 通过参数 --query nodeResourceGroup 获取 AKS 群集的节点资源组的名称。

   az aks show --resource-group myResourceGroup --name myAKSCluster --query nodeResourceGroup -o tsv
   

   该命令的输出类似于以下示例：

   MC_myResourceGroup_myAKSCluster_chinanorth3
   

2. 按照 “管理 Blob 存储 ”中的步骤创建用于存储 Blob 的容器，以授权访问，然后创建容器。

装载卷

在本部分中，你将使用 NFS 协议或 Blobfuse 来挂载持久卷。

使用永久性卷

以下 YAML 创建一个 Pod，它使用之前创建的名为 pvc-blob 的 PV 或 PVC 在路径 /mnt/blob 装载 Azure Blob 存储。

1. 创建一个名为nginx-pod-blob.yaml的文件，并将以下 YAML 清单粘贴进去。 请确保在为 NFS 或 Blobfuse 创建 PV 时，claimName 匹配上一步中创建的 PVC。

   kind: Pod
   apiVersion: v1
   metadata:
     name: nginx-blob
   spec:
     nodeSelector:
       "kubernetes.io/os": linux
     containers:
       - image: mcr.azk8s.cn/oss/nginx/nginx:1.17.3-alpine
         name: nginx-blob
         volumeMounts:
           - name: blob01
             mountPath: "/mnt/blob"
             readOnly: false
     volumes:
       - name: blob01
         persistentVolumeClaim:
           claimName: pvc-blob
   

2. 使用 kubectl create 命令创建一个 pod 并装载 PVC：

   kubectl create -f nginx-pod-blob.yaml
   

3. 使用 kubectl exec 以下命令创建与 Pod 的 shell 会话，验证是否已正确装载 Blob 存储：

   kubectl exec -it nginx-blob -- df -h
   

   输出应类似于以下示例输出，其中显示了 Blob 存储装载在 /mnt/blob 路径上：

   Filesystem      Size  Used Avail Use% Mounted on
   ...
   blobfuse         14G   41M   13G   1% /mnt/blob
   ...
   

相关内容

• 在 Azure Kubernetes 服务中使用 Azure 标签