在 Azure Kubernetes 服务 (AKS) 中通过 Azure Blob 存储创建和使用卷

基于容器的应用程序通常需要访问数据并将数据保存在外部数据卷中。 如果多个 Pod 需要同时访问同一存储卷，则可以通过 blobfuse 或网络文件系统 (NFS) 使用 Azure Blob 存储进行连接。

本文介绍如何：

• 通过安装容器存储接口 (CSI) 驱动程序并动态创建要附加到 Pod 的 Azure Blob 存储容器来使用动态永久性卷 (PV)。
• 通过创建 Azure Blob 存储容器来使用静态 PV，或者使用现有容器并将其附加到 Pod。

有关 Kubernetes 卷的详细信息，请参阅 AKS 中应用程序的存储选项。

开始之前

• 在 AKS 群集上启用 Blob 存储 CSI 驱动程序。

• 若要在使用 blobfuse 装载时支持 Azure DataLake Gen2 存储帐户，你需要执行以下操作：

  • 若要在动态预配中使用驱动程序创建 ADLS 帐户，需要在存储类参数中指定 isHnsEnabled: "true"。
  • 若要在静态预配中启用对 ADLS 帐户的 blobfuse 访问，请在永久性卷中指定装载选项 --use-adls=true。
  • 如果要启用具有分层命名空间的存储帐户，应使用 --use-adls=true 装载选项重新装载现有永久性卷。

• 关于 blobfuse 缓存

  • 默认情况下，blobfuse 缓存位于 /mnt 目录中。 如果 VM SKU 提供了临时磁盘，则 /mnt 目录将装载在临时磁盘上。 但是，如果 VM SKU 不提供临时磁盘，则 /mnt 目录装载在 OS 磁盘上，可以设置 --tmp-path= 装载选项以指定不同的缓存目录

动态预配卷

本部分为想要预配一个或多个永久性卷的群集管理员提供指导，这些卷中包含供工作负载使用的 Blob 存储的详细信息。 永久性卷声明 (PVC) 使用存储类对象来动态预配 Azure Blob 存储容器。

动态永久性卷的存储类参数

下表包含可用于为永久性卷声明定义自定义存储类的参数。

¹ 如果存储帐户由驱动程序创建，则只需在存储类中指定 networkEndpointType: privateEndpoint 参数。 CSI 驱动程序与帐户一起创建专用终结点。 如果自带存储帐户，则需要为该存储帐户创建专用终结点。

使用内置存储类创建永久性卷声明

永久性卷声明 (PVC) 使用存储类对象来动态预配 Azure Blob 存储容器。 可使用以下 YAML，通过内置存储类创建具有 ReadWriteMany 访问权限的永久性卷，其大小为 5 GB。 有关访问模式的详细信息，请参阅 Kubernetes 永久性卷文档。

1. 创建名为 blob-nfs-pvc.yaml 的文件，并将其复制到以下 YAML 中。

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: azure-blob-storage
   spec:
     accessModes:
     - ReadWriteMany
     storageClassName: azureblob-nfs-premium
     resources:
       requests:
         storage: 5Gi
   

2. 使用 kubectl create 命令创建永久性卷声明：

   kubectl create -f blob-nfs-pvc.yaml
   

完成后，将创建 Blob 存储容器。 可以使用 kubectl get 命令查看 PVC 的状态：

kubectl get pvc azure-blob-storage

该命令的输出类似于以下示例：

NAME                 STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                AGE
azure-blob-storage   Bound    pvc-b88e36c5-c518-4d38-a5ee-337a7dda0a68   5Gi        RWX            azureblob-nfs-premium       92m

使用永久性卷声明

以下 YAML 创建的 Pod 使用永久性卷声明 azure-blob-storage 将 Azure Blob 存储装载到 /mnt/blob 路径。

1. 创建名为 blob-nfs-pv 的文件，并将其复制到以下 YAML 中。 请确保 claimName 与上一步骤中创建的 PVC 匹配。

   kind: Pod
   apiVersion: v1
   metadata:
     name: mypod
   spec:
     containers:
     - name: mypod
       image: mcr.azk8s.cn/oss/nginx/nginx:1.17.3-alpine
       resources:
         requests:
           cpu: 100m
           memory: 128Mi
         limits:
           cpu: 250m
           memory: 256Mi
       volumeMounts:
       - mountPath: "/mnt/blob"
         name: volume
         readOnly: false
     volumes:
       - name: volume
         persistentVolumeClaim:
           claimName: azure-blob-storage
   

2. 使用 kubectl apply 命令创建 Pod：

   kubectl apply -f blob-nfs-pv.yaml
   

3. Pod 处于运行状态后，运行以下命令创建名为 test.txt 的新文件。

   kubectl exec mypod -- touch /mnt/blob/test.txt
   

4. 若要验证磁盘是否已正确装载，请运行以下命令并验证输出是否出现 test.txt 文件：

   kubectl exec mypod -- ls /mnt/blob
   

   该命令的输出类似于以下示例：

   test.txt
   

创建自定义存储类

默认存储类适合最常见的方案，但并非适合所有方案。 在某些情况下，你可能想要使用自己的参数来自定义自己的存储类。 在本部分中，我们提供了两个示例。 第一个示例使用 NFS 协议，第二个使用 blobfuse。

使用 NFS 协议的存储类

在此示例中，以下清单使用 NFS 协议配置装载 Blob 存储容器。 使用它添加 tag 参数。

1. 创建名为 blob-nfs-sc.yaml 的文件，并粘贴以下示例清单：

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: azureblob-nfs-premium
   provisioner: blob.csi.azure.com
   parameters:
     protocol: nfs
     tags: environment=Development
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   mountOptions:
     - nconnect=4
   

2. 使用 kubectl apply 命令创建存储类：

   kubectl apply -f blob-nfs-sc.yaml
   

   该命令的输出类似于以下示例：

   storageclass.storage.k8s.io/blob-nfs-premium created
   

使用 blobfuse 的存储类

在此示例中，以下清单使用 blobfuse 进行配置并装载 Blob 存储容器。 使用它更新 skuName 参数。

1. 创建名为 blobfuse-sc.yaml 的文件，并粘贴以下示例清单：

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: azureblob-fuse-premium
   provisioner: blob.csi.azure.com
   parameters:
     skuName: Standard_GRS  # available values: Standard_LRS, Premium_LRS, Standard_GRS, Standard_RAGRS
   reclaimPolicy: Delete
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   mountOptions:
     - -o allow_other
     - --file-cache-timeout-in-seconds=120
     - --use-attr-cache=true
     - --cancel-list-on-mount-seconds=10  # prevent billing charges on mounting
     - -o attr_timeout=120
     - -o entry_timeout=120
     - -o negative_timeout=120
     - --log-level=LOG_WARNING  # LOG_WARNING, LOG_INFO, LOG_DEBUG
     - --cache-size-mb=1000  # Default will be 80% of available memory, eviction will happen beyond that.
   

2. 使用 kubectl apply 命令创建存储类：

   kubectl apply -f blobfuse-sc.yaml
   

   该命令的输出类似于以下示例：

   storageclass.storage.k8s.io/blob-fuse-premium created
   

静态预配卷

本部分为想要创建一个或多个永久性卷的群集管理员提供指导，这些卷中包含供工作负载使用的 Blob 存储的详细信息。

永久性卷的静态预配参数

下表包含可用于定义永久性卷的参数。

创建 Blob 存储容器

创建用于 AKS 的 Azure Blob 存储资源时，可以在节点资源组中创建该资源。 此方法允许 AKS 群集访问和管理 Blob 存储资源。

对于本文，请在节点资源组中创建容器。 首先，使用 az aks show 命令获取资源组名称并添加 --query nodeResourceGroup 查询参数。 以下示例在名为 myResourceGroup 的资源组中获取名为 myAKSCluster 的 AKS 群集的节点资源组：

az aks show --resource-group myResourceGroup --name myAKSCluster --query nodeResourceGroup -o tsv

该命令的输出类似于以下示例：

MC_myResourceGroup_myAKSCluster_chinaeast2

接下来，按照管理 Blob 存储中的步骤创建一个用于存储 Blob 的容器来授权访问，然后创建容器。

装载卷

在本部分，你将使用 NFS 协议或 Blobfuse 装载永久性卷。

使用永久性卷

以下 YAML 创建一个 Pod，该 Pod 使用前面创建的名为 pvc-blob 的永久性卷或永久性卷声明，在 /mnt/blob 路径中装载 Azure Blob 存储。

1. 创建名为 nginx-pod-blob.yaml 的文件，并将其复制到以下 YAML 中。 确保在为 NFS 或 Blobfuse 创建永久性卷时，claimName 与上一步中创建的 PVC 相匹配。

   kind: Pod
   apiVersion: v1
   metadata:
     name: nginx-blob
   spec:
     nodeSelector:
       "kubernetes.io/os": linux
     containers:
       - image: mcr.azk8s.cn/oss/nginx/nginx:1.17.3-alpine
         name: nginx-blob
         volumeMounts:
           - name: blob01
             mountPath: "/mnt/blob"
             readOnly: false
     volumes:
       - name: blob01
         persistentVolumeClaim:
           claimName: pvc-blob
   

2. 运行以下命令以使用 kubectl create 命令创建 Pod 并装载 PVC，该命令引用之前创建的 YAML 文件：

   kubectl create -f nginx-pod-blob.yaml
   

3. 运行以下命令来创建与 Pod 的交互式 shell 会话，从而确认 Blob 存储已装载：

   kubectl exec -it nginx-blob -- df -h
   

   命令的输出如下例所示：

   Filesystem      Size  Used Avail Use% Mounted on
   ...
   blobfuse         14G   41M   13G   1% /mnt/blob
   ...
   

后续步骤

• 若要了解如何将 CSI 驱动程序用于 Azure Blob 存储，请参阅将 Azure Blob 存储与 CSI 驱动程序配合使用。
• 如需相关的最佳做法，请参阅 AKS 中的存储和备份最佳做法。