容器服务支持通过 CSI 使用 vePFS 文件存储，本文为您介绍如何创建 vePFS 文件存储类型的存储卷和存储卷声明，以及工作负载如何使用 vePFS 文件存储静态存储卷。

前提条件

• 确保当前集群已经安装 vePFS 文件存储服务组件 csi-vepfs，操作方法参见：安装组件。
• 已经创建 vePFS 文件存储实例和挂载服务，并将挂载服务绑定到存储实例。详细介绍参见：创建 vePFS 文件系统、创建挂载服务、绑定存储实例。
• （可选）若通过 kubectl 命令行使用，确保本地已经将安装 kubectl 工具。详细操作参见：安装和设置 kubectl。

使用限制

使用 vePFS 文件存储时，需要注意以下部署兼容性、组件卸载、服务挂载、运行性能相关限制或影响。

部署兼容性相关限制

• 一个 vePFS 挂载服务不能同时用于 vePFS CSI 方案和主机预挂载 vePFS 方案。对一个 vePFS 文件系统实例，如果用户已经使用 VKE 节点预挂载 vePFS 并通过 hostpath 供给 Pod 的方式，需要额外创建一个 vePFS 挂载服务，将新的 vePFS 挂载服务配置给 vePFS CSI 使用。
• 当前通过 CSI 使用 vePFS 文件存储的方案与原有 VKE 接入使用 vePFS 方案不能同时使用。因此，建议创建新集群使用 CSI 方案，若存量资源需要迁移最新 CSI 方案，请 提交工单 获取技术支持。
• vePFS CSI controller 会被优先调度到拥有标签vepfs.csi.volcengine.com/controller=preferred的节点，如果计划对 VKE 集群节点池进行频繁扩缩容，建议 CSI controller 优先调度到常驻节点（不受扩缩容影响），以保证 vePFS CSI 可以快速及时地处理 VKE 集群和 vePFS 集群的成员一致性。否则，运行 vePFS CSI controller 的节点被缩容删除时，vePFS CSI controller 可能无法维持 VKE 和 vePFS 集群间的成员一致性，导致 vePFS CSI 后续的操作缓慢。
• 已经以 VPC 网络加入到 vePFS 集群中的节点将无法使用 RDMA 网络。如果要切换成 RDMA 网络，请将 VKE 节点从 vePFS 文件系统集群中删除。

组件卸载相关限制

• 若 csi-vepfs 组件被卸载，正在运行的 Pod 仍可继续访问 vePFS 存储至运行结束；但若 csi-vepfs 已经被卸载，删除 Pod 将会阻塞住，重新安装 csi-vepfs 后可继续删除 Pod。因此，不建议在 Pod 运行的时卸载 csi-vepfs 组件。
• csi-vepfs 使文件系统客户端运行在专用容器中，vePFS 客户端将占用容器 Kubernetes 节点的计算资源（默认占用 4 CPU 和 4 GiB 内存），若节点资源紧张，csi-vepfs 客户端容器将无法启动成功，Pod 也将阻塞在创建阶段无法启动。
• 提前删除 vePFS 挂载服务，将导致 vePFS CSI 组件无法卸载。
• vePFS CSI 组件删除后，部分资源无法确认能否被删除，可能构成资源残留。
  • vePFS mount service secret：创建 vePFS PV 时，VKE 将一起创建一个 Secret，其中保存了 vePFS 挂载服务三个管理节点的地址和登录秘钥，可通过以下命令查询 VKE 集群中存在的上述 Secret。

  kubectl get -n kube-system secrets | grep "^vepfs-secret-mount-[0-9a-z]*"
  

  • VKE 节点上的安全组：为了保证 VKE 节点能够与 vePFS 文件系统集群互通，vePFS CSI 会同时将管理服务 ECS 的安全组添加到 VKE 节点的安全组列表中。但 CSI 卸载的过程中无法确定该安全组是否仍被用户使用，所以无法将它从 VKE 节点中解绑，用户可以通过 ECS 控制台，在安全组选项中查看或删除与 vePFS 挂载服务 所属 ECS 节点中相同的安全组。

服务挂载相关限制

• 单个 vePFS 实例支持绑定多个挂载服务；单个挂载服务也支持绑定到多个 vePFS 实例。
• 单个 ECS 只能加入一个 vePFS 挂载服务（相当于客户端集群），一个挂载服务可以绑定多个文件系统存储实例。
• 一个节点仅支持绑定一个挂载服务，因此，推荐一个 VKE 集群绑定一个 vePFS 挂载服务。
• vePFS 暂不支持使用 veLinux CentOS 兼容版镜像。

运行性能相关限制

• 第一次在节点上启动使用 vePFS 的容器相比后续启动速度慢 15 秒左右。因为vePFS CSI 需要在节点上为 vePFS 编译内核驱动，编译过程引入了更多的耗时，但是这个耗时仅仅发生在第一次创建使用 vePFS 卷的容器的过程中。

操作步骤

可根据实际情况选择控制台或 kubectl 命令行方式使用 vePFS 文件存储静态存储卷。

方式一：通过控制台使用

已经登录 容器服务控制台 的情况下，可直接通过控制台使用 vePFS 文件存储静态存储卷。

步骤一：创建存储卷（PV）

1. 单击目标集群名称，在集群管理页面选择 存储管理 > 存储卷。
2. 在存储卷管理页面，单击 创建存储卷。
3. 在弹出的存储卷创建页面，配置 vePFS 文件存储类型存储卷相关参数，完成后单击 确定 。

步骤二：创建存储卷声明（PVC）

1. 单击目标集群名称，在集群管理页面选择 存储管理 > 存储卷声明。
2. 在存储卷管理页面，单击 创建存储卷声明。
3. 在弹出的存储卷声明创建页面，配置 vePFS 文件存储类型存储卷声明相关参数，完成后单击 确定 。

步骤三：工作负载添加卷

vePFS 文件存储类型的静态存储卷创建完成后，可通过添加卷的方式挂载到工作负载使用，包括：无状态负载、有状态负载、任务、定时任务、守护进程。

可通过创建工作负载或更新工作负载操作的容器配置步骤，为工作负载添加卷并挂载卷。详细操作参见：工作负载。

方式二：通过 kubectl 命令行使用

已经 连接集群 的情况下，可通过 kubectl 命令行使用 vePFS 文件存储静态存储卷。

步骤一：连接鉴权

依次执行以下命令，将 vepfs 管理节点的 ssh 连接鉴权信息写在 secret 中。

echo -n '[
    {
        "address":"10.244.0.1",
        "password":"sshpassword",
        "hostname":"i-host1"
    },
    {
        "address":"10.244.0.2",
        "password":"sshpassword",
        "hostname":"i-host2"
    },
    {
        "address":"10.244.0.3",
        "password":"sshpassword",
        "hostname":"i-host3"
    }
]' > /tmp/vepfs-hots.json


kubectl create secret generic vepfs-secret --namespace kube-system --from-file=vepfsHosts=/tmp/vepfs-hots.json

步骤二：创建存储卷（PV）

1. 创建 PV 的 YAML 文件，示例文件vke-vepfs-static-pv.yaml。支持挂载整个文件系统或文件系统子目录，可根据实际情况按需选择。

• 挂载整个 vePFS 文件系统的 Yaml 示例如下：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: vepfs-static-pv           # PV 名称，建议 PV name 集群内唯一。
  namespace: default
  annotations:
    pv.kubernetes.io/provisioned-by: vepfs.csi.volcengine.com
spec:
  volumeMode: Filesystem
  accessModes:             # 访问方式，ReadWriteMany：多点读写。
    - ReadWriteMany
  capacity:
    storage: 20Gi          # 声明的存储容量，Kubernetes 必填字段，但对 vePFS 没有意义，仅作为校验参数必填。
  persistentVolumeReclaimPolicy: Retain   # PV 回收策略。Retain 表示保留策略，Delete 表示删除策略。
  csi:
    driver: vepfs.csi.volcengine.com      # 驱动类型，本示例为 vepfs.csi.volcengine.com ，表示火山引擎 csi-vepfs 插件。
    readOnly: false
    nodeStageSecretRef:                        # Secret 对应的不同 vepfs 挂载服务。
      name: vepfs-secret
      namespace: kube-system
    controllerPublishSecretRef:
      name: vepfs-secret
      namespace: kube-system
    volumeAttributes:
      fsid: vepfs-cnbjexxxxac6e7b3                # 文件系统的 ID。
      hpcClusterID: vepfs-cluster-id-xxx          # HPC 集群 ID，仅 fsid 使用智算版时需要绑定 HPC 集群。
      mountServiceID: mount-ff0b****              # 挂载服务。
      securityGroupID: msadgh-14332               # vePFS 挂载点客户端安全组。
      # pass resource request and limit value
      # memoryRequest: 4Gi
      # memoryLimit:
      mountpoint: /vepfs-cnglxxxxx279f1b7          # 挂载点。
    volumeHandle: vepfs-cnbjexxxxac6e7b3           # PV 的唯一标识符，要求与 fsid 保持一致。

• 挂载 vePFS 文件系统子目录的 Yaml 示例如下：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: vepfs-static-pv           # PV 名称，建议 PV name 集群内唯一。
  namespace: default
  annotations:
    pv.kubernetes.io/provisioned-by: vepfs.csi.volcengine.com
spec:
  volumeMode: Filesystem
  accessModes:             # 访问方式，ReadWriteMany：多点读写。
    - ReadWriteMany
  capacity:
    storage: 20Gi          # 声明的存储容量，Kubernetes 必填字段，但对 vePFS 没有意义，仅作为校验参数必填。
  persistentVolumeReclaimPolicy: Retain   # PV 回收策略。Retain 表示保留策略，Delete 表示删除策略。
  csi:
    driver: vepfs.csi.volcengine.com      # 驱动类型，本示例为 vepfs.csi.volcengine.com ，表示火山引擎 csi-vepfs 插件。
    readOnly: false
    nodeStageSecretRef:                        # Secret 对应的不同 vepfs 挂载服务。
      name: vepfs-secret
      namespace: kube-system
    controllerPublishSecretRef:
      name: vepfs-secret
      namespace: kube-system
    volumeAttributes:
      fsid: vepfs-cnbjexxxxac6e7b3                # 文件系统的 ID。
      hpcClusterID: vepfs-cluster-id-xxx          # HPC 集群 ID，仅 fsid 使用智算版时需要绑定 HPC 集群。
      mountServiceID: mount-ff0b****              # 挂载服务。
      securityGroupID: msadgh-14332               # vePFS 挂载点客户端安全组。
      # pass resource request and limit value
      # memoryRequest: 4Gi
      # memoryLimit:
      mountpoint: /vepfs-cnglxxxxx279f1b7          # 挂载点。
      subpath: /l1.dir1/l2.dir1                    # 挂载文件系统的子目录，务必使用已经创建的 vePFS 文件系统子目录。
    volumeHandle: /l1.dir1/l2.dir1@vepfs-cnbjexxxxac6e7b3  # PV 的唯一标识符，按照格式 ${subpath}@${fsid} 定义，不同 PV 的 volumeHandle 不能相同。

2. 执行以下命令，创建 PV。

kubectl create -f vke-vepfs-static-pv.yaml

步骤三：创建存储卷声明（PVC）

1. 创建 PVC 的 YAML 文件。示例文件vke-vepfs-static-pvc.yaml代码如下：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: vepfs-static-pvc        # PVC 名称。
  namespace: default            # PVC 所属的命名空间。
spec:
  accessModes:                  # PVC 访问方式。目前仅支持 ReadWriteMany ，表示多点读写。
    - ReadWriteMany
  resources:
    requests:
      storage: 20Gi             # 声明的存储容量，Kubernetes 必填字段，但对 vePFS 没有意义，仅作为校验参数必填。
  volumeName: vepfs-static-pv   # 绑定到该 PVC 的 PV 名称。

2. 执行以下命令，创建 PVC。

kubectl create -f vke-vepfs-static-pvc.yaml

3. 执行以下命令，查看 PVC 与 PV 的静态绑定结果。

kubectl get pvc

预期输出结果如下，表示 PVC 与 PV 静态绑定成功。

NAME                   STATUS   VOLUME                 CAPACITY   ACCESS MODES   STORAGECLASS   AGE
vke-vepfs-static-pvc   Bound    vke-vepfs-static-pv    10Pi       RWX                           2m36s

步骤四：创建 Deployment

1. 创建 Deployment 的 YAML 文件。示例文件deployment-nginx-static.yaml代码如下：

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: deployment-nginx-static
   spec:
     selector:
       matchLabels:
         app: nginx
     template:
       metadata:
         labels:
           app: nginx
       spec:
         containers:
         - name: nginx-c1
           image: cr-cn-beijing.volces.com/****/vci-demo-nginx:latest    # 指定需要部署的镜像文件。
           ports:
           - containerPort: 80
             name: nginx
           volumeMounts:
           - name: vepfs
             mountPath: /mnt/vepfs                # vePFS 在容器中挂载的位置。
         volumes:
           - name: vepfs
             persistentVolumeClaim:
               claimName: vepfs-static-pvc        # 步骤二中创建的 PVC 名称。
   

2. 执行以下命令创建 Deployment。

kubectl apply -f deployment-nginx-static.yaml

相关文档

• 创建无状态负载。
• 创建有状态负载。
• 创建任务。
• 创建定时任务。
• 创建守护进程。