容器服务提供弹性资源优先级调度策略，支持通过自定义资源策略（ResourcePolicy），设置工作负载的 Pod 被弹性调度到不同类型节点（例如包年包月 ECS、按量付费 ECS、虚拟节点）的顺序。本文主要介绍通过自定义资源策略（ResourcePolicy），设置弹性资源优先级调度的方法。

前提条件

• 集群中已安装 scheduler-plugin 组件并开启 弹性资源优先级调度。详细操作，请参见 scheduler-plugin 组件。

  说明

  若您需要在 VCI 场景使用弹性资源优先级调度，请确保已创建 VCI 业务相关的集群，并在集群中安装了 scheduler-plugin 组件，开启 弹性资源优先级调度。 VCI 相关集群操作，请参见 对接 VCI。

• 在 VCI 业务中使用该能力时，建议开启 VCI 库存感知调度功能。详细操作，请参见 VCI 实例库存感知调度。

使用限制

• 目前仅支持在如下 Kubernetes 版本的集群中使用弹性资源优先级调度功能，若集群版本不满足要求，请升级集群版本，详情请参见 升级集群：
  • Kubernetes 1.26 版本：1.26.10-vke.10 及以上版本。
  • Kubernetes 1.24 版本：1.24.15-vke.21 及以上版本。
  • （停止维护）Kubernetes 1.20 版本：1.20.15-vke.25 及以上版本。
• 该功能与 Kubernetes 的 pod-deletion-cost 冲突，不能同时使用。pod-deletion-cost 相关信息，请参见 pod-deletion-cost。
• 创建 ResourcePolicy 时，请确保目标命名空间下已调度的 Pod 没有被 ResourcePolicy 管理，否则已调度的 Pod 将会被优先缩容。
• 修改已有的 ResourcePolicy 时，已调度的 Pod 会按照原 ResourcePolicy 的顺序进行缩容，新建的 Pod 会按照更新后 ResourcePolicy 的顺序进行缩容。
• 仅 Deployment 支持通过 ResourcePolicy 实现逆序缩容，其余工作负载不支持逆序缩容。

  说明

  逆序缩容：指设置了 ResourcePolicy 的工作负载在缩容时，从 ResourcePolicy 中设置的优先级最低的资源池开始缩容。

• 在弹性容器实例（VCI）场景中使用该功能时，请先了解 什么是弹性容器实例、 VCI 使用限制。

使用方法

在 ResourcePolicy 中定义弹性资源优先级。

apiVersion: scheduling.vke.volcengine.com/v1beta1
kind: ResourcePolicy
metadata:
  name: vke-resourcepolicy   # ResourcePolicy 对象名称。
  namespace: default   # ResourcePolicy 所属命名空间。该命名空间必须与被调度的 Pod 命名空间相同。
spec:
  selector:   # 被 ResourcePolicy 管理的 Pod 的 Label 选择器。
    app: nginx
  subsets:   # 资源池配置。
  - name: pool-1   # 资源池名称。
    maxReplicas: 100   # 调度到该资源池的 Pod 数量上限。
    maxReplicasRatio: "0.1"  # 调度到该资源池的 Pod，占所有 Pod 的比例阈值，当超过该阈值时，不再向该资源池调度 Pod。
    whenNotReachMax: ScheduleAnyWay   # 调度策略，有 DoNotSchedule 和 ScheduleAnyWay 两个取值。
    nodeSelectorTerm: 
    - key: cluster.vke.volcengine.com/machinepool-name   # 资源池标签键，此处的 machinepool-name 为资源池（节点池）ID 标签键。
      operator: In
      values:   # 资源池标签值，即实际的资源池（节点池）ID。
      - pcgc1omersf******
      - ncljdfq33h3******
  - name: vci-pool   # 资源池名称。
    maxReplicas: 100 
    maxReplicasRatio: "0.1" 
    nodeSelectorTerm:
    - key: type
      operator: In
      values:
      - virtual-kubelet  # 匹配到 VCI 资源对应的虚拟节点。
    tolerations: # 如果 Pod 被调度到该资源池，需要给 Pod 打上额外的容忍度。
    - effect: NoSchedule
      key: vci.vke.volcengine.com/node-type
      operator: Equal
      value: vci

status:   # ResourcePolicy 的当前状态。
  policyStatuses:  # 各个资源池对应的可调度 Pod 情况。
  - name: pool-1
    missingReplicas: 50
  - name: vci-pool
    missingReplicas: "-"

重点参数说明如下所示。

使用示例

本文以如下场景为例，描述创建 ResourcePolicy，定义弹性资源优先级的方法：

您的集群中有固定的云服务器（ECS）资源，即节点所在节点池没有配置弹性伸缩，同时还有弹性容器实例（VCI）资源。在该集群中部署一个工作负载（例如 Deployment）时，为了降低资源使用成本，您希望：

• 部署的 Pod 优先调度到固定的 ECS 资源，当 ECS 资源不足时，使用 VCI 弹性资源作为补充。
• 在缩容时优先删除 VCI 上的 Pod，释放 VCI 资源，再删除 ECS 上的 Pod，释放 ECS 资源。

该方法主要适用于具有一定长稳流量，偶尔出现突发性峰值流量的工作负载。可通过固定的 ECS 资源承载长稳流量，通过 VCI 的快速弹性能力应对突发峰值。更多使用场景示例，请参见本文下方 场景示例。

步骤一：（可选）创建集群并开启弹性资源优先级调度

若您已有可用的集群，且安装了 scheduler-plugin 组件并开启了弹性资源优先级调度，可跳过本步骤。

1. 登录 容器服务控制台。
2. 在容器服务的左侧导航栏，选择 集群。
3. 单击 创建集群，根据系统提示和实际需求配置集群参数。
   其中部分参数按如下说明配置，其余参数的详细配置说明，请参见 创建集群。
   • 因为以集群中同时存在 ECS 和 VCI 资源的场景为例，所以在 ① 集群配置 步骤中 容器网络模型 选择 VPC-CNI。
     
   • 在 ③ 组件配置 步骤的 scheduler-plugin 参数配置 中开启 弹性资源优先级调度 按钮并配置调度权重。
     
4. 确认配置并单击 确定，创建完成集群。

步骤二：创建 ResourcePolicy

1. 通过 kubectl 连接 步骤一 中创建的 VPC-CNI 集群。具体操作说明，请参见 连接集群。
2. 创建 ResourcePolicy 的 YAML 文件。示例文件vke-resourcepolicy-nginx.yaml代码如下：

   apiVersion: scheduling.vke.volcengine.com/v1beta1
   kind: ResourcePolicy
   metadata:
     name: vke-resourcepolicy-nginx   
     namespace: default   # ResourcePolicy 所属命名空间。该命名空间必须与被调度的 Pod 命名空间相同。
   spec:
     selector:
       app: demo-nginx   # Label 为 app:demo-nginx 的 Pod 将被该 ResourcePolicy 管理。
     subsets:
     - name: pool-ecs    # 第一个 subset 为 ECS 资源池。
       maxReplicas: 2  # 调度到该资源池的 Pod 数量上限，本示例为实现 ECS 资源不足或 Pod 数量达到上限时调度 Pod 到 VCI 资源的效果，此处设置为 2。实际使用中请按“参数说明”估算。
       whenNotReachMax: ScheduleAnyWay  #配置为 ScheduleAnyWay，确保当 ECS 资源不足时 Pod 直接被调度到 VCI 资源上。
       nodeSelectorTerm: 
       - key: cluster.vke.volcengine.com/machinepool-name   
         operator: In
         values:
         - pcm5pq1r5i7aqm******   # 匹配的 ECS 资源对应节点池 ID，请确保节点池 ID 配置正确。可以配置多个节点池 ID。
     - name: pool-vci   # 第二个 subset 为 VCI 资源池。
       maxReplicas: 100  # 建议为 VCI 资源池配置可调度的 Pod 数量上限，以防止 VCI 资源配额被耗尽。
       nodeSelectorTerm:
       - key: type
         operator: In
         values:
         - virtual-kubelet  # 匹配到 VCI 虚拟节点。
       tolerations: # 如果 Pod 被调度到该资源池，需要给 Pod 打上额外的容忍度。
       - effect: NoSchedule
         key: vci.vke.volcengine.com/node-type
         operator: Equal
         value: vci
   

3. 执行以下命令，创建 ResourcePolicy。

   kubectl apply -f vke-resourcepolicy-nginx.yaml
   

步骤三：创建工作负载

本文以创建无状态负载（Deployment）为例，更多工作负载相关操作，请参见 工作负载。

1. 创建 Deployment 的 YAML 文件。示例文件demo-nginx.yaml代码如下：

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: demo-nginx
     namespace: default  # Deployment 所属命名空间，与 ResourcePolicy 的 namespace 相匹配。
   spec:
     replicas: 5  # Pod 数量。
     selector:
       matchLabels:
         app: demo-nginx
     template:
       metadata:
         labels:
           app: demo-nginx  # Pod Label，与 ResourcePolicy 的 selector 中配置的 label 相匹配。
       spec:
         schedulerName: default-scheduler
         containers:
         - image: nginx:1.14.2  # Pod 的容器镜像地址和 Tag，请替换为您实际业务中的镜像地址。
           imagePullPolicy: IfNotPresent
           name: nginx-container
           resources:
             requests:
               cpu: 10m
               memory: 10Mi
         dnsPolicy: ClusterFirst
         restartPolicy: Always
         securityContext: {}
   

2. 执行以下命令，创建 Deployment。

   kubectl apply -f demo-nginx.yaml
   

步骤四：查看调度结果

1. 执行如下命令，查看调度结果。

   kubectl get po -n default -o wide
   

   预期输出如下，2 个 Pod 被调度到 ECS 资源上，剩余的 Pod（3 个）被调度到 VCI 资源。

   NAME                          READY   STATUS    RESTARTS   AGE   IP               NODE                      NOMINATED NODE   READINESS GATES
   demo-nginx-6b6bfc8b7f-62qls   1/1     Running   0          66m   192.168.**.**    vci-node1-cn-shanghai-a   <none>           <none>
   demo-nginx-6b6bfc8b7f-97md6   1/1     Running   0          66m   192.168.**.**    192.168.**.**             <none>           <none>
   demo-nginx-6b6bfc8b7f-bzdnw   1/1     Running   0          66m   192.168.**.**    vci-node1-cn-shanghai-b   <none>           <none>
   demo-nginx-6b6bfc8b7f-rjrnx   1/1     Running   0          66m   192.168.**.**    vci-node1-cn-shanghai-a   <none>           <none>
   demo-nginx-6b6bfc8b7f-tjc5p   1/1     Running   0          31m   192.168.**.**    192.168.**.**             <none>           <none>
   

2. （可选）查看 Pod 缩容时，释放资源的情况。
   1. 执行如下命令，将 Deployment 的 Pod 数量（即 replicas 参数值）降到 3。

      kubectl scale --replicas=3 deployment/demo-nginx -n default
      

   2. 查看调度结果。

      kubectl get po -n default -o wide
      

      预期输出如下，VCI 资源上的 2 个 Pod 被优先缩容，释放 VCI 资源。

      NAME                          READY   STATUS    RESTARTS   AGE   IP               NODE                      NOMINATED NODE   READINESS GATES
      demo-nginx-6b6bfc8b7f-97md6   1/1     Running   0          70m   192.168.**.**    192.168.**.**             <none>           <none>
      demo-nginx-6b6bfc8b7f-bzdnw   1/1     Running   0          70m   192.168.**.**    vci-node1-cn-shanghai-b   <none>           <none>
      demo-nginx-6b6bfc8b7f-tjc5p   1/1     Running   0          35m   192.168.**.**    192.168.**.**             <none>           <none>
      

场景示例

场景一：VCI 资源 + 自动伸缩的 ECS 资源

• 场景说明
  所在集群的目标命名空间下有 VCI 资源和自动伸缩的 ECS 资源时，优先使用 VCI 资源。当 VCI 配额不足时，将 Pod 调度到 ECS 资源中，并在 ECS 资源池中触发弹性伸缩进行扩容。该方法主要适用于突发资源用量较大的批量作业等业务，无需维持固定的 ECS 资源成本，优先通过 VCI 获得高性价比的弹性资源。当 VCI 承载能力不够时，可以通过 ECS 的弹性伸缩来保障资源供应。
• 配置说明
  1. 将 VCI 资源对应的虚拟节点配置为第一个subset。
     建议配置subset下的maxReplicas字段，防止耗尽 VCI 资源配额。可根据 VCI 资源的配额和 Pod 的资源需求估算出maxReplicas字段的值。
  2. 将 ECS 资源对应的节点池配置为第二个subset。
     其中：
     • 需配置subset下的maxReplicas字段，用于控制 ECS 资源被使用的上限。可根据 ECS 资源的容量和 Pod 的资源需求估算出maxReplicas字段的值。
     • 将subset的whenNotReachMax配置为DoNotSchedule，在 ECS 资源不足时会短暂 Pending 被调度的 Pod，然后触发弹性伸缩对 ECS 资源节点池进行扩容。
     • 请确保对应的 ECS 节点池已开启了弹性伸缩配置。详情请参见 创建节点弹性伸缩。
• 配置样例

  apiVersion: scheduling.vke.volcengine.com/v1beta1
  kind: ResourcePolicy
  metadata:
    name: vke-resourcepolicy-nginx   
    namespace: default
  spec:
    selector:
      app: nginx   # Label 为 app: nginx 的 Pod 将被该 ResourcePolicy 管理。
    subsets:
    - name: pool-vci   # 第一个 subset 为 VCI  资源池，优先使用 VCI 资源。
      maxReplicas: 100  # 建议配置 maxReplicas 字段，防止耗尽 VCI 资源配额。
      nodeSelectorTerm:
      - key: type
        operator: In
        values:
        - virtual-kubelet  # 匹配到 VCI 虚拟节点。
    - name: pool-ecs    # 第二个 subset 为 ECS 资源池，作为 VCI 资源不足时的补充。
      maxReplicas: 1000  # 需配置 maxReplicas 字段，用于控制 ECS 资源被使用的上限。
      whenNotReachMax: DoNotSchedule  # 配置为 DoNotSchedule，当 ECS 节点池资源不足时，将会暂时让 Pod 处于 Pending 状态并等待节点池弹性伸缩。
      nodeSelectorTerm: 
      - key: cluster.vke.volcengine.com/machinepool-name   
        operator: In
        values:
        - pcgc1omersf******   # 匹配的 ECS 节点池 ID，可以配置多个节点池。
        - ncljdfq33h3******
      tolerations: # 如果 Pod 被调度到该资源池，需要给 Pod 打上额外的容忍度。
      - effect: NoSchedule
        key: vci.vke.volcengine.com/node-type
        operator: Equal
        value: vci   
  

场景二：按比例将 Pod 调度到 ECS 资源和 VCI 资源

• 场景说明
  按照一定的比例，将工作负载中的 Pod 调度到 ECS 资源和 VCI 资源中，以维持固定资源和弹性资源之间的平衡。该方法适用于业务从 ECS 资源向 VCI 弹性资源切换的过程中通过调整调度比例，实现逐步过渡。

• 配置说明

  1. 将 ECS 资源对应的节点池配置为第一个subset。
     需要配置subset下的maxReplicasRatio字段，按照比例调度 Pod 到 ECS 资源。
  2. 将 VCI 资源对应的虚拟节点配置为第二个subset。
     需要配置subset下的maxReplicasRatio字段，按照比例调度 Pod 到 VCI 资源。建议保障所有subset的maxReplicasRatio字段比例阈值之和为 1。

  注意

  由于调度比例的计算在 Pod 数量较少时存在一定误差，不建议maxReplicasRatio与whenNotReachMax: DoNotSchedule同时配置，否则可能出现部分 Pod 在预期外被 Pending 的情况。

• 配置样例

  apiVersion: scheduling.vke.volcengine.com/v1beta1
  kind: ResourcePolicy
  metadata:
    name: vke-resourcepolicy-nginx   
    namespace: default
  spec:
    selector:
      app: nginx   # Label 为 app: nginx 的 Pod 将被该 ResourcePolicy 管理。
    subsets:
    - name: pool-ecs    # 第一个 subset 为 ECS 资源池。
      maxReplicasRatio: "0.6"  # 为第一个资源池配置调度比例为 0.6。
      whenNotReachMax: ScheduleAnyWay  # 建议配置为 ScheduleAnyWay。
      nodeSelectorTerm: 
      - key: cluster.vke.volcengine.com/machinepool-name   
        operator: In
        values:
        - pcgc1omersf******   # 匹配的 ECS 节点池 ID，可以配置多个节点池。
        - ncljdfq33h3******
    - name: pool-vci   # 第二个 subset 为 VCI 资源池。
      maxReplicasRatio: "0.4"  # 为第二个资源池配置调度比例为 0.4。
      whenNotReachMax: ScheduleAnyWay  # 建议配置为 ScheduleAnyWay 。 
      nodeSelectorTerm:
      - key: type
        operator: In
        values:
        - virtual-kubelet  # 匹配到 VCI 虚拟节点。
      tolerations: # 如果 Pod 被调度到该资源池，需要给 Pod 打上额外的容忍度。
      - effect: NoSchedule
        key: vci.vke.volcengine.com/node-type
        operator: Equal
        value: vci