本文将介绍如何在火山引擎容器服务的集群中，部署满血版 DeepSeek-V3/R1 模型推理服务，实现 Kubernetes 集群中的 DeepSeek-V3/R1 模型分布式推理。

背景信息

DeepSeek 是由中国 AI 初创公司深度求索（DeepSeek）发布的大语言模型。其主要的开源模型包含：

• DeepSeek-V3：通用大语言大模型（MoE 结构，671B 参数，激活参数 37B），在 14.8T token 上进行了预训练，可以提供信息检索、数据分析、自然语言处理等服务，能够适应多种应用场景，如客户服务、教育辅导、内容创作等。
• DeepSeek-R1：基于 DeepSeek-V3-Base 训练生成的推理模型，擅长数学、代码和自然语言推理等复杂任务，能够在复杂环境中稳定运行并完成指定任务，适用于工业自动化、家庭服务机器人等领域。

使用说明

下文主要介绍容器服务测试并验证通过的实践内容，为了获得符合预期的结果，同时符合容器服务的 使用限制，请按照本文方案（或在本文推荐的资源上）操作。如需替换方案，您可以联系对应的火山引擎客户经理咨询。

前提条件

推送模型文件到 TOS

预置模型信息

为了方便您使用 DeepSeek 模型，火山引擎提前在对象存储（TOS）服务中预置了部分模型。您可以直接通过 TOS 提供的工具，将预置模型转存至您自己的 TOS 存储桶（Bucket）中，作为之后推理服务的基础模型。

TOS 中的预置模型如下表所示。

模型上传

您可以将火山引擎预置的 DeepSeek 模型转存至自建 TOS 桶中，作为后续模型推理服务的基础模型。操作步骤如下：

1. 登录 对象存储控制台。

2. 在左侧菜单栏中选择 桶列表，单击 创建桶，创建一个 TOS 桶。
   

3. 配置存储桶信息。需要注意 区域 选择 华北 2（北京）。详细的操作步骤和参数说明，请参见 创建存储桶。
   

4. 在本地环境中，下载 TOS 官方提供的 tosutil 工具到本地，后续模型的复制需要依赖该工具。详情请参见 tosutil 下载与安装。

   说明

   tosutil 工具同时支持 Windows、Linux 及 macOS 系统，您可以根据实际环境下载和安装合适的版本。

5. 在本地环境执行以下命令，配置 tosutil 工具信息。

   tosutil config -e=tos-cn-beijing.volces.com -i=${AK} -k=${SK} -re=cn-beijing
   

   其中，请将${AK}和${SK}替换为您火山引擎账号的 AccessKey ID（AK）和 Secret Access Key（SK）。AK/SK 获取方法，请参见 API访问密钥管理。

6. 在本地环境中执行以下命令，将预置模型复制到您的自建 TOS 桶中。

   tosutil cp -r -j 6 -p 6 ${SOURCE_MODEL_TOS_PATH} tos://${TOS_BUCKET}
   

   其中：

   • ${SOURCE_MODEL_TOS_PATH}：预置模型的 TOS 路径，以 DeepSeek-R1 模型为例，${SOURCE_MODEL_TOS_PATH}即为tos://ai-public-models-cn-beijing/models/DeepSeek-R1/。
   • ${TOS_BUCKET}：您在步骤 3 中创建的 TOS 存储桶名称。

创建高性能计算集群

高性能计算集群，用于实现高性能计算 GPU 实例（计算节点）的逻辑隔离，同一集群内实例间 RDMA 网络互联互通。详情请参见 创建高性能计算集群。

创建 VKE 集群

在容器服务中创建集群，需要注意以下列举的参数配置。其余参数说明和详细的操作步骤，请参见 创建集群。

创建模型存储卷

在 VKE 集群中创建对象存储静态存储卷，实现基于 TOS 的 VKE 集群网络存储能力。详情请参见 使用对象存储静态存储卷。

1. 在已创建的 VKE 集群中创建存储卷（PV），需要注意以下列举的参数配置。
   

   配置项	说明
   存储类型	选择 对象存储。
   访问密钥	单击 创建秘钥，完成秘钥配置。其中 AccessKey ID 和 AccessKey Secret 为您火山引擎账号的 AK/SK。获取方法，请参见 API访问密钥管理。
   存储桶	选择已创建的 TOS 桶。
   子目录	设置为DeepSeek-R1/。

2. 创建存储卷声明（PVC），关联上一步创建的 PV。
   

部署模型

完成部署模型前的准备工作后，开启正式部署满血版 DeepSeek-R1 模型的步骤。

步骤一：安装 LeaderWorkerSet

本文使用 LWS (LeaderWorkerSet) 来编排多节点的推理负载 (例如 DeepSeek V3/R1 需要跨两个节点部署)，LWS 支持把一组 Pod 作为 Replicate 的对象。

使用预置 CR 镜像

1. 在本地环境中下载如下 YAML 文件。
   
   

   manifest.yaml

   1.15MB

   
2. 通过 kubectl 连接已创建的 VKE 集群。详情请参见 连接集群。
3. 执行以下命令，使用预置 CR 镜像安装 LeaderWorkerSet。

kubectl apply --server-side -f manifest.yaml

使用官方镜像仓库

1. 通过 kubectl 连接已创建的 VKE 集群。详情请参见 连接集群。
2. 执行以下命令，使用官方镜像仓库安装 LeaderWorkerSet。

VERSION=v0.5.1
kubectl apply --server-side -f https://github.com/kubernetes-sigs/lws/releases/download/$VERSION/manifests.yaml

步骤二：部署推理负载

1. 创建 DeepSeek-R1 模型应用。示例 YAML 文件sglang.yaml如下所示。其中，LWS 控制器会创建一个 StatefulSet 管理所有 leader Pod，并为每一组负载 (此处固定 2 个 Pod 一组分布在两个节点上) 创建 StatefulSet。

apiVersion: leaderworkerset.x-k8s.io/v1
kind: LeaderWorkerSet
metadata:
  name: sglang
spec:
  replicas: 1 # pod group 数量
  startupPolicy: LeaderCreated
  rolloutStrategy:
    type: RollingUpdate
    rollingUpdateConfiguration:
      maxSurge: 0
      maxUnavailable: 2
  leaderWorkerTemplate:
    size: 2
    restartPolicy: RecreateGroupOnPodRestart
    leaderTemplate:
      metadata:
        labels:
          role: leader
        annotations:
          # 如需创建多张网卡设备，需要在 k8s.volcengine.com/pod-networks 中配置重复 N（网卡数）次。
          k8s.volcengine.com/pod-networks: |
            [
              {
                "cniConf":{
                    "name":"rdma"
                }
              },
              {
                "cniConf":{
                    "name":"rdma"
                }
              },
              {
                "cniConf":{
                    "name":"rdma"
                }
              },
              {
                "cniConf":{
                    "name":"rdma"
                }
              }
            ]
      spec:
        containers:
          - name: sglang-head
            image: ai-containers-cn-beijing.cr.volces.com/deeplearning/sglang:v0.4.3.post4-cu124
            imagePullPolicy: IfNotPresent
            workingDir: /sgl-workspace
            command:
            - bash
            - -c
            - 'cd /sgl-workspace && GLOO_SOCKET_IFNAME=eth0 NCCL_SOCKET_IFNAME=eth0 NCCL_IB_DISABLE=0 NCCL_IB_GID_INDEX=3 NCCL_IB_HCA=mlx5_ python3 -m sglang.launch_server --model-path /models/deepseek --tp 16 --dist-init-addr $LWS_LEADER_ADDRESS:20000 --nnodes $LWS_GROUP_SIZE --node-rank 0 --trust-remote-code --context-length 131072 --mem-fraction-static 0.9 --enable-metrics --host 0.0.0.0 --port 8080'
            ports:
            - containerPort: 8080
              name: http
              protocol: TCP
            - containerPort: 20000
              name: distributed
              protocol: TCP
            resources:
              limits:
                nvidia.com/gpu: "8"
                vke.volcengine.com/rdma: "4" # 此处设置的网卡数量，需要与 Annotation：k8s.volcengine.com/pod-networks 中 RDMA 配置的重复次数相同。
              requests:
                nvidia.com/gpu: "8"
                vke.volcengine.com/rdma: "4"
            securityContext:
              capabilities:
                add:
                - IPC_LOCK
            terminationMessagePath: /dev/termination-log
            terminationMessagePolicy: File
            volumeMounts:
            - mountPath: /models/deepseek
              name: models
            - mountPath: /dev/shm
              name: shared-mem
            readinessProbe:
              tcpSocket:
                port: 8080
              initialDelaySeconds: 15
              periodSeconds: 10
        volumes:
        - name: models
          persistentVolumeClaim:
            claimName: deepseekr1
        - emptyDir:
            medium: Memory
          name: shared-mem 
        dnsPolicy: ClusterFirst
    workerTemplate:
      metadata:
        annotations:
          # 如需创建多张网卡设备，需要在 k8s.volcengine.com/pod-networks 中配置重复 N（网卡数）次。
          k8s.volcengine.com/pod-networks: |
            [
              {
                "cniConf":{
                    "name":"rdma"
                }
              },
              {
                "cniConf":{
                    "name":"rdma"
                }
              },
              {
                "cniConf":{
                    "name":"rdma"
                }
              },
              {
                "cniConf":{
                    "name":"rdma"
                }
              }
            ]
      spec:
        containers:
          - name: sglang-worker
            image: ai-containers-cn-beijing.cr.volces.com/deeplearning/sglang:v0.4.3.post4-cu124
            imagePullPolicy: IfNotPresent
            workingDir: /sgl-workspace
            command:
            - bash
            - -c
            - 'cd /sgl-workspace && GLOO_SOCKET_IFNAME=eth0 NCCL_SOCKET_IFNAME=eth0 NCCL_IB_DISABLE=0 NCCL_IB_GID_INDEX=3 NCCL_IB_HCA=mlx5_ python3 -m sglang.launch_server --model-path /models/deepseek --tp 16 --dist-init-addr $LWS_LEADER_ADDRESS:20000 --nnodes $LWS_GROUP_SIZE --node-rank $LWS_WORKER_INDEX --trust-remote-code --context-length 131072 --mem-fraction-static 0.9 --enable-metrics --host 0.0.0.0 --port 8080'
            env:
              - name: LWS_WORKER_INDEX
                valueFrom:
                  fieldRef:
                    fieldPath: metadata.labels['leaderworkerset.sigs.k8s.io/worker-index']
            ports:
            - containerPort: 8080
              name: http
              protocol: TCP
            - containerPort: 20000
              name: distributed
              protocol: TCP
            resources:
              limits:
                nvidia.com/gpu: "8"
                vke.volcengine.com/rdma: "4" # 此处设置的网卡数量，需要与 Annotation：k8s.volcengine.com/pod-networks 中 RDMA 配置的重复次数相同。
              requests:
                nvidia.com/gpu: "8"
                vke.volcengine.com/rdma: "4"
            securityContext:
              capabilities:
                add:
                - IPC_LOCK
            terminationMessagePath: /dev/termination-log
            terminationMessagePolicy: File
            volumeMounts:
            - mountPath: /models/deepseek
              name: models
            - mountPath: /dev/shm
              name: shared-mem
        dnsPolicy: ClusterFirst
        volumes:
        - name: models
          persistentVolumeClaim:
            claimName: deepseekr1
        - emptyDir:
            medium: Memory
          name: shared-mem

2. 执行如下命令，部署推理负载。

kubectl apply -f sglang.yaml

步骤三：配置服务和路由

1. 为所有 leader 节点，即 HTTP 服务所在的节点，创建服务。示例文件service-demo.yaml代码如下：

   apiVersion: v1
   kind: Service
   metadata:
     name: sglang-api-svc 
     labels:
       app: sglang
   spec:
     selector:
         leaderworkerset.sigs.k8s.io/name: sglang
         role: leader
     ports:
       - protocol: TCP
         port: 8080
         targetPort: http
         name: http
     type: ClusterIP
   

2. 执行以下命令，创建服务。

   kubectl apply -f service-demo.yaml
   

3. 在集群管理页面的左侧导航栏中，选择 服务与路由 > 路由规则，单击 创建路由规则。使用 API 网关对外暴露集群内的模型服务。配置详情，请参见 通过控制台创建 APIG Ingress。