导航
典型场景2-开源模型部署
最近更新时间：2025.04.22 16:08:50首次发布时间：2025.04.21 16:40:02
说明
场景说明：以客户使用JeddakPCC提供的【开源模型】发布部署到PCC机密容器后，完成模型服务部署，进一步提供密文接口供端云互信联调测试。
整体流程说明
1.开源模型发布与部署
步骤1：模型发布
- 进入【模型管理服务】模块，点击「发布模型」；
- 切换「模型类型」为“开源模型”，字段填写如下：
- 填写模型名称，自定义；
- 模型版本，自定义；
- 模型描述，自定义；
- 选择开源模型后，点击「确定」完成发布。
步骤2：模型部署
- 进入【模型管理服务】模块，选择刚刚已发布且处于【待部署】状态的模型所在列，点击「部署」按钮，
- 选择PCC规格、推理框架和实例个数等，PCC将根据默认参数进行部署。
PCC规格 | 说明 |
|---|---|
基础版 | 支持小尺寸的模型，如1.5B，具体以实际验证为准。 |
高级版 | 支持中尺寸的模型，如32B，具体以实际验证为准。 |
旗舰版 | 支持大尺寸的模型，如DeepSeek R1-671B（满血版），具体以实际验证为准。 |
- 部署成功后，可看到模型部署状态变化，如下图：
步骤3：模型测试
- 进入【模型管理服务】模块，选择刚刚已部署成功的模型所在列，点击「测试」按钮，对模型可用性做检测，检测通过则状态从【未测试】更新为【测试成功】。
2.端侧SDK集成
具体步骤与3.端侧SDK集成保持一致。