You need to enable JavaScript to run this app.
导航
模型弃用&下线机制说明
最近更新时间:2024.10.29 12:33:28首次发布时间:2024.09.30 15:41:37

背景

随着火山方舟平台模型的升级、发布,新版本模型在效果、推理时延等各方面将远超较旧版本的模型。因此,我们将逐步下线这些旧版本模型。当某个模型确定弃用时,在正式下线前,我们会通过短信、站内信等方式发布通知,请及时关注。

模型弃用及下线流程

模型弃用及下线完整流程如下:

  1. 宣布旧版本模型弃用,并注明该模型下线并停止服务的日期

  2. 通过短信、站内信、平台公告等多种方式发布通知

  3. 自正式通知日(即「通知时间」)起,逐步下调弃用模型的使用额度(即下调RPM和TPM的配额)

  4. 至模型下线日期(即「下线时间」)时,模型正式下线并停止服务,已创建的模型推理服务将无法继续调用

注:一般情况下,每个版本的模型会在上线后3-6个月后,正式下线并停止服务。在停止服务前,我们会为开发者预留充足的时间完成新版本模型的效果测试,以便流量切换。

通知方式

  • 我们会通过短信、站内信、平台公告等多种方式发布模型弃用及下线的通知

  • 我们会确保在模型正式下线前至少30个自然日发布通知

  • 请关注相关通知,以便做好升级模型版本所需的各项工作


模型弃用及下线的影响说明

  • 模型弃用

    • 不可新创建推理服务接入点:弃用模型不可再新创建推理服务接入点,仅支持切换推理服务接入点指向的模型版本

    • 逐步下调配额:模型弃用后,会逐步下调已创建推理服务接入点使用配额,直到完全下线

  • 模型下线

    • 精调模型:模型下线当日停止服务,无法调用

    • 非精调模型:将自动升级至最新版本


模型切换操作说明

模型切换涉及到不同场景的切换,包括同模型版本切换、不同模型迁移、精调模型服务迁移;以下是针对不同场景的迁移指引

  1. 场景1:同模型版本切换

【2024年10月即将上线】平台为相同模型的不同模型版本切换,提供推理服务接入点平滑切换。 在方舟平台的在线推理页面,修改推理服务接入点对应的模型版本(暂不支持精调模型及模型单元的版本切换)。无需修改代码,即可实现模型版本的平滑切换,支持更新模型版本。

  • 操作指引
操作步骤图示
  1. 进入方舟平台,选择在【在线推理】

  1. 选择需待切换的推理服务接入点,进入推理接入点详情页

  1. 点击【切换版本】,在【选择模型】页面,选择切换的模型版本;完成后点击确定。


  1. 核对推理服务接入点的详情页中模型版本;完成平滑切换。

说明:

  • 迁移时间:模型版本迁移的过程预计将维持2小时左右

  • 回滚:点击回滚撤回模型迁移,ep回到原版本

  1. 场景2:不同模型迁移

如果希望进行例如Doubao-pro-4k迁移至Doubao-pro-32k不同模型之间的迁移,需要用户自行创建新模型的推理接入点并完成相应的代码变更,平台暂不支持平滑迁移。

  1. 场景3:精调模型迁移

由于精调模型的依赖基座模型,如果需要变更精调模型对应的基座模型,需要在新的模型版本上再次精调模型,并验证效果达到预期后,再创建新的推理接入点,完成相应的代码变更,实现迁移。

如有其他迁移问题,可以通过提交工单的方式,进行咨询。

本期下线说明

本期下线时间说明

通知时间下线时间影响说明

2024年9月30日

2024年11月30日

模型下线工作将于通知时间起进行,自通知时间开始,将逐步下调弃用模型配额;
至下线时间日,模型正式下线并停止服务;建议切换至对应的推荐模型

本期模型下线列表

模型名称模型版本替代模型
Doubao-pro-4k240515Doubao-pro-32k/240828
browsing-240524Doubao-pro-32k/browsing-240828
character-240515Doubao-pro-32k/character-240828
functioncall-240515Doubao-pro-32k/functioncall-240815
Doubao-pro-32k240515Doubao-pro-32k/240828
Doubao-pro-128k240515Doubao-pro-256k/240828
Doubao-lite-4k240328Doubao-lite-32k/240828
character-240515Doubao-lite-4k/character-240828
Doubao-lite-32k240428Doubao-lite-32k/240828
Skylark3-pro-4k240415Doubao-pro-32k/240828
Skylark3-lite-4k240328Doubao-lite-32k/240828
Skylark3-lite-pretrain-4kpretrain-240328Doubao-lite-32k/pretrain-240615
Skylark3-lite-128k240428Doubao-pro-256k/240828
Skylark2-lite-8kbrowsing-intent-240415Doubao-lite-4k/browsing-intent-240828
browsing-intent-240615
1.0Doubao-lite-32k/240828
Skylark2-lite-character-8kDoubao-lite-4k/character-240828
Skylark2-pro-character-4k1.0Doubao-pro-32k/character-240828
Skylark2-pro-32k1.0/1.1Doubao-pro-32k/240828
Skylark2-pro-4kbrowsingDoubao-pro-32k/browsing-240828
browsing-240415
character-240328
1.2/1.3Doubao-pro-32k/240828
Skylark2-pro-pretrain-4kDoubao-pro-32k/pretrain-240615
Web-intent1.0Doubao-lite-4k/browsing-intent-240828
Skylark-WebDoubao-pro-32k/browsing-240828
Skylark-plus-publicDoubao-pro-32k/240828
Skylark-pro-publicDoubao-pro-32k/240828
Skylark-lite-publicDoubao-lite-32k/240828
Skylark-chatDoubao-pro-32k/character-240828