什么是 TPM 保障包

TPM 保障包 是针对某个特定模型以及版本保障请求并发达到一定 TPM（ Tokens per Minute）的计费模式。

• 更低的延迟：相比单纯的按Token计费，购买保障包后，延迟更低。
• 更高的并发：支持超过默认限流额度的并发。如对 Doubao-pro-32k 来说，通过 购买TPM 保障包可以获得超过 100w TPM 的并发。
• 更强稳定性：提供高资源确定性保障，提供资源的刚性保障，在保障范畴内不会命中异常流量熔断、限速策略，持续保障业务服务可用性。

除此之外， TPM保障包还具备以下特性：

• 超过保障包部分流量默认 按Token付费 ，超过部分流量计算在默认限流额度中。
• 保障包支持按小时和按天付费，您可以在业务高峰时叠加按小时计费的保障包和按天的保障包，贴合流量波峰波谷，避免资源浪费。

典型场景

• 对高流量业务提供资源保障，适合大流量、可预估流量大小，生产级高 SLA 要求的场景。
• 希望请求延时更低的线上业务。

支持模型

当前支持两个版本模型：

• doubao-pro-32k-240828
• doubao-pro-32k-241215

具体支持的模型以控制台显示为准。
未来会支持视觉理解模型，更多模型版本，如明确需求，可提交工单申请。

工作机制

它绑定推理接入点，可以为单个接入点提升限流。保障包内限流不包含在账号下模型总限流中，单个接入点超出保障包额度外的流量将与账号下所有接入点共享限流额度。
举例说明：
当前账号下的模型的服务限流 100k TPM，A、B 2 个推理接入点的服务流量分别为 80k TPM，50k TPM。那么您可为 A 推理接入点购买 TPM保障包。

业务预估流量 - 默认服务限流
= 80 + 50 - 100 
= 30 k TPM

其中，A 推理接入点业务流量：

• 30k TPM 使用购买 TPM保障包 带来的额外流量配额。
• 50k TPM 使用默认限流的份额。

购买服务

TPM保障包支持叠加购买，您可以在 创建推理接入点 时购买。也可以在接入点详情页进行购买、续费、退订等操作。

• 当前 TPM保障包 需加入白名单才可购买，可通过工单申请。
• 如果业务对于延时有需求，请通过工单提需求。

创建推理接入点时购买

1. 访问方舟控制台-在线推理，切换到“自定义推理接入点”页签，单击 创建推理接入点 按钮。

2. 在打开的页面中填写接入点名称，选择模型类型，并选择购买方式为”按Token付费“。
3. 开启 ”TPM“保障包功能。

4. 选择计费类型，您可以选择”后付费“或”预付费“。相关配置参数可以查看配置参数说明。

5. 选择所需的购买额度。当前保障包可以为输入、输出分别购买 TPM 保障包，业务需求总量除以最小TPM保障包，即您需要购买的数量。

如果您无法购买，请按照控制台上的提示提交工单申请。

在推理接入点详情页购买

1. 访问方舟控制台-在线推理，切换到“自定义推理接入点”页签，单击 接入点名称 进入详情页。

2. 在打开的页面中，根据不同的付费类型，选择购买 TPM保障包。

如果您无法购买，请按照控制台上的提示提交工单申请。
详细配置参数请参见配置参数说明

配置参数说明

计费说明

预付费方式请关注扣费逻辑，具体请参见计费逻辑。
单价请参见TPM 保障包。

订阅通知

您可以使用火山引擎消息通知服务（后简称 SNS） 来感知TPM保障包信息通知的字段如下。

订阅流程

1. 申请 “SNS开白” ，使用请提交工单申请，并同步申请对应的消息事件：
   • ModelTPMNewFailed：TPM保障包新购失败告警
   • ModelTPMScaleUpFailed：TPM保障包扩容失败告警
2. 在 主题 页面创建主题。
   • 发布者选项指定账号：2100444922
   • 服务选择：ark

3. 在 云服务事件订阅 页面创建事件订阅。Topic TRN选择刚刚创建的主题，事件选择ModelTPMNewFailed、ModelTPMScaleUpFailed。
4. 在订阅页面，订阅前面创建的主题，并配置可接收端地址

• 配置完订阅后，SNS 会向接收端发送对应的确认链接，需确认该链接来完成订阅，确认链接demo如下。需要回调下文中SubscribeURL

{
  "Type": "SubscriptionConfirmation",
  "MessageId": "f11b9a8f-****",
  "TopicTrn": "trn:sns:cn-beijing:2100000825:topic/test",
  "Message": "You have chosen to subscribe to the topic trn:sns:cn-beijing:2100000825:topic/wyy_test. To confirm the subscription, visit the SubscribeURL included in this message.",
  "Timestamp": "2025-01-14T07:18:59Z",
  "SignatureVersion": "1",
  "Signature": "MEUCIB3NsKw***=",
  "SigningCertURL": "https://sns-public-cn-beijing.tos-cn-beijing.volces.com/certificates/cn-beijing-a31d91fc-0683-****.pem",
  "SubscribeToken": "eyJhbGciOiJIUzI1Ni****",
  "SubscribeURL": "https://sns.cn-beijing.volcengineapi.com?Action=ConfirmSubscription&Version=2023-01-01&Token=eyJhbGc***"
}

• 回调成功后可在 订阅 页面看到对应的订阅状态为：已确认，表示订阅已完成。

订阅信息内容格式

TPM保障包订阅失败时通知的内容。

ModelTPMNewFailed

• TPM保障包新购失败告警

{
        "EventID": "tpmro-202502111****-****",
        "EventName": "ModelTPMNewFailed",
        "EventTime": "2025-02-11T19:41:36+08:00",
        "AccountID": 2100000825,
        "ModelTPMInfo": {
                "EndpointID": "ep-2025021******-cn***",
                "FoundationModelName": "doubao-lite-4k"
        }
}

ModelTPMScaleUpFailed

• TPM保障包扩容失败告警

{
        "EventID": "tpmro-202502111****-****",
        "EventName": "ModelTPMScaleUpFailed",
        "EventTime": "2025-02-11T19:41:36+08:00",
        "AccountID": 2100000825,
        "ModelTPMInfo": {
                "EndpointID": "ep-20250******-cn***",
                "FoundationModelName": "doubao-lite-4k"
        }
}

常见问题

• 保障包是否可以与上下文缓存 Context Cache 一起使用？
• 如何判断某个请求在保障包的保障范畴？
• 怎么保障分小时的保障包能购买成功？