支持模型调用超时设置

网关访问密钥

您可以为网关访问密钥自定义请求超时时间。一次模型调用在超时时间内无响应时，即视为失败。

全量发布

创建网关访问密钥

用量统计页面升级

网关访问密钥

网关访问密钥的用量统计中能够查询以下资源用量数据：tokens、语音时长、调用次数、字符数。

全量发布

用量统计

支持使用平台预置智能体

智能体管理

大模型网关新支持了以下平台预置智能体：语音对话智能体、文字识别智能体。

全量发布

• 调用平台预置模型及智能体
• 使用语音对话智能体
• 使用文字识别智能体

支持调用第三方智能体

智能体管理

大模型网关能够调用字节跳动扣子平台的智能体。

全量发布

调用第三方智能体

接入字节跳动火山方舟 - 豆包系列大模型

大模型管理

平台预置模型中新增多款豆包系列大模型，覆盖对话、函数调用等类型。

全量发布

支持的调用渠道

支持数据监控与告警

大模型网关

允许在火山引擎云监控中查看您的网关访问密钥数据报表（支持免费额度用量等指标），并可针对监控指标创建告警策略，主动感知数据变化及异常。

全量发布

数据监控

支持的第三方模型中增加：腾讯-混元、百度-文心一言模型

模型调用密钥

允许添加您在腾讯-混元平台、百度-文心一言平台获得的模型调用密钥，以便通过大模型网关调用相应平台提供的模型。

全量发布

支持的调用渠道

支持调用认证功能

网关访问密钥

允许您在向大模型网关发送的 API 请求中包含经加密的客户端身份认证信息，以及开启高级数据监控功能（在客户端维度查询监控数据）。该功能加白开放。只有白名单中用户可以使用。

白名单

查看代码

支持缓存配置

大模型网关

针对网关访问密钥，您可以设置是否开启缓存功能。若开启缓存功能，大模型网关会缓存来自模型提供商的响应。
在收到相同请求时，大模型网关将会基于缓存进行响应，而无需重新发起模型调用。缓存机制使您的用户更快获得响应，并节省模型使用量。

全量发布

创建网关访问密钥

支持第三方模型调用

大模型网关

大模型网关允许您添加来自第三方模型提供商的密钥（API Key），以便通过大模型网关来调用第三方模型。需要注意的是：

• 调用第三方模型将会消耗您在第三方模型提供商平台的额度，不会消耗大模型网关向您提供的免费调用额度（免费调用额度仅限于调用大模型网关的预置模型）。
• 目前支持的第三方模型提供商及模型有限。

全量发布

支持的调用渠道

支持调用策略配置

大模型网关

针对网关访问密钥，您可以设置模型调用的策略，包含自动重试次数、模型调用顺序。

全量发布

创建网关访问密钥

产品上线

大模型网关

大模型网关面向所有用户开放免费测试。使用完成实名认证的火山引擎账号，即可创建网关访问密钥，获得预置模型的免费调用额度。

全量发布

• 什么是大模型网关
• 支持的调用渠道
• 使用说明
• 开始使用大模型网关