大模型网关(AI Gateway)服务允许您通过一个 API 接口访问多家大模型提供商的模型。利用边缘云基础架构的优势,本平台显著提高模型访问速度,为终端用户提供更快速、更可靠的 AI 服务体验。
服务优势
- 接口标准化:与 OpenAI 的 API 和 SDK 完全兼容,方便集成。
- 多种大模型:支持请求国内主要大模型提供商的多种模型。
- 边缘缓存:利用缓存机制响应用户请求,节省模型使用成本。
- 就近访问:将用户请求路由到网络延时最低的节点,加速分发。
- 自动重试:发生错误时自动重试请求,降低手动运维成本。
- 故障转移:单模型故障时自动切换备用模型,保障稳定性。
支持的模型
关于大模型网关支持的所有模型,请参见支持的模型。
使用说明
大模型网关目前处于免费测试阶段,面向所有用户开放。