大模型网关(AI Gateway)服务允许您通过一个 API 接口访问多家大模型提供商的模型、智能体。利用边缘云基础架构的优势,本平台显著提高模型访问速度,为终端用户提供更快速、更可靠的 AI 服务体验。
服务优势
- 接口标准化:与 OpenAI 的 API 和 SDK 完全兼容,方便集成。
- 多种调用渠道:支持请求国内主要 AI 提供商平台的多种模型、智能体。
- 边缘缓存:利用边缘缓存响应用户请求,节省模型调用次数,降低成本。
- 就近访问:将端侧请求路由到网络延时最低的边缘节点,提高响应速度。
- 自动重试:AI 服务调用发生错误时自动重试,降低手动运维成本。
- 故障转移:AI 服务调用失败时自动切换到备用服务,保障业务稳定性。
支持的调用渠道
关于大模型网关支持的所有模型、智能体,请参见支持的调用渠道。
使用说明
大模型网关目前处于免费测试阶段,向所有用户开放。