You need to enable JavaScript to run this app.
导航
什么是大模型网关
最近更新时间:2024.11.08 10:35:19首次发布时间:2024.06.27 20:30:00

大模型网关(AI Gateway)服务允许您通过一个 API 接口访问多家大模型提供商的模型、智能体。利用边缘云基础架构的优势,本平台显著提高模型访问速度,为终端用户提供更快速、更可靠的 AI 服务体验。

服务优势

  • 接口标准化:与 OpenAI 的 API 和 SDK 完全兼容,方便集成。
  • 多种调用渠道:支持请求国内主要 AI 提供商平台的多种模型、智能体。
  • 边缘缓存:利用边缘缓存响应用户请求,节省模型调用次数,降低成本。
  • 就近访问:将端侧请求路由到网络延时最低的边缘节点,提高响应速度。
  • 自动重试:AI 服务调用发生错误时自动重试,降低手动运维成本。
  • 故障转移:AI 服务调用失败时自动切换到备用服务,保障业务稳定性。

支持的调用渠道

关于大模型网关支持的所有模型、智能体,请参见支持的调用渠道

使用说明

大模型网关目前处于免费测试阶段,向所有用户开放。