You need to enable JavaScript to run this app.
导航
常见问题
最近更新时间:2024.12.23 10:22:00首次发布时间:2024.06.27 20:29:59

问题列表

问题详情

什么是大模型网关?

大模型网关(AI Gateway)服务允许您通过一个 API 接口访问市面主流大模型提供商的多种模型。利用边缘云基础架构的优势,本平台显著提高模型访问速度,为终端用户提供更快速、更可靠的 AI 服务体验。

如何创建网关访问密钥?

网关访问密钥是您访问大模型网关的身份凭证,用于管理访问者的权限,如授权、鉴权、限流等。您可以在 网关访问密钥管理 页面创建网关访问密钥。具体操作,请参见创建网关访问密钥

使用大模型网关有什么优势?

  • 大模型网关提供符合 OpenAI 标准的模型请求接口,允许您只用一个接口即可请求市面上主流 LLM 提供商的多种模型,方便在业务中集成。
  • 借助边缘云的基础设施优势,大模型网关可以将用户请求路由到网络延时最低的节点,同时利用缓存机制响应用户请求,帮助您节省模型使用成本。
  • 大模型网关支持自动重试和故障转移。在发生错误时自动重试请求,降低手动运维成本;单模型故障时自动切换备用模型,保障稳定性。

大模型网关支持哪些模型?

大模型网关支持的模型会不定期更新。您可以通过以下途径获取相关信息:
  • 方式一(推荐):访问大模型网关控制台
    • 模型配置管理 > 大模型管理 页面查看当前支持的所有模型(包含平台预置模型、自有三方模型)。
    • 模型配置管理 > 智能体管理 页面查看当前支持的所有智能体(包含平台预置智能体、自有三方智能体)。
  • 方式二:访问官方文档 - 支持的调用渠道

什么是调用渠道?

调用渠道是大模型网关与实际被调用对象(如 AI 模型、智能体)之间的桥梁。一个调用渠道包含调用具体模型或智能体所需的密钥(API key)等信息。目前,大模型网关支持以下四类调用渠道:

调用渠道

说明

资源消耗

平台预置模型

直接调用大模型网关平台预置的模型。

消耗大模型网关免费为您提供的资源配额(包含 tokens、调用次数、语音时长、字符数)。

平台预置智能体

直接调用大模型网关平台预置的智能体。

自有三方模型

通过大模型网关调用第三方 AI 平台上的模型。

在第三方 AI 平台上消耗您自己的资源配额。

自有三方智能体

通过大模型网关调用第三方 AI 平台上的智能体。