You need to enable JavaScript to run this app.
导航
调用第三方模型
最近更新时间:2024.11.08 10:47:58首次发布时间:2024.11.08 10:35:19

本文介绍了如何通过大模型网关调用第三方 AI 平台的模型。

背景信息

您可以使用大模型网关调用第三方 AI 平台上模型,为您的应用提供更加智能化的服务。
关于支持的第三方 AI 平台(模型提供商),请参见支持的调用渠道

前提条件

您已经在支持的第三方 AI 平台上创建了密钥(API Key)并获取您的密钥信息。更多信息,请参见获取第三方模型调用密钥

步骤1:创建调用渠道

大模型网关通过调用渠道访问您的第三方模型。为了建立这个渠道,您需要提供您在第三方模型平台的密钥。有了密钥,大模型网关才能够顺利访问和调用第三方模型。

  1. 登录大模型网关控制台

  2. 在左侧导航栏,选择 模型配置管理 > 大模型管理

  3. 自有三方模型 标签页,找到您的模型所在平台,单击 操作 列的 创建调用渠道

  4. 创建调用渠道 对话框,完成以下参数配置,然后单击 确定
    Image

    • 调用渠道名称:为调用渠道设置一个名称。
    • 其他配置项:不同模型提供商对应的其他配置项有差异。根据您选择的模型提供商,完成相应配置:

    模型提供商

    配置项

    说明

    • 阿里云 DashScope 模型服务灵积
    • 智谱 AI 开放平台
    • MiniMax 开放平台
    • 零一万物大模型开放平台
    • DeepSeek 开放平台
    • Kimi 开放平台
    • 讯飞开放平台

    调用模型

    选择该渠道允许访问的模型。
    您可以从支持的模型中选择一个或多个模型。该渠道只能用于访问选择的模型。

    模型调用密钥

    输入您在模型提供商平台的密钥。更多信息,请参见获取第三方模型调用密钥

    • 字节跳动火山方舟

    模型调用密钥

    输入您在模型提供商平台的密钥。更多信息,请参见字节跳动火山方舟 - 豆包

    推理接入点

    单击 添加接入点,然后输入您在火山方舟平台上创建的推理接入点的 ID 并选择该接入点所对应的模型。最多可以添加 5 个接入点。

    说明

    在火山方舟平台上,您需要创建一个推理接入点来调用特定模型。

    • 百度千帆 ModelBuilder

    调用模型

    选择该渠道允许访问的模型。
    您可以从支持的文心一言系列模型中选择一个或多个模型。该渠道只能用于访问选择的模型。

    安全凭证

    输入您在百度千帆平台的 API key 和 Secret key。更多信息,请参见百度千帆 ModelBuilder - 文心一言

    • 腾讯混元

    调用模型

    选择该渠道允许访问的模型。
    您可以从支持的混元系列模型中选择一个或多个模型。该渠道只能用于访问选择的模型。

    安全凭证

    输入您的腾讯混元平台的 SecretId 和 SecretKey。更多信息,请参见腾讯混元 - 混元

在模型提供商列表,调用渠道 数字表示一个模型提供商下已创建的调用渠道的数量。
以上操作完成后,相应模型提供商的 调用渠道 数量会增加。您可以单击 调用渠道 数字,查看和管理(如编辑、删除)模型提供商下已添加的调用渠道。
Image

步骤2:绑定调用渠道到网关访问密钥

要访问大模型网关 API,您需要一个网关访问密钥。通过将您的模型调用渠道绑定到一个网关访问密钥,您就可以在使用此网关访问密钥时,选择指定模型作为被调用对象。

说明

您可以在创建网关访问密钥时绑定调用渠道,也可以编辑已有网关访问密钥来绑定新的调用渠道。

  1. 登录大模型网关控制台
  2. 在左侧导航栏,选择 模型配置管理 > 大模型管理
  3. 自有三方模型 标签页,找到您的模型所在平台,单击 操作 列的 创建网关访问密钥
  4. 完成 创建网关访问密钥 配置向导。
    您可以参考创建网关访问密钥完成相关配置。需要注意的是,在 模型配置 中,选择您的模型调用渠道,将它绑定到网关访问密钥。将 渠道类型 设置为 自有三方模型,可以筛选出可用的第三方模型调用渠道。
    Image

步骤3:使用网关访问密钥

当您的网关访问密钥绑定了第三方模型调用渠道,您在获取此网关访问密钥对应的示例代码时,就可以选择指定模型作为被调用对象。将示例代码集成到您的业务逻辑后,您的大模型网关请求将触发指定模型调用。
具体操作,请参见使用网关访问密钥。需要注意的是,当您查看示例代码时,在 选择模型 中选择您的 自有三方模型 调用渠道。
Image