本文介绍了如何通过大模型网关调用第三方 AI 平台的模型。
您可以使用大模型网关调用第三方 AI 平台上模型,为您的应用提供更加智能化的服务。
关于支持的第三方 AI 平台(模型提供商),请参见支持的调用渠道。
您已经在支持的第三方 AI 平台上创建了密钥(API Key)并获取您的密钥信息。更多信息,请参见获取第三方模型调用密钥。
大模型网关通过调用渠道访问您的第三方模型。为了建立这个渠道,您需要提供您在第三方模型平台的密钥。有了密钥,大模型网关才能够顺利访问和调用第三方模型。
登录大模型网关控制台。
在左侧导航栏,选择 模型配置管理 > 大模型管理。
在 自有三方模型 标签页,找到您的模型所在平台,单击 操作 列的 创建调用渠道。
在 创建调用渠道 对话框,完成以下参数配置,然后单击 确定。
模型提供商 | 配置项 | 说明 |
---|---|---|
| 调用模型 | 选择该渠道允许访问的模型。 |
模型调用密钥 | 输入您在模型提供商平台的密钥。更多信息,请参见获取第三方模型调用密钥。 | |
| 模型调用密钥 | 输入您在模型提供商平台的密钥。更多信息,请参见字节跳动火山方舟 - 豆包。 |
推理接入点 | 单击 添加接入点,然后输入您在火山方舟平台上创建的推理接入点的 ID 并选择该接入点所对应的模型。最多可以添加 5 个接入点。 说明 在火山方舟平台上,您需要创建一个推理接入点来调用特定模型。 | |
| 调用模型 | 选择该渠道允许访问的模型。 |
安全凭证 | 输入您在百度千帆平台的 API key 和 Secret key。更多信息,请参见百度千帆 ModelBuilder - 文心一言。 | |
| 调用模型 | 选择该渠道允许访问的模型。 |
安全凭证 | 输入您的腾讯混元平台的 SecretId 和 SecretKey。更多信息,请参见腾讯混元 - 混元。 |
在模型提供商列表,调用渠道 数字表示一个模型提供商下已创建的调用渠道的数量。
以上操作完成后,相应模型提供商的 调用渠道 数量会增加。您可以单击 调用渠道 数字,查看和管理(如编辑、删除)模型提供商下已添加的调用渠道。
要访问大模型网关 API,您需要一个网关访问密钥。通过将您的模型调用渠道绑定到一个网关访问密钥,您就可以在使用此网关访问密钥时,选择指定模型作为被调用对象。
说明
您可以在创建网关访问密钥时绑定调用渠道,也可以编辑已有网关访问密钥来绑定新的调用渠道。
当您的网关访问密钥绑定了第三方模型调用渠道,您在获取此网关访问密钥对应的示例代码时,就可以选择指定模型作为被调用对象。将示例代码集成到您的业务逻辑后,您的大模型网关请求将触发指定模型调用。
具体操作,请参见使用网关访问密钥。需要注意的是,当您查看示例代码时,在 选择模型 中选择您的 自有三方模型 调用渠道。