本教程介绍了如何快速开始使用大模型网关。
前提条件
您已经注册火山引擎账号并完成实名认证。更多信息,请参见实名认证。
配置流程
您可以参照以下步骤使用大模型网关:
- 创建网关访问密钥。
网关访问密钥是您访问大模型网关的身份凭证,用于管理访问者的权限,如授权、鉴权、限流等。 - 调用大模型网关 API。
大模型网关提供与 OpenAI API 用法完全一致的 API 和 SDK。您只需复制示例代码并使用 OpenAI 请求方法编写请求,即可访问各种支持的预置模型。 - 监控 tokens 用量。
随时监控网关访问密钥的 tokens 使用情况,以免额度不足导致您的服务中断。
步骤1:创建网关访问密钥
- 登录大模型网关控制台。
- 在左侧导航栏,单击 网关访问密钥。
- 单击 创建网关访问密钥。
- 完成 创建网关访问密钥 配置向导。
创建网关访问密钥。
完成以下参数配置,然后单击 下一步。
类别 | 配置项 | 说明 |
---|
基本信息 | 名称 | 为网关访问密钥设置一个名称。示例:my_first_key。 |
模型选择 | 模型配置 | 从模型列表选择与该网关访问密钥绑定的模型。当使用网关访问密钥时,您只能调用与网关访问密钥绑定的模型。
首次使用时,建议选择大模型网关平台预置的模型。调用平台预置模型消耗大模型网关赠送给您的 tokens。您可以将 渠道类型 设置为 平台预置模型,以便筛选出所有可用的预置模型。 |
配置调用策略。
完成以下参数配置,然后单击 确定。
类别 | 配置项 | 说明 |
---|
调用策略 | 顺序设置 | 手动调整上一步选择的模型的顺序。
前一个模型调用失败后,大模型网关将依次调用后续模型,直到成功调用一个模型。如果所有模型都调用失败,则返回错误响应。 |
重试次数 | 无需修改预设值。
预设值为 1,表示当一个模型调用失败后,大模型网关将重新尝试调用此模型一次。 |
高级配置 | 缓存启用状态 | 无需修改默认设置。
默认启用缓存。启用缓存可以让大模型网关缓存调用结果,从而加快重复查询、缩短响应时间并降低成本。 |
缓存时长 | 无需修改预设值。
预设值为 5分钟,表示缓存将被保留 5 分钟,然后会被清除。 |
请求超时定义 | 无需修改预设值。
预设值为 6000 毫秒,表示模型请求发出后,若在 6 秒内未收到响应,则判定请求失败。 |
网关访问密钥创建成功后,在列表找到您的网关访问密钥,单击 操作 列的 查看密钥,可以查看和复制相应的 API Key。
注意
请务必妥善保管您的网关访问密钥 API Key。API Key 泄露会导致未经授权的使用,为您带来安全风险和资产损失!
步骤2:调用大模型网关 API
在列表找到您的网关访问密钥,单击 操作 列的 查看代码。查看代码 对话框提供了符合 OpenAI 接口请求规范的示例,包含 Curl、Python 示例。
使用示例代码时,注意以下事项:
- 通过 选择模型 参数指定要调用的模型。
您可以从网关访问密钥绑定的模型中选择一个模型。您选择模型后,代码中的model
参数值将自动替换成模型对应的值。 - 使用您的网关访问密钥 API Key 替换示例代码中的
$VEI_API_KEY
。
步骤3:监控额度用量
- 在网关访问密钥列表找到您的网关访问密钥,查看 tokens消耗总量。
消耗总量涵盖了网关访问密钥绑定的所有调用渠道(包含平台预置模型、自有三方模型、自有三方智能体)的 tokens 消耗量。 - 将光标放置在 tokens消耗总量 数值上,查看免费额度消费统计、自有密钥额度消费统计。