You need to enable JavaScript to run this app.
导航
开始使用大模型网关
最近更新时间:2024.12.17 10:49:09首次发布时间:2024.06.27 20:29:59

本教程介绍了如何快速开始使用大模型网关。

说明

前提条件

您已经注册火山引擎账号并完成实名认证。更多信息,请参见实名认证

配置流程

您可以参照以下步骤使用大模型网关:

  1. 创建网关访问密钥。
    网关访问密钥是您访问大模型网关的身份凭证,用于管理访问者的权限,如授权、鉴权、限流等。
  2. 调用大模型网关 API。
    大模型网关提供与 OpenAI API 用法完全一致的 API 和 SDK。您只需复制示例代码并使用 OpenAI 请求方法编写请求,即可访问各种支持的预置模型。
  3. 监控 tokens 用量。
    随时监控网关访问密钥的 tokens 使用情况,以免额度不足导致您的服务中断。

步骤1:创建网关访问密钥

  1. 登录大模型网关控制台
  2. 在左侧导航栏,单击 网关访问密钥
  3. 单击 创建网关访问密钥
  4. 完成 创建网关访问密钥 配置向导。
    1. 创建网关访问密钥
      完成以下参数配置,然后单击 下一步
      Image

      类别

      配置项

      说明

      基本信息

      名称

      为网关访问密钥设置一个名称。示例:my_first_key

      模型选择

      模型配置

      从模型列表选择与该网关访问密钥绑定的模型。当使用网关访问密钥时,您只能调用与网关访问密钥绑定的模型。
      首次使用时,建议选择大模型网关平台预置的模型。调用平台预置模型消耗大模型网关赠送给您的 tokens。您可以将 渠道类型 设置为 平台预置模型,以便筛选出所有可用的预置模型。

    2. 配置调用策略
      完成以下参数配置,然后单击 确定
      Image

      类别

      配置项

      说明

      调用策略

      顺序设置

      手动调整上一步选择的模型的顺序。
      前一个模型调用失败后,大模型网关将依次调用后续模型,直到成功调用一个模型。如果所有模型都调用失败,则返回错误响应。

      重试次数

      无需修改预设值。
      预设值为 1,表示当一个模型调用失败后,大模型网关将重新尝试调用此模型一次。

      高级配置

      缓存启用状态

      无需修改默认设置。
      默认启用缓存。启用缓存可以让大模型网关缓存调用结果,从而加快重复查询、缩短响应时间并降低成本。

      缓存时长

      无需修改预设值。
      预设值为 5分钟,表示缓存将被保留 5 分钟,然后会被清除。

      请求超时定义

      无需修改预设值。
      预设值为 6000 毫秒,表示模型请求发出后,若在 6 秒内未收到响应,则判定请求失败。

      说明

      关于参数配置的更多信息,请参见创建网关访问密钥

网关访问密钥创建成功后,在列表找到您的网关访问密钥,单击 操作 列的 查看密钥,可以查看和复制相应的 API Key。

注意

请务必妥善保管您的网关访问密钥 API Key。API Key 泄露会导致未经授权的使用,为您带来安全风险和资产损失!

Image

步骤2:调用大模型网关 API

在列表找到您的网关访问密钥,单击 操作 列的 查看代码查看代码 对话框提供了符合 OpenAI 接口请求规范的示例,包含 Curl、Python 示例。
使用示例代码时,注意以下事项:

  • 通过 选择模型 参数指定要调用的模型。
    您可以从网关访问密钥绑定的模型中选择一个模型。您选择模型后,代码中的model参数值将自动替换成模型对应的值。
  • 使用您的网关访问密钥 API Key 替换示例代码中的$VEI_API_KEY
    Image

步骤3:监控额度用量

  1. 在网关访问密钥列表找到您的网关访问密钥,查看 tokens消耗总量
    消耗总量涵盖了网关访问密钥绑定的所有调用渠道(包含平台预置模型、自有三方模型、自有三方智能体)的 tokens 消耗量。
  2. 将光标放置在 tokens消耗总量 数值上,查看免费额度消费统计、自有密钥额度消费统计。