本文介绍了大模型网关的使用方法。

使用流程

参照以下步骤使用大模型网关：

1. 创建网关访问密钥。
   网关访问密钥是您访问大模型网关的身份凭证，用于管理访问者的权限，如授权、鉴权、限流等。
2. 调用大模型网关 API。
   大模型网关提供与 OpenAI API 用法完全一致的 API 和 SDK。您只需复制示例代码并使用 OpenAI 请求方法编写请求，即可访问各种支持的大模型。
3. 监控额度用量。
   随时监控额度使用情况，以免额度不足导致您的服务中断。

使用限制

• 企业认证账号：默认可创建 5 个网关访问密钥；达到上限后，继续创建需提交配额申请。个人认证账号：默认不可创建网关访问密钥；执行创建时，将触发配额申请。
• 每个网关访问密钥包含 200 万 tokens 免费调用额度，仅限于调用平台预置模型。

前提条件

您已经完成账号实名认证。更多信息，请参见实名认证。

操作步骤

步骤1：创建网关访问密钥

1. 登录大模型网关控制台。
2. 在左侧导航栏，单击 网关访问密钥。
3. 单击 创建网关访问密钥。
4. 完成 创建网关访问密钥 配置向导。

   1. 创建网关访问密钥。
      配置以下参数，然后单击 下一步。
      

      类别	配置项	说明
      基本信息	名称	为网关访问密钥设置一个名称。
      配置信息	模型配置	从模型列表选择与该网关访问密钥绑定的模型。首次使用时，建议选择预置模型（密钥来源 为 平台生成）。 若您拥有从第三方模型提供商平台获取的密钥，也可以在添加模型调用密钥后，选择第三方模型（密钥来源 为 用户自有）。更多信息，请参见模型调用密钥。

   2. 配置调用策略。
      配置以下参数，然后单击 确定。
      

      类别	配置项	说明
      调用策略	顺序设置	手动调整上一步选择的模型的顺序。顺序靠前的模型将被优先调用。
      	重试次数	设置对单个模型请求的最大重试次数，取值范围为 0~3。
      缓存配置	缓存启用状态	启用缓存后，大模型网关会缓存来自模型提供商的响应。
      	缓存时长	仅在 缓存启用状态 打开时，该参数才会出现。 设置缓存的保留时长。一旦超过指定时长，缓存将被清除。可选项：1分钟、5分钟、30分钟、1小时、1天、1周。

      说明

      关于参数配置的更多信息，请参见网关访问密钥。

网关访问密钥创建成功后，在列表找到您的网关访问密钥，单击 操作 列的 查看密钥，可以查看和复制相应的 API Key。

步骤2：调用大模型网关 API

在列表找到您的网关访问密钥，单击 操作 列的 查看代码。查看代码 对话框提供了符合 OpenAI 接口请求规范的示例，包含 Curl、Python 示例。
使用示例代码时，注意以下事项：

• 通过 选择模型 参数指定要调用的模型。
  您可以从网关访问密钥所绑定的模型中选择一个模型。您选择模型后，代码中的model参数值将自动替换成模型对应的值。
• 使用您的网关访问密钥 API Key 替换示例代码中的$VEI_API_KEY。
• （可选）如果您开启了加密请求功能，则需要将示例代码中的$ENCRYPTED_INFO替换成与大模型网关技术团队约定的加密文本。

  说明

  加密请求功能现只开放白名单测试。只有白名单中的账号可以看到相关配置。如果您对该功能感兴趣，可以通过工单系统联系我们，以了解详情。

步骤3：监控额度用量

1. 在网关访问密钥列表找到您的网关访问密钥，查看 tokens消耗总量。
   消耗总量涵盖了网关访问密钥关联的所有模型密钥（包含平台生成、用户自有）的 tokens 消耗量。
2. 将光标放置在 tokens消耗总量 数值上，查看免费额度消费统计、自有密钥额度消费统计。