You need to enable JavaScript to run this app.
导航
网关访问密钥
最近更新时间:2024.08.29 15:04:28首次发布时间:2024.08.07 11:04:00

网关访问密钥是您访问大模型网关的身份凭证,用于管理访问者的权限,如授权、鉴权、限流等。每个网关访问密钥有唯一的 API Key。要调用大模型网关 OpenAPI,您必须提供有效的 API Key。本文介绍了如何创建和管理网关访问密钥。

使用限制

  • 企业认证账号:默认可创建 5 个网关访问密钥;达到上限后,继续创建需提交配额申请。个人认证账号:默认不可创建网关访问密钥;执行创建时,将触发配额申请。
  • 每个网关访问密钥包含 200 万 tokens 免费调用额度,仅限于调用平台预置模型

说明

调用第三方模型不会消耗免费请求额度,但会消耗您自有密钥的额度(这部分额度由第三方模型提供商进行计费)。

前提条件

您已经完成账号实名认证。更多信息,请参见实名认证

创建网关访问密钥

要使用大模型网关,您首先需要创建一个网关访问密钥。

  1. 登录大模型网关控制台
  2. 在左侧导航栏,单击 网关访问密钥
  3. 单击 创建网关访问密钥
  4. 完成 创建网关访问密钥 配置向导。
    1. 创建网关访问密钥
      配置以下参数,然后单击 下一步
      图片

      类别

      配置项

      说明

      基本信息

      名称

      为网关访问密钥设置一个名称。
      您可以使用以下字符:英文字母、数字、汉字、下划线(_)和连字符(-)。请注意以下规则:长度限制为 32 个字符以内。

      描述

      为网关访问密钥添加描述。长度限制为 128 个字符以内。

      配置信息

      模型配置

      从模型列表选择与该网关访问密钥关联的模型。

      说明

      网关访问密钥创建成功后,您可以使用网关访问密钥来调用大模型网关的 OpenAPI,以访问网关访问密钥所关联的模型。若模型未与网关访问密钥关联,您将无法使用网关访问密钥访问对应模型。

      可选择的模型包括:大模型网关预置的模型和您有访问授权的第三方模型。

      • 预置模型:可直接从列表中选择。平台将自动为您生成该模型的调用密钥。
      • 第三方模型:您必须先添加自有的模型调用密钥,然后才可以在列表中选择相应模型。更多信息,请参见添加模型调用密钥
        您可以为一个模型添加多个调用密钥。选择第三方模型后,您还需选择要使用的模型调用密钥。

      注意

      请选择与您的使用场景相匹配的模型,不同类型的模型处理能力不完全相同。例如,多模态模型(Multimodal)可以处理包含图片的请求,而对话模型(Chat)通常无法处理图片。

    2. 配置调用策略
      配置以下参数,然后单击 确定
      图片

      类别

      配置项

      说明

      调用策略

      顺序设置

      手动调整上一步选择的模型的顺序。顺序靠前的模型将被优先调用。
      当对某个模型的调用失败(经过自动重试后仍然失败)时,大模型网关会按照您设定的顺序,依次向后续模型发起调用,直到成功调用某个模型或遍历完所有模型。

      说明

      请合理设置模型顺序。当一个多模态模型后面是一个对话模型时,可能导致故障切换机制失败。

      重试次数

      设置对单个模型请求的最大重试次数,取值范围为 0~3。
      这意味着,如果对某个模型的请求失败,大模型网关最多会再向同一模型重复发起 3 次请求,尝试获得成功的响应。如果重试后对该模型的请求仍然失败,大模型网关会将该模型标记为调用失败,并根据您设定的模型顺序,向其他模型(如果有的话)发起调用。

      注意

      请留意在不同模型提供商处的使用量。当发生故障切换、重试时,一个请求可能实际触发多次模型调用,导致使用量有所增加。

      缓存配置

      缓存启用状态

      启用缓存后,大模型网关会缓存来自模型提供商的响应。
      在收到相同请求时,大模型网关将会基于缓存进行响应,而无需重新发起模型调用。缓存机制使您的用户更快获得响应,并节省模型使用量。

      缓存时长

      仅在 缓存启用状态 打开时,该参数才会出现。
      设置缓存的保留时长。一旦超过指定时长,缓存将被清除。可选项:1分钟5分钟30分钟1小时1天1周

网关访问密钥创建成功后,您可以在列表中看到该网关访问密钥。

使用网关访问密钥

查看密钥(API Key)

每个网关访问密钥有唯一的 API Key。在调用大模型网关 OpenAPI 时,您必须提供网关访问密钥的 API Key。
在网关访问密钥列表找到您的网关访问密钥,单击 操作 列的 查看密钥,可以查看和复制相应的 API Key。

注意

请务必妥善保管您的网关访问密钥 API Key。API Key 泄露会导致未经授权的使用,为您带来安全风险和资产损失!

查看代码

在网关访问密钥列表找到您的网关访问密钥,单击 操作 列的 查看代码查看代码 对话框将会出现。
该对话框提供了符合 OpenAI 接口请求规范的示例,包含 Curl、Python 示例。
图片
根据您的需要,选择查看不同类型的示例代码。

  • Curl
    查看代码 对话框默认展示 Curl 示例命令。您可以复制示例命令,并将其粘贴到您的终端工具,以运行您的第一个 API 请求。
  • Python
    查看代码 对话框单击 Python,以查看 Python 示例代码。您可以复制示例代码,并将其粘贴到您的项目代码,以便在业务逻辑中请求大模型网关服务。

使用示例代码前,注意以下内容:

  • 通过 选择模型 参数指定要调用的模型。
    您可以从网关访问密钥所关联的模型中选择一个模型。您选择模型后,代码中的model参数值将自动替换成模型对应的值。
  • 使用您的网关访问密钥 API Key 替换示例代码中的$VEI_API_KEY
  • (可选)如果您开启了加密请求功能,则需要将示例代码中的$ENCRYPTED_INFO替换成与大模型网关技术团队约定的加密文本。

    说明

    加密请求功能现只开放白名单测试。只有白名单中的账号可以看到相关配置。如果您对该功能感兴趣,可以通过工单系统联系我们,以了解详情。

查看用量统计

每个网关访问密钥包含 2,000,000 tokens 的免费请求额度,仅适用于大模型网关预置模型调用;如果您调用的是第三方模型,则相应额度消耗由第三方模型提供商计费。
您可以大模型网关控制台查看网关访问密钥的额度消费统计。统计数据包含:

  • 预置模型调用产生的免费额度消费
  • 第三方模型调用产生的密钥额度消费

要查看网关访问密钥的额度消费统计:

  1. 在网关访问密钥列表找到您的网关访问密钥,查看 tokens消耗总量
    消耗总量涵盖了网关访问密钥关联的所有模型密钥(包含平台生成、用户自有)的 tokens 消耗量。
  2. 将光标放置在 tokens消耗总量 数值上,查看免费额度消费统计、自有密钥额度消费统计。

图片

编辑网关访问密钥

  1. 登录大模型网关控制台
  2. 在左侧导航栏,单击 网关访问密钥
  3. 网关访问密钥管理 页面,找到您的密钥,单击其名称。
    您将会进入密钥详情页面。
  4. 在密钥详情页面的右上角,单击 编辑
  5. 完成 编辑网关访问密钥 配置向导。
    请参考创建网关访问密钥配置向导,完成相关配置。