本文介绍了大模型网关的使用方法。
参照以下步骤使用大模型网关:
您已经完成账号实名认证。更多信息,请参见实名认证。
创建网关访问密钥。
配置以下参数,然后单击 下一步。
类别 | 配置项 | 说明 |
---|---|---|
基本信息 | 名称 | 为网关访问密钥设置一个名称。 |
配置信息 | 模型配置 | 从模型列表选择与该网关访问密钥绑定的模型。首次使用时,建议选择预置模型(密钥来源 为 平台生成)。 |
配置调用策略。
配置以下参数,然后单击 确定。
类别 | 配置项 | 说明 |
---|---|---|
调用策略 | 顺序设置 | 手动调整上一步选择的模型的顺序。顺序靠前的模型将被优先调用。 |
重试次数 | 设置对单个模型请求的最大重试次数,取值范围为 0~3。 | |
缓存配置 | 缓存启用状态 | 启用缓存后,大模型网关会缓存来自模型提供商的响应。 |
缓存时长 | 仅在 缓存启用状态 打开时,该参数才会出现。 |
说明
关于参数配置的更多信息,请参见网关访问密钥。
网关访问密钥创建成功后,在列表找到您的网关访问密钥,单击 操作 列的 查看密钥,可以查看和复制相应的 API Key。
注意
请务必妥善保管您的网关访问密钥 API Key。API Key 泄露会导致未经授权的使用,为您带来安全风险和资产损失!
在列表找到您的网关访问密钥,单击 操作 列的 查看代码。查看代码 对话框提供了符合 OpenAI 接口请求规范的示例,包含 Curl、Python 示例。
使用示例代码时,注意以下事项:
model
参数值将自动替换成模型对应的值。$VEI_API_KEY
。$ENCRYPTED_INFO
替换成与大模型网关技术团队约定的加密文本。说明
加密请求功能现只开放白名单测试。只有白名单中的账号可以看到相关配置。如果您对该功能感兴趣,可以通过工单系统联系我们,以了解详情。