POST https://ark.cn-beijing.volces.com/api/v3/chat/completions
本文介绍Doubao多模态大模型API的输入输出参数,方便您调用接口ChatCompletions
,向大模型发起视觉理解的请求。模型会依据传入的图片信息以及问题,给出回复。
本接口支持 API Key 鉴权方式,详见鉴权认证方式。
如果您需要使用Access Key来调用,可以使用接口来获取临时API Key,详细接口说明请参见GetApiKey - 获取临时API
注意
tools
:不支持function call特性。frequency_penalty
:不支持设置频率惩罚系数。presence_penalty
:不支持设置存在惩罚系数。n
:不支持为每个请求生成多个chatcompletions,只能生成1个。参数名称 | 类型 | 是否必填 | 默认值 | 描述 | 示例值 |
---|---|---|---|---|---|
model | String | 是 | - | 您创建的推理接入点(Endpoint)ID。该推理接入点需部署了视觉理解的模型,如
| ep-202406040*****-***** |
messages | Array of MessageParam | 是 | - | 由目前为止的对话组成的消息列表,包含用户输入的最后一条消息。 | - |
stream | Boolean | 否 | false | 响应内容是否流式返回
| false |
stream_options | Array ofStreamOptionsParam | 否 | - | 流式响应的选项。仅当 | - |
max_tokens | Integer | 否 | 4096 | 注意
| 4096 |
stop | String or Array | 否 | - | 模型遇到 | ["你好", "天气"] |
temperature | Float | 否 | 1 | 采样温度。控制了生成文本时对每个候选词的概率分布进行平滑的程度。取值范围为 [0, 1]。 | 0.8 |
top_p | Float | 否 | 0.7 | 核采样概率阈值。模型会考虑概率质量在 | 0.8 |
logprobs | Boolean | 否 | false | 是否返回输出 token 的对数概率。
| false |
top_logprobs | Integer | 否 | 0 | 指定每个输出 token 位置最有可能返回的 token 数量,每个 token 都有关联的对数概率。仅当 | 2 |
logit_bias | Map<String, Integer> | 否 | - | 调整指定 token 在模型输出内容中出现的概率,使模型生成的内容更加符合特定的偏好。
| - |
参数名称 | 类型 | 是否必填 | 描述 |
---|---|---|---|
role | String | 是 | 发出该消息的对话参与者的角色,此处应设置为 |
content | String | 否 | 系统消息
|
参数名称 | 子字段 | 类型 | 是否必填 | 描述 |
---|---|---|---|---|
role | String | 是 | 发出该消息的对话参与者的角色,此处应设置为 | |
content | - | String/Array | 是 | 视觉理解模型请求的消息内容,消息发送角色为用户。
|
type | String | 是 |
| |
text | String | 条件必填 |
| |
image_url | Object | 图片信息。
|
参数名称 | 类型 | 是否必填 | 描述 |
---|---|---|---|
role | String | 是 | 发出该消息的对话参与者的角色,此处应设置为 |
content | String | 是 | 模型的消息回复。
|
参数名称 | 类型 | 是否必填 | 默认值 | 描述 | 示例值 |
---|---|---|---|---|---|
include_usage | Boolean | 否 | false | 是否包含本次请求的 token 用量统计信息
| false |
参数名称 | 子字段 | 类型 | 描述 |
---|---|---|---|
id | - | String | 一次 chat completion 接口调用的唯一标识。 |
choices | - | Array | 本次 chat 结果列表。长度固定为 1。 |
index | Integer | 该元素在 choices 列表的索引。 | |
message | Object | 模型输出的消息内容。 | |
finish_reason | String | 模型生成结束原因:
| |
logprobs | Object | 该输出结果的概率信息,其只有一个
| |
created | - | Integer | 本次对话生成的时间戳(秒)。 |
model | - | String | 实际使用的模型名称和版本。 |
object | - | String | 固定为 chat.completion。 |
usage | - | Object | 本次请求的 token 用量。 |
prompt_tokens | Integer | 本次请求中输入的 token 数量。 | |
completion_tokens | Integer | 模型生成的 token 数量。 | |
total_tokens | Integer | 总的 token 数量。 |
字段 | 子字段 | 类型 | 描述 |
---|---|---|---|
id | - | String | 一次 chat completion 接口调用的唯一标识,一次流式调用所有的 chunk 有相同的 id。 |
choices | - | Array | 结果列表。长度固定为 1。如果设置了 |
index | Integer | 该元素在 choices 列表的索引。 | |
delta | Object | 由流式模型响应的模型输出增量,示例如下。
| |
finish_reason | String | 模型生成结束原因, | |
logprobs | Object | 该输出结果的概率信息,其只有一个 content 字段,类型为 array,表示 message 列表中每个元素 content token 的概率信息,content 元素子字段说明如下:
| |
created | - | Integer | 本次对话生成时间戳(秒)。 |
model | - | String | 实际使用的模型名称和版本。 |
object | - | String | 固定为 chat.completion.chunk。 |
usage | - | Object | 本次请求的 token 用量。 |
prompt_tokens | Integer | 本次请求中输入的 token 数量。 | |
completion_tokens | Integer | 模型生成的 token 数量。 | |
total_tokens | Integer | 总的 token 数量。 |
curl https://ark.cn-beijing.volces.com/api/v3/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer 59385462-****" \ -d '{ "model": "ep-20241105****", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "图片主要讲了什么?" }, { "type": "image_url", "image_url": { "url": "https://ark-project.tos-cn-beijing.volces.com/images/view.jpeg" } }, { "type": "image_url", "image_url": { "url": "https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_a81e3cdd3e30617ecd524a132fdb2736.png" } } ] } ] }'
{ "choices": [ { "finish_reason": "stop", "index": 0, "logprobs": null, "message": { "content": "这张图片由两部分组成。\n\n左侧的图片展示了一幅宁静的自然景观。画面中央是一片平静的湖水,湖面上有一艘橙色的皮划艇,艇上有一个人正在划船。湖的对岸是一片茂密的森林,树木高大,颜色深绿。远处是连绵的雪山,山顶覆盖着白雪,山体雄伟壮观。天空湛蓝,几缕白云点缀其间,整个场景给人一种宁静、自然的感觉。\n\n右侧的图片是一张信息图,背景为白色。图中展示了四个蓝色的矩形框,每个框内都有文字内容,分别是:\n\n1. **精选模型**:\n - 多行业各业务场景模型支持\n - 精选多家优质大模型\n - 丰富的平台应用与工具\n - 搭建专属您的创新场景\n - 客户拥有更多选择\n\n2. **数据安全**:\n - 安全可信方案\n - 保障模型供应商模型安全\n - 保障客户企业数据安全\n - 保障多方知识产权\n\n3. **强劲算力**:\n - 算力充足且功能完备\n - 基于火山的万卡资源池\n - 基于高性能的训练、推理资源\n - 包含模型精调、测评、推理等功能\n\n4. **企业级服务**:\n - 专业服务体系支持和团队\n - 专业的产品与运营团队\n - 专业的销售与交付团队\n - 满足企业的应用与交付需求\n\n这些内容可能是在介绍某个企业或平台的服务优势,包括模型选择、数据安全、计算能力和企业级服务等方面。", "role": "assistant" } } ], "created": 1730896926, "id": "021730896918756a0f9b9ad2029****", "model": "doubao-pro-vision-32k-241015", "object": "chat.completion", "usage": { "completion_tokens": 361, "prompt_tokens": 545, "total_tokens": 906 } }
本接口调用失败的返回结构和参数释义请参见返回结构文档。
本接口与业务逻辑相关的错误码如下表所示。公共错误码请参见公共错误码。
HTTP 状态码 | 错误类型 type | 错误代码 code | 错误信息 message | 含义 |
---|---|---|---|---|
400 | BadRequest | SensitiveContentDetected | The request failed because the input text may contain sensitive information. | 输入文本可能包含敏感信息,请您使用其他 prompt。 |
视觉理解:视觉理解模型调用开发教程,建议阅读。