POST https://ark.cn-beijing.volces.com/api/v3/batch/chat/completions [运行](https://api.volcengine.com/api-explorer/?action=BatchChatCompletions&data=%7B%7D&groupName=%E6%89%B9%E9%87%8F%E6%8E%A8%E7%90%86&query=%7B%7D&serviceCode=ark&version=2024-01-01) 本文介绍批量推理调用模型服务的 API 的输入输出参数，供您使用接口时查阅字段含义。通过批量推理您可以享受到更高的限流配额以及实惠的价格，适合进行大批量数据处理时使用。 > 推荐的调用方式请见[示例代码](https://www.volcengine.com/docs/82379/1399517#%E7%A4%BA%E4%BE%8B%E4%BB%A3%E7%A0%81)。 ```mixin-react return ( ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_2abecd05ca2779567c6d32f0ddc7874d.png =20x) [模型列表](https://www.volcengine.com/docs/82379/1399517#%E6%94%AF%E6%8C%81%E7%9A%84%E6%A8%A1%E5%9E%8B) ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_a5fdd3028d35cc512a10bd71b982b6eb.png =20x) [模型计费](https://www.volcengine.com/docs/82379/1099320#%E6%89%B9%E9%87%8F%E6%8E%A8%E7%90%86) ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_afbcf38bdec05c05089d5de5c3fd8fc8.png =20x) [API Key](https://console.volcengine.com/ark/region:ark+cn-beijing/apiKey?apikey=%7B%7D) ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_bef4bc3de3535ee19d0c5d6c37b0ffdd.png =20x) [开通模型](https://console.volcengine.com/ark/region:ark+cn-beijing/openManagement?LLM=%7B%7D&OpenTokenDrawer=false) ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_57d0bca8e0d122ab1191b40101b5df75.png =20x) [调用教程](https://www.volcengine.com/docs/82379/1399517) ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_f45b5cd5863d1eed3bc3c81b9af54407.png =20x) [接口文档](https://www.volcengine.com/docs/82379/1528783) ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_1609c71a747f84df24be1e6421ce58f0.png =20x) [常见问题](https://www.volcengine.com/docs/82379/1359411) `}> 如需使用 Access Key 来鉴权，推荐使用 SDK 的方式，具体请参见 [SDK概述](https://www.volcengine.com/docs/82379/1302007)。 `}>); ``` --- ## 请求参数 > 跳转 [响应参数](#Qu59cel0) ### 请求体 * **model** `string` `必选` 您通过[批量推理接入点](https://www.volcengine.com/docs/82379/1305505#_1-%E5%88%9B%E5%BB%BA%E6%89%B9%E9%87%8F%E6%8E%A8%E7%90%86%E6%8E%A5%E5%85%A5%E7%82%B9%E5%B9%B6%E8%8E%B7%E5%8F%96%E6%89%B9%E9%87%8F%E6%8E%A8%E7%90%86%E6%8E%A5%E5%85%A5%E7%82%B9id) ID 来调用模型批量推理服务。 * messages object[] `必选` 到目前为止的对话组成的消息列表。不同模型支持不同类型的消息，如文本、图片等。 ```mixin-react return ( 开发人员提供的指令，模型应遵循这些指令。如模型扮演的角色或者目标等。 * messages.**role** string \`必选\` 发送消息的角色，此处应为system。 * messages.**content** string / object[] \`必选\` 系统信息内容。 \`\`\`mixin-react return ( object[] 视觉理解模型等多模态模型、部分大语言模型支持此类型。 **文本消息部分** object 多模态消息中，内容文本输入。[视觉理解模型](https://www.volcengine.com/docs/82379/1330310#%E8%A7%86%E8%A7%89%E7%90%86%E8%A7%A3)、部分大语言模型支持此类型消息。 * messages.content.**text** \\`string\\` \\`必选\\` 文本消息内容部分。 * messages.content.**type** \\`string\\` \\`必选\\` 文本消息类型，此次应为 \\`text\\`。 **图像消息部分** object 多模态消息中，图像内容部分。[视觉理解模型](https://www.volcengine.com/docs/82379/1330310#%E8%A7%86%E8%A7%89%E7%90%86%E8%A7%A3)支持此类型消息。 * messages.content.**image_url** \\`object\\` \\`必选\\` 图片消息的内容部分。 * messages.content.image_url.**url** \\`string\\` \\`必选\\` 支持传入图片链接，不同模型支持图片大小略有不同，具体请参见[使用说明](https://www.volcengine.com/docs/82379/1362931#%E4%BD%BF%E7%94%A8%E8%AF%B4%E6%98%8E)。 * 传入图片URL：传入图片的可访问链接，需使用 TOS（火山引擎对象存储）存储图片，并生成图片链接。 * messages.content.image_url.**detail** \\`string / null\\` \\`默认值 auto\\` 支持手动设置图片的质量，取值范围high、low、auto。 * high：高细节模式，适用于需要理解图像细节信息的场景，如对图像的多个局部信息/特征提取、复杂/丰富细节的图像理解等场景，理解更全面。 * low：低细节模式，适用于简单的图像分类/识别、整体内容理解/描述等场景，理解更快速。 * auto：默认模式，不同模型选择的模式略有不同，具体请参见[理解图像的深度控制](https://www.volcengine.com/docs/82379/1362931#bf4d9224)。 * messages.content.**type** \\`string\\` \\`必选\\` 图像消息类型，此次应为 \\`image_url\\`。 \`}>); \`\`\` `}> 用户发送的消息，包含提示或附加上下文信息。 * messages.**role** string \`必选\` 发送消息的角色，此处应为\`user\`。 * messages.**content** string / object[] \`必选\` 用户信息内容。 \`\`\`mixin-react return ( object[] 视觉理解模型等多模态模型、部分大语言模型支持此类型。 **文本消息部分** object 多模态消息中，内容文本输入。[视觉理解模型](https://www.volcengine.com/docs/82379/1330310#%E8%A7%86%E8%A7%89%E7%90%86%E8%A7%A3)、部分大语言模型支持此类型消息。 * messages.content.**text** \\`string\\` \\`必选\\` 文本消息内容部分。 * messages.content.**type** \\`string\\` \\`必选\\` 文本消息类型，此次应为 \\`text\\`。 **图像消息部分** object 多模态消息中，图像内容部分。[视觉理解模型](https://www.volcengine.com/docs/82379/1330310#%E8%A7%86%E8%A7%89%E7%90%86%E8%A7%A3)支持此类型消息。 * messages.content.**image_url** \\`object\\` \\`必选\\` 图片消息的内容部分。 * messages.content.image_url.**url** \\`string\\` \\`必选\\` 支持传入图片链接，不同模型支持图片大小略有不同，具体请参见[使用说明](https://www.volcengine.com/docs/82379/1362931#%E4%BD%BF%E7%94%A8%E8%AF%B4%E6%98%8E)。 * 传入图片URL：传入图片的可访问链接，需使用 TOS（火山引擎对象存储）存储图片，并生成图片链接。 * messages.content.image_url.**detail** \\`string / null\\` \\`默认值 auto\\` 支持手动设置图片的质量，取值范围high、low、auto。 * high：高细节模式，适用于需要理解图像细节信息的场景，如对图像的多个局部信息/特征提取、复杂/丰富细节的图像理解等场景，理解更全面。 * low：低细节模式，适用于简单的图像分类/识别、整体内容理解/描述等场景，理解更快速。 * auto：默认模式，不同模型选择的模式略有不同，具体请参见[理解图像的深度控制](https://www.volcengine.com/docs/82379/1362931#bf4d9224)。 * messages.content.**type** \\`string\\` \\`必选\\` 图像消息类型，此次应为 \\`image_url\\`。 \`}>); \`\`\` `}> 模型响应用户消息而回复的消息。 :::tip messages.**content** 与 messages.**tool_calls** 字段二者至少填写其一。 ::: * messages.**role** string \`必选\` 发送消息的角色，此处应为\`assistant\`。 * messages.**content** string / array 模型回复的消息。 * messages.**name** string/null 默认值 null 发送信息的姓名，可以用来区别相同角色但是不同个体发送信息的情况。 * messages.**tool_calls** \`object[]\` 模型回复的工具调用信息。 * messages.tool_calls**.function** \`object\` \`必选\` 模型调用工具对应的函数信息。 * messages.tool_calls**.**function.**name** string \`必选\` 模型需要调用的函数名称。 * messages.tool_calls**.**function.arguments string \`必选\` 模型生成的用于调用函数的参数，JSON 格式。 :::tip 模型并不总是生成有效的 JSON，并且可能会虚构出一些您的函数参数规范中未定义的参数。在调用函数之前，请在您的代码中验证这些参数是否有效。 ::: * messages.tool_calls**.id** string \`必选\` 调用的工具的 ID。 * messages.tool_calls**.type** string \`必选\` 工具类型，当前仅支持function。 `}>); ``` * **max_tokens** `integer / null` `默认值 4096` 模型回复最大长度（单位 token），取值范围各个模型不同，详细见[模型列表](https://www.volcengine.com/docs/82379/1330310)。输入 token 和输出 token 的总长度还受模型的上下文长度限制。 * **max_completion_tokens** `integer / null` 模型生成的 token 数量的上限，包含思维链内容（**reasoning_content**）与回答内容（**content**），不包含传入的信息（**messages**）。超出后，停止模型输出思维链内容及模型回答，并返回finish_reason字段为`length`。 * **reasoning_effort** `string / null` `默认值 medium` 调用深度推理模型时，控制推理的思考的工作量，3个可选范围 `low`, `medium`, `high`。如设置Low，会减少思考时花费的 token 数和思考时间。 * **stop** `strng / string[] / null` `默认值 null` 模型遇到 stop 字段所指定的字符串时将停止继续生成，这个词语本身不会输出。最多支持 4 个字符串。 `["你好", "天气"]` * **frequency_penalty** `float / null` `默认值 0` 取值范围为 [\-2.0, 2.0]。频率惩罚系数。如果值为正，会根据新 token 在文本中的出现频率对其进行惩罚，从而降低模型逐字重复的可能性。 * **presence_penalty** `float / null` `默认值 0` 取值范围为 [\-2.0, 2.0]。存在惩罚系数。如果值为正，会根据新 token 到目前为止是否出现在文本中对其进行惩罚，从而增加模型谈论新主题的可能性。 * **temperature** `float / null` `默认值 1` 取值范围为 [0, 1]。采样温度。控制了生成文本时对每个候选词的概率分布进行平滑的程度。。当取值为 0 时模型仅考虑对数概率最大的一个 token。较高的值（如 0.8）会使输出更加随机，而较低的值（如 0.2）会使输出更加集中确定。通常建议仅调整 temperature 或 top_p 其中之一，不建议两者都修改。 * **top_p** `float / null` `默认值 0.7` 取值范围为 [0, 1]。核采样概率阈值。模型会考虑概率质量在 top_p 内的 token 结果。当取值为 0 时模型仅考虑对数概率最大的一个 token。 0.1 意味着只考虑概率质量最高的前 10% 的 token，取值越大生成的随机性越高，取值越低生成的确定性越高。通常建议仅调整 temperature 或 top_p 其中之一，不建议两者都修改。 * **logprobs** `boolean / null` `默认值 false` 是否返回输出 tokens 的对数概率。 * `false`：不返回对数概率信息。 * `true`：返回消息内容中每个输出 token 的对数概率。 * **top_logprobs** `integer / null` `默认值 0` 取值范围为 [0, 20]。指定每个输出 token 位置最有可能返回的 token 数量，每个 token 都有关联的对数概率。仅当 **logprobs为**`true` 时可以设置 **top_logprobs** 参数。 * **logit_bias** `map / null` `默认值 null` 调整指定 token 在模型输出内容中出现的概率，使模型生成的内容更加符合特定的偏好。**logit_bias** 字段接受一个 map 值，其中每个键为词表中的 token ID（使用 tokenization 接口获取），每个值为该 token 的偏差值，取值范围为 [\-100, 100]。 \-1 会减少选择的可能性，1 会增加选择的可能性；\-100 会完全禁止选择该 token，100 会导致仅可选择该 token。该参数的实际效果可能因模型而异。 `{ "1234": -100}` * **tools** `object[] / null` `默认值 null` 模型可以调用的工具列表。目前仅函数作为工具被支持。用这个来提供模型可能为其生成 JSON 输入的函数列表。支持该字段的模型请参见[文档](https://www.volcengine.com/docs/82379/1262342#8c325d45)。 * tools.**type** `string` `必选` 工具类型，当前仅支持 `function`。 * tools.**function** `object` `必选` 模型可以调用的类型为`function`的工具列表。 * tools.function.**name** `string` `必选` 调用的函数的名称。 * tools.function.**description** `string` `必选` 调用的函数的描述，大模型会使用它来判断是否调用这个函数。 * tools.function.**parameters** `object` `必选` 函数请求参数，以 JSON Schema 格式描述。具体格式请参考 [JSON Schema](https://json-schema.org/understanding-json-schema) 文档。 ```JSON { "type": "object", "properties": { "location": { "type": "string", "description": "城市，如：北京" } }, "required": ["location"] } ``` ## 响应参数 > 跳转 [请求参数](#RxN8G2nH) * **id** `string` 本次请求的唯一标识。 * **model** `string` 本次请求实际使用的模型名称和版本。 doubao 1.5 代模型的模型名称格式为 doubao\-1\-5\-\*\*。如调用部署doubao\-1.5\-pro\-32k 250115模型的推理接入点，返回model字段信息doubao\-1\-5\-pro\-32k\-250115。 * service_tier `string` 本次请求是否使用了TPM保障包。批量推理不支持TPM保障包，故值应为default。 * default：本次请求未使用TPM保障包额度。 * **created** `integer` 本次请求创建时间的 Unix 时间戳（秒）。 * object `string` 固定为 chat.completion。 * **choices** `object[]` 本次请求的模型输出内容。 * choices.**index** integer 当前元素在 choices 列表的索引。 * choices.finish_reason string 模型停止生成 token 的原因。取值范围： * stop：模型输出自然结束，或因命中请求参数 stop 中指定的字段而被截断。 * length：模型输出因达到模型输出限制而被截断，有以下原因： * 触发max_token限制（回答内容的长度限制）。 * 触发max_completion_tokens限制（思维链内容+回答内容的长度限制）。 * 触发context_window限制（输入内容+思维链内容+回答内容的长度限制）。 * content_filter：模型输出被内容审核拦截。 * tool_calls：模型调用了工具。 * choices.**message** `object` 模型输出的内容。 * choices.message.**role** string 内容输出的角色，此处固定为 assistant。 * choices.message.**content** string 模型生成的消息内容。 * choices.message.reasoning_content string / null 模型处理问题的思维链内容。仅深度推理模型支持返回此字段，深度推理模型请参见[支持模型](https://www.volcengine.com/docs/82379/1449737#5f0f3750)。 * choices.message.tool_calls object[] / null 模型生成的工具调用。 * choices.message.tool_calls.i**d** string 调用的工具的 ID。 * choices.message.tool_calls.type string 工具类型，当前仅支持function。 * choices.message.tool_calls.function object 模型调用的函数。 * choices.message.tool_calls.function.name string 模型调用的函数的名称。 * choices.message.tool_calls.function.arguments string 模型生成的用于调用函数的参数，JSON 格式。模型并不总是生成有效的 JSON，并且可能会虚构出一些您的函数参数规范中未定义的参数。在调用函数之前，请在您的代码中验证这些参数是否有效。 * choices.logprobs object / null 当前内容的对数概率信息。 * choices.logprobs.content object[] / null message列表中每个 content 元素中的 token 对数概率信息。 * choices.logprobs.content.token string 当前 token。 * choices.logprobs.content.bytes integer[] / null 当前 token 的 UTF\-8 值，格式为整数列表。当一个字符由多个 token 组成（表情符号或特殊字符等）时可以用于字符的编码和解码。如果 token 没有 UTF\-8 值则为空。 * choices.logprobs.content.logprob float 当前 token 的对数概率。 * choices.logprobs.content.top_logprobs object[] 在当前 token 位置最有可能的标记及其对数概率的列表。在一些情况下，返回的数量可能比请求参数 top_logprobs 指定的数量要少。 * choices.logprobs.content.top_logprobs.token string 当前 token。 * choices.logprobs.content.top_logprobs.bytes integer[] / null 当前 token 的 UTF\-8 值，格式为整数列表。当一个字符由多个 token 组成（表情符号或特殊字符等）时可以用于字符的编码和解码。如果 token 没有 UTF\-8 值则为空。 * choices.logprobs.content.top_logprobs.logprob float 当前 token 的对数概率。 * **usage** `object` 本次请求的 token 用量。 * usage.prompt_tokens integer 输入的 prompt token 数量。 * usage.completion_tokens integer 模型生成的 token 数量。 * usage.total_tokens integer 本次请求消耗的总 token 数量（输入 + 输出）。 * usage.prompt_tokens_details object 命中上下文缓存的tokens细节。本接口暂不支持该字段。 * usage.prompt_tokens_details.cached_tokens integer 本接口暂不支持该字段。此处应为 0。 * usage.completion_tokens_details object 本次请求花费的 token 的细节。 * usage.completion_tokens_details.reasoning_tokens integer 输出思维链内容花费的 token 数。支持输出思维链的模型请参见[文档](https://www.volcengine.com/docs/82379/1449737#5f0f3750)。

火山方舟大模型服务平台