model

String

是

-

您创建的推理接入点（Endpoint）ID。
需配置支持批量推理的模型，具体请参见支持的模型。

ep-bi-202406040*****-*****

messages

Array of MessageParam

是

-

由目前为止的对话组成的消息列表，包含用户输入的最后一条消息。

-

stream

Boolean

否

false

批量推理不支持流式返回。故该字段取值范围为：false。

设置为true，接口会直接报错。

false

max_tokens

Integer

否

4096

配置模型最大回复的长度，超出长度的回复会进行截断。

4096

stop

String or Array

否

-

模型遇到 stop 字段所指定的字符串时将停止继续生成，这个词语本身不会输出。最多支持 4 个字符串。

["你好", "天气"]

frequency_penalty

Float

否

-

频率惩罚系数。如果值为正，会根据新 token 在文本中的出现频率对其进行惩罚，从而降低模型逐字重复的可能性。取值范围为 [-2.0, 2.0]。

如果您希望模型表达方式更加丰富，可以将该值调高。

presence_penalty

Float

否

-

存在惩罚系数。如果值为正，会根据新 token 到目前为止是否出现在文本中对其进行惩罚，从而增加模型谈论新主题的可能性。取值范围为 [-2.0, 2.0]。

如果您希望模型表达内容更加丰富，可以将该值调高。

temperature

Float

否

1

采样温度。控制了生成文本时对每个候选词的概率分布进行平滑的程度。取值范围为 [0, 1]。
较高的值（如 0.8）会使输出更加随机，而较低的值（如 0.2）会使输出更加集中确定。
通常建议仅调整 temperature 或 top_p 其中之一，不建议两者都修改。

0.8

top_p

Float

否

0.7

核采样概率阈值。模型会考虑概率质量在 top_p 内的 token 结果。取值范围为 [0, 1]，取值越大生成的随机性越高，取值越低生成的确定性越高。
举例来说，当取值为 0.1 时，模型仅考虑按照概率大小排序前列（token按照概率由大到小排序，累加概率达到阈值10%，即top_p=0.1）的 token，随机取一个作为输出。
通常建议仅调整 temperature 或 top_p 其中之一，不建议两者都修改。

0.8

logprobs

Boolean

否

false

是否返回输出 token 的对数概率。

• false：不返回对数概率信息。
• true：返回消息内容中每个输出 token 的对数概率。

false

top_logprobs

Integer

否

0

指定每个输出 token 位置最有可能返回的 token 数量，每个 token 都有关联的对数概率。仅当 logprobs: true 时可以设置 top_logprobs 参数，取值范围为 [0, 20]。

2

logit_bias

Map<String, Integer>

否

-

调整指定 token 在模型输出内容中出现的概率，使模型生成的内容更加符合特定的偏好。logit_bias 字段接受一个 map 值，其中每个键为词表中的 token ID（使用 tokenization 接口获取），每个值为该 token 的偏差值，取值范围为 [-100, 100]。
-1 会减少选择的可能性，1 会增加选择的可能性；-100 会完全禁止选择该 token，100 会导致仅可选择该 token。该参数的实际效果可能因模型而异。

{
    "1234": -100
}

-

tools

Array of ToolParam

否

-

模型可以调用的工具列表。目前，仅函数作为工具被支持。用这个来提供模型可能为其生成 JSON 输入的函数列表。

-

tool_choice

String or ToolChoiceParam

否

当没有工具时，默认为 none。
如果存在工具，默认为 auto。

控制模型调用哪个工具。

• none ：表示模型不会调用任何工具。
• auto ：表示模型可以调用工具，也可以不调用任何工具。
• required 表示模型必须调用一个或多个工具。

可以通过 {"type": "function", "function": {"name": "my_function"}} 强制模型调用该工具。

-

role

String

是

发出该消息的对话参与者的角色，此处应设置为 system。

content

String

否

系统消息
用于指定模型的角色或交代背景信息。如果设置系统消息，请放在messages列表的第一位。

[
  {
    "role": "system",
    "content": "You are a helpful assistant."
  }
]

role

-

String

是

发出该消息的对话参与者的角色，此处应设置为 user 。

content

-

String

是

用户消息内容，文本生成模型仅支持 String 类型。

role

String

是

发出该消息的对话参与者的角色，此处应设置为 assistant。

content

String

是

模型的消息回复。
content与 tool_calls参数二者至少填写其一。

[
  {
    "role": "assistant",
    "content": "Hello, can i help you with something?"
  }
]

tool_calls

Array of MessageToolCallParam

否

模型生成的工具调用。当 role 为 assistant 时，content 与 tool_calls 参数二者至少填其一。

tool_call_id

String

否

此消息所回应的工具调用 ID，当 role 为 tool 时必填。

id

-

String

是

-

当前工具调用 ID

call_5y**********

type

-

String

是

-

工具类型，当前仅支持function

function

function

-

Object

是

-

模型需要调用的函数

-

name

String

是

-

模型需要调用的函数名称

get_current_weather

arguments

String

是

-

模型生成的用于调用函数的参数，JSON 格式。请注意，模型并不总是生成有效的 JSON，并且可能会虚构出一些您的函数参数规范中未定义的参数。在调用函数之前，请在您的代码中验证这些参数是否有效。

{"location": "Boston, MA"}

type

-

String

是

-

工具类型，当前仅支持 function

function

function

-

Array of Object

是

-

模型可以调用的工具列表。

-

name

String

是

-

函数的名称。

get_current_weather

description

String

否

-

对函数用途的描述，供模型判断何时以及如何调用该工具函数。

获取指定城市的天气信息

parameters

Object of ToolChoiceParam

否

-

函数请求参数，以 JSON Schema 格式描述。具体格式请参考 JSON Schema 文档。

{
    "type": "object",
    "properties": {
        "location": {
            "type": "string",
            "description": "城市，如：北京"
        }
    },
    "required": ["location"]
}

-

type

-

String

是

-

指定工具的类型，当前仅允许取值为 function。

"function"

function

-

Object

是

-

当指定工具类型为 function 时，可以指定工具的名称。

-

name

String

是

-

想要调用的函数的名称。

-

id

-

String

一次 chat completion 接口调用的唯一标识。

choices

-

Array

本次 chat 结果列表。长度固定为 1。

index

Integer

该元素在 choices 列表的索引。

message

Object

模型输出的消息内容。

finish_reason

String

模型生成结束原因：

• stop：正常生成结束。
• length 触发最大 token 数量而结束。
• content_filter ：模型输出被内容审核拦截。

logprobs

Object

该输出结果的概率信息，其只有一个 content 字段，类型为 Array，表示 message 列表中每个元素 content token 的概率信息。
content 元素子字段说明如下：

• token [String]: 对应 token。
• logprob [Number]：token 的概率。
• bytes [Array]：表示 token 的 UTF-8 字节表示的整数列表。在字符由多个 token 表示，并且它们的字节表示必须组合以生成正确的文本表示的情况下（表情符号或特殊字符）非常有用。如果 token 没有 byte 表示，则可以为空。
• top_logprobs [Array]：最可能的 token 列表及其在此 token 位置的对数概率：
  • token [String]: 对应 token；
  • logprob [Number]：token 的概率；
  • bytes [Array]：表示 token 的 UTF-8 字节表示的整数列表。在字符由多个 token 表示，并且它们的字节表示必须组合以生成正确的文本表示的情况下（表情符号或特殊字符）非常有用。如果 token 没有 byte 表示，则可以为空。

moderation_hit_type

String

模型输出文字含有敏感信息时，会返回该字段，表示模型输出文字命中的风险分类标签。
当前返回值的取值范围：

• severe_violation：模型输出文字涉及严重违规
• violence：模型输出文字涉及激进行为

注意：只有在方舟控制台接入点配置页面或者 CreateEndpoint 接口中，将内容护栏方案（ModerationStrategy）设置为基础方案（Basic）时，才会返回风险分类标签。

created

-

Integer

本次对话生成的时间戳（秒）。

model

-

String

实际使用的模型名称和版本。

object

-

String

固定为 chat.completion。

usage

-

Object

本次请求的 token 用量。

prompt_tokens

Integer

本次请求中输入的 token 数量。

completion_tokens

Integer

模型生成的 token 数量。

total_tokens

Integer

总的 token 数量。

prompt_tokens_details

Object

本接口暂不支持上下文缓存，此时返回应为"cached_tokens": 0。

prompt_tokens中命中上下文缓存的tokens数。需要模型支持，且开通上下文缓存功能，并创建缓存才会启用，详细见上下文缓存（Context API）概述。

"prompt_tokens_details": {
    "cached_tokens": 0
    }