在线推理

ArkAPIConnectionError (域名连接超时)，怎么处理？

检查本地环境是否可以访问方舟公网域名：

ping ark.cn-beijing.volces.com

如果域名访问不通，可以考虑使用以下方式关闭 HTTP_PROXY：

# python sdk
proxies = {
    'http://': None,  # 代理1
    'https://': None,  # 代理2
}
client = Ark(
    http_client=httpx.Client(proxies=proxies),
)

如果 ping 命令执行成功，但是调用时依旧有如下报错：

Failed to resolve 'ark.cn-beijing.volces.com' ([Errno -3] Temporary failure in name resolution)

可以尝试对 /etc/resolv.conf 文件做如下修改后再次请求。

# /etc/resolv.conf 文件
ark.cn-beijing.volces.com ${ip} # ${ip}从 ping 的输出中拿到

其中${ip}从 ping 的输出中拿到。

若上述方法无效，可以尝试设置环境变量

export no_proxy=

Windows系统安装SDK失败

由于 Windows 系统有最长路径限制，可能会导致安装失败，请按照以下方式设置：

1. 按下 Win+R ，输入 regedit 打开注册表编辑器。
2. 设置 \HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\FileSystem 路径下的变量 LongPathsEnabled 为1 。

ChatCompletions接口中messages role字段中是否要求user 在奇数位，assistant在偶数位？

没有这个要求。
示例:
请求内容

...
messages = [
        {"role": "system", "content": "你是豆包，是由字节跳动开发的 AI 人工智能助手。"},
        # 重复2个user
        {"role": "user", "content": "常见的十字花科植物有哪些？"},
        {"role": "user", "content": "以下是一些常见的十字花科植物：白菜、甘蓝"},
        {"role": "assistant", "content": "萝卜、花椰菜、芥菜"},
        {"role": "user", "content": "还有么？"},
    ],
...

大模型正常返回内容

还有油菜、荠菜、独行菜、诸葛菜（二月兰）等。

1. **油菜**
   - 油菜是重要的油料作物。它的茎直立，有分枝，叶片互生，花朵为黄色，呈十字形排列。油菜籽可以用来榨油，菜籽油在日常生活中广泛使用。
2. **荠菜**
   - 荠菜是常见的野菜。基生叶丛生呈莲座状，叶片羽状分裂，它的适应性强，常在田野、路边等地生长。荠菜可以食用，含有丰富的营养成分，如蛋白质、维生素等，可用于包饺子、煮汤等。
3. **独行菜**
   - 为一年生或二年生草本植物。茎直立或斜升，多分枝。叶片狭匙形或倒披针形。独行菜的种子可入药，具有止咳化痰等功效。
4. **诸葛菜（二月兰）**
   - 因农历二月前后开始开蓝紫色花得名。它对环境适应能力强，耐寒旱，多生长于平原、山地、路旁等地。花朵小巧且数量众多，盛花期时具有较高的观赏价值

ChatCompletions接口中messages 字段是否支持只传role是system？

支持。
示例:
请求内容

...
messages = [
        {"role": "system", "content": "你是豆包，是由字节跳动开发的 AI 人工智能助手。常见的十字花科植物有哪些？"},
        ...

大模型正常返回内容

以下是一些常见的十字花科植物：

### 一、蔬菜类
1. **白菜**
   - 包括大白菜、小白菜等。大白菜叶片宽大，是我国北方冬季常见的蔬菜，有青帮、白帮等不同品种，营养丰富，富含维生素C、纤维素等。小白菜植株相对较小，叶片嫩绿，生长周期较短，口感鲜嫩。
2. **甘蓝**
   - **结球甘蓝（卷心菜）**：叶片层层包裹成球状，有绿甘蓝、紫甘蓝之分。它适应性强，耐储存和运输，可用于制作沙拉、炒菜、泡菜等。
   - **花椰菜（菜花）**：花球由肥嫩的花枝顶端聚合而成，颜色洁白或淡黄。西兰花是花椰菜的一个变种，其营养成分含量高，尤其是维生素C、胡萝卜素和叶酸等。
3. **萝卜**
   - 有白萝卜、红萝卜（胡萝卜不属于十字花科，红萝卜属于十字花科）、青萝卜等多种类型。萝卜肉质根可食用，既可生食，如做成凉拌萝卜丝，也可熟食，如萝卜炖排骨。萝卜含有淀粉酶、芥子油等物质，具有助消化、增食欲等功效。
4. **芥菜**
   - **叶用芥菜**：如雪里蕻，叶片深裂，边缘皱缩，有特殊的香辣味。它是制作腌菜的重要原料，腌制后的雪里蕻可用于炒肉末等菜肴。
   - **茎用芥菜（榨菜）**：茎部膨大，形成瘤状凸起，肉质茎是主要食用部分，常用于制作榨菜，是一种常见的佐餐小菜。

### 二、观赏植物类
1. **紫罗兰**
   - 紫罗兰花朵繁茂，花色丰富，有紫色、白色、粉色等。它香气淡雅，花期较长，常被用于布置花坛、花境，也可盆栽观赏。
2. **诸葛菜（二月兰）**
   - 二月兰是一种常见的野花，花朵为淡紫色或白色。它具有较强的适应能力，能自播繁殖，常生长于山坡、草地、路旁等地。在园林中可用于营造野趣景观，也可成片种植形成花海景观。

如何判断使用的V3接口？

• 如直接使用HTTP接口调用，调用路径中出现 /api/v3
• 如您使用火山提供的SDK调用，从 import 路径判断：
  • 出现 ark 字样的为 v3 API。
  • 出现 maas 字样的为 v1/v2 API。

批量推理

在任务状态为：运行中，终止中，已终止，失败的情况时，是否会有部分成功的结果输出？

会，已经运行成功的结果会写到output中，且运行成功的数据会正常计费。但是不保证任务运行顺序。

基于什么的准则，去判断“失败”这种状态，是成功与错误比例，还是发现错误即判断失败？

以下情况判断任务失败：

• 文件输入格式不符合要求，如某一条数据不是json，会在任务开始前检测该类型错误，有错误会判定失败。
• 预期外的错误，如job崩溃。
• 任务运行超时。
• 如果存在某条request运行失败，比如安全审核失败。这条request结果会写到error文件夹中，不会导致整体任务失败。

在子任务数量巨大，无法预估处理所需的时间的前提下，设置的最大等待时间是否有大小上限？

CompletionWindow的最大等待时间最大可设置为28天。如果不指定，默认为28天。

若由于超时使得批量推理任务状态为“已终止”，在终止之前所做的任务处理结果是否还有保留？

会保留，结果写在output中。

输出长度是4k还是6k，亦或是其他？

限制与在线推理相同，输出超过限制会截断。

批量推理按 tokens 用量计费，是按照输入tokens，或是输出tokens，又或是两者之和？

与在线推理相同，计费按照模型处理的内容量，输入输出都需要计费。

对于处理失败的结果，也就是errors.jsonl中的结果，如何计费？

处理失败的结果不计费。