计费问题

模型推理请求报错或者中断会计费么？

请求报错和中断分为下面几种情况：

• 客户端中断
  无论是客户端因为无需后续结果主动中断请求，或超时中断请求，服务端感知到请求被中断，并终止服务端模型生成过程。在客户端中断，到服务端中止生成，中间仍旧有可能有若干个 token 被生成出来。这些生成的 token 以及输入给模型处理的 token 会被计费。服务端中止生成后，就不会有进一步计费产生。
• 服务端中断
  • 在流式输出过程中，如果输出一部分内容后，因为命中审核或其它原因，服务端中止了生成过程，已经生成的 token 仍旧会被计费。
  • RPM/TPM 等超限报错的请求不会开始模型生成过程，所以也不会产生任何计费。

在线推理

使用python sdk报错，错误码httpx.InvalidURL: Invalid port: ':'或ValueError: Unknown scheme for proxy URL URL('socks5h://xxx')

python client端禁用代理

// python sdk
proxies = {
    'http://':None, #代理1
    'https://':None, #代理2
}
client = Ark(
    http_client=httpx.Client(proxies=proxies),
    )

若上述方法无效,可以尝试

export no proxy=

ArkAPIConnectionError (域名连接超时)，怎么处理？

检查本地环境是否可以访问方舟公网域名：

ping ark.cn-beijing.volces.com

如果域名访问不通，可以考虑使用以下方式关闭 HTTP_PROXY：

# python sdk
proxies = {
    'http://': None,  # 代理1
    'https://': None,  # 代理2
}
client = Ark(
    http_client=httpx.Client(proxies=proxies),
)

如果 ping 命令执行成功，但是调用时依旧有如下报错：

Failed to resolve 'ark.cn-beijing.volces.com' ([Errno -3] Temporary failure in name resolution)

可以尝试对 /etc/resolv.conf 文件做如下修改后再次请求。

# /etc/resolv.conf 文件
ark.cn-beijing.volces.com ${ip} # ${ip}从 ping 的输出中拿到

其中${ip}从 ping 的输出中拿到。

若上述方法无效，可以尝试设置环境变量

export no_proxy=

Windows系统安装SDK失败

由于 Windows 系统有最长路径限制，可能会导致安装失败，请按照以下方式设置：

1. 按下 Win+R ，输入 regedit 打开注册表编辑器。
2. 设置 \HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\FileSystem 路径下的变量 LongPathsEnabled 为1 。

ChatCompletions接口中messages role字段中是否要求user 在奇数位，assistant在偶数位？

没有这个要求。
示例:
请求内容

...
messages = [
        {"role": "system", "content": "你是豆包，是由字节跳动开发的 AI 人工智能助手。"},
        # 重复2个user
        {"role": "user", "content": "常见的十字花科植物有哪些？"},
        {"role": "user", "content": "以下是一些常见的十字花科植物：白菜、甘蓝"},
        {"role": "assistant", "content": "萝卜、花椰菜、芥菜"},
        {"role": "user", "content": "还有么？"},
    ],
...

大模型正常返回内容

还有油菜、荠菜、独行菜、诸葛菜（二月兰）等。

1. **油菜**
   - 油菜是重要的油料作物。它的茎直立，有分枝，叶片互生，花朵为黄色，呈十字形排列。油菜籽可以用来榨油，菜籽油在日常生活中广泛使用。
2. **荠菜**
   - 荠菜是常见的野菜。基生叶丛生呈莲座状，叶片羽状分裂，它的适应性强，常在田野、路边等地生长。荠菜可以食用，含有丰富的营养成分，如蛋白质、维生素等，可用于包饺子、煮汤等。
3. **独行菜**
   - 为一年生或二年生草本植物。茎直立或斜升，多分枝。叶片狭匙形或倒披针形。独行菜的种子可入药，具有止咳化痰等功效。
4. **诸葛菜（二月兰）**
   - 因农历二月前后开始开蓝紫色花得名。它对环境适应能力强，耐寒旱，多生长于平原、山地、路旁等地。花朵小巧且数量众多，盛花期时具有较高的观赏价值

ChatCompletions接口中messages 字段是否支持只传role是system？

支持。
示例:
请求内容

...
messages = [
        {"role": "system", "content": "你是豆包，是由字节跳动开发的 AI 人工智能助手。常见的十字花科植物有哪些？"},
        ...

大模型正常返回内容

以下是一些常见的十字花科植物：

### 一、蔬菜类
1. **白菜**
   - 包括大白菜、小白菜等。大白菜叶片宽大，是我国北方冬季常见的蔬菜，有青帮、白帮等不同品种，营养丰富，富含维生素C、纤维素等。小白菜植株相对较小，叶片嫩绿，生长周期较短，口感鲜嫩。
2. **甘蓝**
   - **结球甘蓝（卷心菜）**：叶片层层包裹成球状，有绿甘蓝、紫甘蓝之分。它适应性强，耐储存和运输，可用于制作沙拉、炒菜、泡菜等。
   - **花椰菜（菜花）**：花球由肥嫩的花枝顶端聚合而成，颜色洁白或淡黄。西兰花是花椰菜的一个变种，其营养成分含量高，尤其是维生素C、胡萝卜素和叶酸等。
3. **萝卜**
   - 有白萝卜、红萝卜（胡萝卜不属于十字花科，红萝卜属于十字花科）、青萝卜等多种类型。萝卜肉质根可食用，既可生食，如做成凉拌萝卜丝，也可熟食，如萝卜炖排骨。萝卜含有淀粉酶、芥子油等物质，具有助消化、增食欲等功效。
4. **芥菜**
   - **叶用芥菜**：如雪里蕻，叶片深裂，边缘皱缩，有特殊的香辣味。它是制作腌菜的重要原料，腌制后的雪里蕻可用于炒肉末等菜肴。
   - **茎用芥菜（榨菜）**：茎部膨大，形成瘤状凸起，肉质茎是主要食用部分，常用于制作榨菜，是一种常见的佐餐小菜。

### 二、观赏植物类
1. **紫罗兰**
   - 紫罗兰花朵繁茂，花色丰富，有紫色、白色、粉色等。它香气淡雅，花期较长，常被用于布置花坛、花境，也可盆栽观赏。
2. **诸葛菜（二月兰）**
   - 二月兰是一种常见的野花，花朵为淡紫色或白色。它具有较强的适应能力，能自播繁殖，常生长于山坡、草地、路旁等地。在园林中可用于营造野趣景观，也可成片种植形成花海景观。

如何判断使用的V3接口？

• 如直接使用HTTP接口调用，调用路径中出现 /api/v3
• 如您使用火山提供的SDK调用，从 import 路径判断：
  • 出现 ark 字样的为 v3 API。
  • 出现 maas 字样的为 v1/v2 API。

使用视觉理解模型时，报错InvalidParameter？

• 下载图片超时： 为防止不必要的带宽浪费，默认图片下载超时时间5s。可能是图片访问速度较慢如外国网站，或者图片较大。对以上情况均建议更换到TOS上或压缩图片至100kB以下。
• 链接禁止访问：状态码 403，部分图片服务器可能存在特殊安全/acl策略，禁止了火山源访问，建议检查客户所用图片服务器（阿里云对象存储/腾讯云对象存储/...）的安全策略。
• 不支持的图片格式，或者图片格式与元数据不匹配：

  • 以下图片格式根据图片内容前512个字节自动校验：

    图片格式	Content-Type
    jpg/jpeg	image/jpeg
    png	image/png
    gif	image/gif
    webp	image/webp
    bmp	image/bmp
    dib	image/bmp
    ico	image/x-icon

  • 以下图片格式根据图片url的元信息（Content-Type）校验，需要正确设置Content-Type

    • TOS（火山引擎对象存储） 设置文件元信息请参见：https://www.volcengine.com/docs/6349/145523
    • OSS （阿里云对象存储）设置文件元信息请参见：https://help.aliyun.com/zh/oss/user-guide/configure-the-content-type-header

    图片格式	Content-Type
    TIFF	image/tiff
    SGI	image/sgi
    ICNS	image/icns
    JPEG2000	image/jp2

批量推理

在任务状态为：运行中，终止中，已终止，失败的情况时，是否会有部分成功的结果输出？

会，已经运行成功的结果会写到output中，且运行成功的数据会正常计费。但是不保证任务运行顺序。

基于什么的准则，去判断“失败”这种状态，是成功与错误比例，还是发现错误即判断失败？

以下情况判断任务失败：

• 文件输入格式不符合要求，如某一条数据不是json，会在任务开始前检测该类型错误，有错误会判定失败。
• 预期外的错误，如job崩溃。
• 任务运行超时。
• 如果存在某条request运行失败，比如安全审核失败。这条request结果会写到error文件夹中，不会导致整体任务失败。

在子任务数量巨大，无法预估处理所需的时间的前提下，设置的最大等待时间是否有大小上限？

CompletionWindow的最大等待时间最大可设置为28天。如果不指定，默认为28天。

若由于超时使得批量推理任务状态为“已终止”，在终止之前所做的任务处理结果是否还有保留？

会保留，结果写在output中。

输出长度是4k还是6k，亦或是其他？

限制与在线推理相同，输出超过限制会截断。

批量推理按 tokens 用量计费，是按照输入tokens，或是输出tokens，又或是两者之和？

与在线推理相同，计费按照模型处理的内容量，输入输出都需要计费。

对于处理失败的结果，也就是errors.jsonl中的结果，如何计费？

处理失败的结果不计费。