批量推理（Batch Inference）适用于无需实时响应的推理场景，可以一次性离线处理大量数据。
相比在线推理，批量推理提供更高额度的访问限制，用户无需关注单次请求的执行情况，适合于模型评测、批量回归等场景。
目前火山方舟平台支持以下模型的批量推理：

• Doubao-pro-32k
• Doubao-lite-32k

如您希望提升批量推理总限频，或者有其他的语言模型需要进行批量推理，您可以发起工单申请。

方舟为您提供两种方式使用批量推理服务。

• 批量推理任务：业界常规的批量、离线使用模式，使用离线链路。需要配合火山引擎对象存储（TOS）使用。
• 批量推理接入点：不需要依赖存储，直接请求方舟模型接口。和在线推理当前的使用方式接近。

选型推荐信息如下。

业界常规的批量、离线使用模式，使用离线链路。需要配合火山引擎对象存储（TOS）使用。

使用流程

1.准备与上传文件

请参照 数据文件格式说明准备包含您要进行推理的请求的输入文件，并确保账户已启用 TOS，之后将准备好的输入文件上传至您的 TOS 中。

2.创建批量推理任务

在「批量推理」页面，点击左上角 创建批量任务 按钮跳转至创建页。

填写批量推理任务表单，包括任务基本信息、推理配置、数据配置等，填写完成之后点击页面右侧 创建批量推理任务 按钮提交任务。

表单配置字段具体填写说明如下：

3. 查看与管理批量推理任务

可在批量推理任务列表页、或点击批量推理任务名称进入任务详情页，查看批量推理任务的信息，包括任务基本信息、状态、进度（包含已处理请求数量/总请求数量，以及已处理请求中失败的数量）、配置信息等。
您可在列表页或详情页管理批量任务，如编辑任务信息、终止任务、查看结果、删除任务等。

批量推理任务状态与对应描述如下：

4.查看结果文件

在批量推理任务运行结束后，可点击 查看结果 按钮或在详情页的「文件信息」中点击跳转至 TOS 页面查看并下载结果文件。

结果文件的 TOS 存储路径如下：
• 结果文件：{OutputDirectory}/{batch_job_id}/output/results.jsonl
• 错误信息文件：{OutputDirectory}/{batch_job_id}/error/errors.jsonl

数据文件格式说明

输入文件

输入文件为一个.jsonl文件，其中每行包含对 API 的单个请求的详细信息。

• 默认最大文件大小为 500 MiB；如有需要您可以提交工单申请提高输入文件大小上限，最高可支持 8 GiB。
• 每个请求都必须包含一个唯一custom_id值（jsonl文件中唯一），便于您使用该值在结果数据中找到对应的请求。
• 每条 request 都是独立的请求，独立发出，独立收到结果。如有多个请求有相同提示词，也需要在请求中都加上对应的相同的提示词。
• 每行body字段中的参数与底层模型调用 API 的 request body 中参数相同，为一个合法的JSON Object。

以下是一个使用 Chat 模型进行批量推理的输入文件示例，包含 2 个请求：

{"custom_id": "request-1", "body": {"messages": [{"role": "user", "content": "天空为什么这么蓝？"}],"max_tokens": 1000,"top_p":1}}
{"custom_id": "request-2", "body": {"messages": [{"role": "system", "content": "You are an unhelpful assistant."},{"role": "user", "content": "天空为什么这么蓝？"}],"max_tokens": 1000}}

输出文件

• 结果文件为一个.jsonl 文件results.jsonl，输入文件中的每个成功请求行对应结果文件中的一个响应行，示例如下：

{"id": "batch-req-123", "custom_id": "request-1", "response": {"status_code": 200, "request_id": "req1", "body": {"id": "chatcmpl-9P3WtvGUhW5Ty91CdlcBJPgqh1rGG", "object": "chat.completion", "created": 1711111111, "model": "doubao-pro-32k-seed-stg-240515", "choices": [{"index": 0, "message": {"role": "assistant", "content": "天空呈现蓝色是因为“瑞利散射”现象。简单来说，就是当太阳光进入地球大气层时，波长较长的红光、橙光、黄光能穿透大气层，直接射到地面，而波长较短的蓝、紫、靛等色光，很容易被悬浮在空气中的微粒阻挡，从而使光线散射向四方，使天空呈现出蔚蓝色。"}, "logprobs": null, "finish_reason": "stop"}], "usage": {"prompt_tokens": 20, "completion_tokens": 9, "total_tokens": 29}}}, "error": null}

• 任何失败的请求都会将其错误信息写入错误文件errors.jsonl，每个失败请求行对应错误文件中的一个响应行，示例如下：

{"id":"batch-req-456","custom_id":"request-2","response":null,"error":{"code":"AccessDenied","type":"Forbidden","message":"The request failed because you do not have access to the requested resource."}}

不需要依赖存储，直接请求方舟模型接口。和在线推理当前的使用方式接近。

使用流程

1.创建批量推理接入点

1. 打开批量推理创建页面。
2. 按照页面进行配置，在 调用方式 配置项，选择 创建批量推理接入点。

   目前功能需要开白使用，如您有需要，请工单申请。

2.使用批量推理接入点 SDK 进行批量推理

具体调用方式请参见示例代码。

任务限频

批量推理任务的限频单位是 TPD（Tokens Per Day），指 24 小时内消耗的最大 token 总量。
此限频是基于模型设定的，账户下使用同一模型的所有批量推理任务共享该限频额度。此外，批量推理任务限频与在线推理的模型限频分离，因此运行批量推理任务不会消耗模型的在线推理限频。
平台提供的限频额度为：

• Doubao-pro-32k：10B Token per Day。
• Doubao-lite-32k：10B Token per Day

如您希望提升批量推理总限频，或者有其他的语言模型需要进行批量推理，您可以在前端页面右下角的帮助按钮发起工单申请。

任务配额

• 账户维度有如下配额：
  • 一个项目下 7 天内提交的批量推理任务数量最多为 500，超出时将暂时无法提交新的任务。
  • 一个项目下同时处于「运行中」状态的批量推理任务数量最多为 3，超出时其余任务将处于「排队中」状态等待运行。
    • 请注意，账号下实际同时运行的任务数量会受到平台总体资源的限制和任务调度策略的影响。

批量推理按 tokens 用量后付费，您仅需要为已处理的请求消耗的 token 量付费，具体用量可在批量推理任务详情页「Tokens 使用量」查看。

• 调用批量推理接入点：如何通过chat接口调用推理接入点。
• 创建批量推理任务：通过接口完成批量推理任务创建和查看。
• 批量推理任务最佳实践：如何通过控制台或者 API 使用批量推理能力，处理完成大规模数据处理任务。
• CreateBatchInferenceJob - 创建批量推理任务：使用 API 创建批量推理任务。
• ListBatchInferenceJobs - 获取批量推理任务列表：查看批量推理任务及任务状态。

• 在任务状态为：运行中，终止中，已终止，失败的情况时，是否会有部分成功的结果输出？
• 基于什么的准则，去判断“失败”这种状态，是成功与错误比例，还是发现错误即判断失败？
• 在子任务数量巨大，无法预估处理所需的时间的前提下，设置的最大等待时间是否有大小上限？
• 若由于超时使得批量推理任务状态为“已终止”，在终止之前所做的任务处理结果是否还有保留？
• 输出长度是4k还是6k，亦或是其他？
• 批量推理按 tokens 用量计费，是按照输入tokens，或是输出tokens，又或是两者之和？
• 对于处理失败的结果，也就是errors.jsonl中的结果，如何计费？