异步检索--日志服务-火山引擎

文档中心

导航

异步检索

最近更新时间：2024.11.29 15:30:05首次发布时间：2024.11.29 15:30:05

当检索分析的数据量较大或需要检索低频存储的日志时，直接进行检索分析可能出现较高的时延。为简便检索分析操作，建议使用异步检索方式。

说明

异步检索为邀测功能，若有相关业务需求，可联系客户经理开通白名单。

使用限制

限制项	说明
并发数	单个 Project 中，仅支持同时运行两个异步检索任务。
资源配额	单个 Project 中，处于已完成、运行中、排队中和已过期的的任务数最多为 10 个。
数据量	检索单次检索返回的最大数据量为 10GB。单次检索返回的最大检索结果为 10 万条数据。分析每次分析时，默认返回 100 行结果。如果您需要返回更多数据，请使用 LIMIT 语法，此时最多返回 100,000 行结果。单个 Shard 单次请求支持分析 1GiB 数据，数据量超过会自动重试，最多重试10 次。即重试场景下，单个 Shard 单任务最多可支持分析 10GiB 数据。
执行时长	单次任务最长执行 1 小时。超过 1 小时没有成功，任务会进入失败状态。
重试次数	单次任务最多重试 10 次。如果涉及的数据量过大或语句过于复杂，导致检索分析引擎多次执行结果都不精确，任务会进入失败状态，原因为 retry max。
异步检索结果保存时长	异步检索结果最多保存 1 天，从任务完成时间点开始计算，不支持修改。

前提条件

已采集到日志。具体操作，请参考采集概述。
先开启并配置索引。具体操作，请参考配置索引。

创建异步检索任务

登录日志服务控制台。
在顶部导航栏中，选择日志服务所在的地域。
在左侧导航栏中，选择数据处理 > 异步检索。
在异步检索页面，单击创建异步检索任务。

在创建异步检索任务页面，完成如下配置，然后单击创建任务。

参数	说明
任务名称	设置异步检索任务名称。
日志项目	选择日志所在日志项目。
日志主题	选择日志所在日志主题。
时间	选择日志异步检索的时间范围。日志数据的存储时间不在指定的检索时间范围内时，该数据不会被检索到。
检索精度	选择日志异步检索的精度。
检索分析语句	设置异步检索相关的检索分析语句。检索分析语句由检索语句和 SQL 分析语句构成，格式为 `&{检索语句} \| &{SQL分析语句}` ，表示在符合检索条件的结果中进行数据统计与分析。详细说明请参考分析概述。

查看异步检索结果

当异步检索任务状态为已完成时，您可以在异步检索页面，单击目标任务对应的查看，查看异步检索结果。

异步检索任务状态

状态	说明
进行中	正在执行异步检索。
已完成	已完成异步检索。
排队中	正在等待异步检索。单个 Project 下，已存在 2 个进行中的异步检索任务时，新增任务的状态为排队中。
已过期	完成异步检索 1 天后，任务状态变更为已过期。过期任务需手动删除。
失败	异步检索失败。