日志服务支持通过控制台创建定时 SQL 分析任务,定时对源端日志主题进行检索分析,并将处理后的日志数据保存到目标日志主题中。本文档介绍创建定时 SQL 分析任务的操作步骤。
前提条件
- 已成功采集日志数据到源端日志主题。详细操作步骤请参考概述。
- 已创建目标日志主题,用于存放处理后的日志数据。详细操作步骤请参考日志主题。
- 源端日志主题和目标日志主题均已配置索引。详细操作步骤请参考配置索引。
- 首次使用定时 SQL 功能之前,需要完成云资源访问授权,即授予定时 SQL 分析任务访问并写入数据到指定日志主题的权限。完成授权并成功启动定时 SQL 分析任务后,定时 SQL 分析任务会使用角色 ServiceRoleForTLS 将计算结果写入指定日志主题。日志服务会在控制台首次创建定时 SQL 分析任务时引导您进行授权操作,推荐使用火山引擎账号进行授权,相关说明请参考跨服务访问授权。
操作步骤
- 登录日志服务控制台。
- 在顶部导航栏中,选择日志服务所在的地域。
- 在左侧导航栏中,选择数据处理 > 定时SQL分析。
- 在定时SQL分析任务列表页面,单击创建定时SQL分析任务。
- 在创建定时SQL任务页面,完成如下配置。
填写任务的基本配置,单击下一步:SQL分析规则配置。
配置 | 说明 |
---|
任务名称 | 定时 SQL 分析任务的任务名称。 |
描述 | 定时 SQL 分析任务任务的简单描述。 |
源日志项目 | 待进行定时 SQL 分析的原始日志所在的日志项目。 |
源日志主题 | 待进行定时 SQL 分析的原始日志所在的日志主题。 |
目标日志主题 | 执行定时 SQL 分析任务后,处理后的日志数据存储的目标Region、日志项目与日志主题。 说明 - 如果没有合适的日志主题,可以根据页面提示创建一个。
- 日志主题应设置了索引,否则创建定时 SQL 分析任务失败。
|
任务状态 | 是否立即启动定时 SQL 分析任务。 默认为开启状态,即完成任务配置后立即启动定时 SQL 分析任务。若未开启,完成配置后定时 SQL 分析任务为已暂停状态,需要择机手动启动任务。 |
填写 SQL 分析规则配置。
配置 | 说明 |
---|
开始时间 | 定时 SQL 分析任务的调度开始时间,即第一个实例被调度的开始时间。
启动后,日志服务会根据指定的规则配置按时创建实例、启动定时 SQL 分析。 |
结束时间 | 定时 SQL 分析任务的调度结束时间。
结束后,日志服务不会再创建实例、执行定时 SQL 分析,但任务状态仍为运行中,直至手动暂停任务。 |
调度周期 | 定时 SQL 分析任务的调度周期,调度周期决定每个实例的调度时间。调度周期支持指定时间间隔或固定触发时间。支持如下配置: - 设置时间间隔:每隔 1~1440 分钟执行一次,即根据指定的时间间隔调度一次定时 SQL 分析任务。
- 设置执行时间:每天指定时间执行一次,即每天的固定时间点调度一次定时 SQL 分析任务。
- Cron 表达式:通过 Cron 表达式指定任务的调度时间。Cron 表达式的最小粒度为分钟,24 小时制。例如
0 18 * * * ,表示每天 18 点整调度一次定时 SQL 分析任务。
说明 建议调度周期的长度不小于查询时间窗口的长度,否则可能出现调度不及时,查询结果不正确。例如调度周期为每隔 10 分钟执行一次,则 SQL 时间窗口长度最大为 10 分钟。 |
时区选择 | 设置调度周期为 Cron 表达式时,还需选择时区。常见的时区列表请参见选择时区。 |
SQL时间窗口 | 定时 SQL 分析任务运行时,日志检索分析的时间范围,左闭右开格式。指定 SQL 时间窗口之后,日志服务会根据指定的调度周期按时发起定时 SQL 分析任务。
例如,定时 SQL 分析任务的调度开始时间为2023年8月14日10:00,调度周期为每隔 1 小时执行一次,SQL 时间窗口为 [@h-1h,@h) ,执行延迟 10 秒,则启动定时 SQL 分析任务后,日志服务会在 10:00:00 产生一个实例,10:00:10 开始执行实例,分析 [09:00:00~10:00:00) 期间的日志数据,并在 11:00:00 创建第二个实例,11:00:10 开始执行实例,分析 [10:00:00~11:00:00) 期间的日志数据。 说明 SQL 时间窗口最大为 7 天,最小为 1 分钟。设置 SQL 时间窗口大于 24 小时,可能会因数据量过大导致执行实例运行失败或计算结果不准确。SQL 时间窗口的语法请参考SQL 时间窗口语法。 |
SQL | 定时 SQL 分析任务定期执行的查询分析语句,应符合日志服务的检索分析语法。详细语法说明请参考检索概述和分析概述。 |
执行延迟 | 每次调度的延迟时间,支持设置为 0~120 秒。
当日志数据量大、采集任务繁忙时,数据写入日志主题可能存在一定延迟,在该场景下可以指定执行延迟时间,保证检索分析时的数据完整性。 |
单击提交。