You need to enable JavaScript to run this app.
导航
创建定时 SQL 分析任务
最近更新时间:2024.09.29 14:28:20首次发布时间:2023.08.22 21:10:42

日志服务支持通过控制台创建定时 SQL 分析任务,定时对源端日志主题进行检索分析,并将处理后的日志数据保存到目标日志主题中。本文档介绍创建定时 SQL 分析任务的操作步骤。

前提条件

  • 已成功采集日志数据到源端日志主题。详细操作步骤请参考概述
  • 已创建目标日志主题,用于存放处理后的日志数据。详细操作步骤请参考日志主题
  • 源端日志主题和目标日志主题均已配置索引。详细操作步骤请参考配置索引
  • 首次使用定时 SQL 功能之前,需要完成云资源访问授权,即授予定时 SQL 分析任务访问并写入数据到指定日志主题的权限。完成授权并成功启动定时 SQL 分析任务后,定时 SQL 分析任务会使用角色 ServiceRoleForTLS 将计算结果写入指定日志主题。日志服务会在控制台首次创建定时 SQL 分析任务时引导您进行授权操作,推荐使用火山引擎账号进行授权,相关说明请参考跨服务访问授权

操作步骤

  1. 登录日志服务控制台
  2. 在顶部导航栏中,选择日志服务所在的地域。
  3. 在左侧导航栏中,选择数据处理 > 定时SQL分析
  4. 定时SQL分析任务列表页面,单击创建定时SQL分析任务
  5. 在创建定时SQL任务页面,完成如下配置。
    1. 填写任务的基本配置,单击下一步:SQL分析规则配置。

      配置

      说明

      任务名称

      定时 SQL 分析任务的任务名称。

      描述

      定时 SQL 分析任务任务的简单描述。

      源日志项目

      待进行定时 SQL 分析的原始日志所在的日志项目。

      源日志主题

      待进行定时 SQL 分析的原始日志所在的日志主题。

      目标日志主题

      执行定时 SQL 分析任务后,处理后的日志数据存储的目标Region、日志项目与日志主题。

      说明

      • 如果没有合适的日志主题,可以根据页面提示创建一个。
      • 日志主题应设置了索引,否则创建定时 SQL 分析任务失败。

      任务状态

      是否立即启动定时 SQL 分析任务。 默认为开启状态,即完成任务配置后立即启动定时 SQL 分析任务。若未开启,完成配置后定时 SQL 分析任务为已暂停状态,需要择机手动启动任务。

    2. 填写 SQL 分析规则配置。

      配置

      说明

      开始时间

      定时 SQL 分析任务的调度开始时间,即第一个实例被调度的开始时间。
      启动后,日志服务会根据指定的规则配置按时创建实例、启动定时 SQL 分析。

      结束时间

      定时 SQL 分析任务的调度结束时间。
      结束后,日志服务不会再创建实例、执行定时 SQL 分析,但任务状态仍为运行中,直至手动暂停任务。

      调度周期

      定时 SQL 分析任务的调度周期,调度周期决定每个实例的调度时间。调度周期支持指定时间间隔或固定触发时间。支持如下配置:

      • 设置时间间隔:每隔 1~1440 分钟执行一次,即根据指定的时间间隔调度一次定时 SQL 分析任务。
      • 设置执行时间:每天指定时间执行一次,即每天的固定时间点调度一次定时 SQL 分析任务。
      • Cron 表达式:通过 Cron 表达式指定任务的调度时间。Cron 表达式的最小粒度为分钟,24 小时制。例如 0 18 * * *,表示每天 18 点整调度一次定时 SQL 分析任务。

      说明

      建议调度周期的长度不小于查询时间窗口的长度,否则可能出现调度不及时,查询结果不正确。例如调度周期为每隔 10 分钟执行一次,则 SQL 时间窗口长度最大为 10 分钟。

      时区选择

      设置调度周期为 Cron 表达式时,还需选择时区。常见的时区列表请参见选择时区

      SQL时间窗口

      定时 SQL 分析任务运行时,日志检索分析的时间范围,左闭右开格式。指定 SQL 时间窗口之后,日志服务会根据指定的调度周期按时发起定时 SQL 分析任务。
      例如,定时 SQL 分析任务的调度开始时间为2023年8月14日10:00,调度周期为每隔 1 小时执行一次,SQL 时间窗口为 [@h-1h,@h),执行延迟 10 秒,则启动定时 SQL 分析任务后,日志服务会在 10:00:00 产生一个实例,10:00:10 开始执行实例,分析 [09:00:00~10:00:00) 期间的日志数据,并在 11:00:00 创建第二个实例,11:00:10 开始执行实例,分析 [10:00:00~11:00:00) 期间的日志数据。

      说明

      SQL 时间窗口最大为 7 天,最小为 1 分钟。设置 SQL 时间窗口大于 24 小时,可能会因数据量过大导致执行实例运行失败或计算结果不准确。SQL 时间窗口的语法请参考SQL 时间窗口语法

      SQL

      定时 SQL 分析任务定期执行的查询分析语句,应符合日志服务的检索分析语法。详细语法说明请参考检索概述分析概述

      执行延迟

      每次调度的延迟时间,支持设置为 0~120 秒。
      当日志数据量大、采集任务繁忙时,数据写入日志主题可能存在一定延迟,在该场景下可以指定执行延迟时间,保证检索分析时的数据完整性。

    3. 单击提交