本文介绍日志服务的常见基本概念。
基本概念 | 说明 |
---|---|
日志 | 日志是系统或程序运行过程中的事件记录,其中包括用户操作、接口访问、运行报错等事件,每类日志具有统一的结构和格式。 |
链路追踪数据 | 链路追踪数据记录了服务的整个调用链路信息,包括调用关系、延迟、结果等。 |
日志项目 | 日志项目是数据的项目管理单元,用于租户资源隔离和控制,通常一个日志项目对应一个应用、业务或产品。 |
日志主题 | 日志主题是数据的采集、存储单元。一个日志项目可以包括多个日志主题,每个日志主题隶属于一个日志项目,您可以为同一个日志主题配置不同的数据源和采集规则。 |
分区 | 日志分区是数据读写的基本单元,所有数据都被保存在分区中。每个分区提供一定的读写能力,建议根据实际业务需求合理规划日志分区的数量。 |
基本概念 | 说明 |
---|---|
LogCollector | LogCollector 是火山引擎日志服务团队基于开源工具 Filebeat 二次开发的日志采集工具,用于接收采集配置,并向服务端实时上报日志。 |
采集配置 | 采集配置是 LogCollector 进行数据采集的规则集合,指定了日志文件位置、采集方式等信息。 |
机器组 | 机器组是日志服务中的虚拟配置单元,一个机器组中包含多台服务器,日志服务以机器组维度下发 LogCollector 采集配置,批量采集机器组中多台服务器的日志。 |
基本概念 | 说明 |
---|---|
检索 | 日志服务提供实时检索能力,支持秒级检索百亿级数据。您可以在检索语句中指定检索规则,快速检索目标日志。 |
分析 | 日志服务在检索功能的基础上提供了实时 SQL 计算能力,支持实时分析与计算海量日志,并以图表方式展示分析结果。 |
检索与分析语句 | 检索与分析语句由检索条件和 SQL 分析语句构成,格式为 |
索引 | 索引是对数据表中的一列或多列值进行排序的存储结构,相当于数据的目录,您可以根据关键词快速找到目标数据行。日志服务支持创建全文索引和键值索引。 |
基本概念 | 说明 |
---|---|
仪表盘 | 仪表盘是日志服务提供的实时数据分析大盘,用于集中展示数据的检索分析结果。 |
统计图表 | 统计图表用于可视化展示检索分析结果,包括表格、折线图、饼图、单值图、流图等。 |
仪表盘过滤器 | 过滤器可与统计图表联动,基于字段名与字段值过滤统计图表数据。 |
仪表盘变量 | 变量可与统计图表联动,基于变量名与变量值过滤统计图表数据。 |
基本概念 | 说明 |
---|---|
ETL | ETL(Extract, Transform, Load)是指对源端数据进行抽取、转换、加载至目标端的过程,用于实现数据整合、标准及统一的目的。日志服务支持加工指源日志主题中的日志,并将加工后的数据输出到指定的目标日志主题中。 |
TLS DSL | TLS DSL(Domain Specific Language)是日志服务提供的类 Python 的脚本语言,用于指定加工过程中的数据处理逻辑。TLS DSL 提供数十种加工函数,可支持各种大数据分析与数仓处理场景的数据加工需求。 |
加工规则 | 加工规则是数据加工的执行脚本,是 TLS DSL 编排的逻辑代码集合。 |
加工任务 | 加工任务是数据加工的调度单元,定义了源日志主题、目标日志主题、加工规则等配置项。 |
基本概念 | 说明 |
---|---|
定时 SQL 分析任务 | 定时 SQL 分析任务是定时 SQL 分析规则的集合,定义了源端/目标端日志主题、调度周期和 SQL 时间窗口等配置项。 |
定时 SQL 分析任务实例 | 启动定时 SQL 分析任务后,日志服务会根据指定的调度周期按时创建实例。每个实例用于在源日志主题中执行一次定时 SQL 分析,并将计算结果写入指定的日志主题。 |
基本概念 | 说明 |
---|---|
消费组 | 消费组是多个消费者组成的虚拟集合。以消费组维度消费数据时,消费组中的所有消费者订阅同一个日志主题,共同消费一个日志主题中的数据。每个消费者消费日志主题中一个或多个分区的数据,各个消费者间不会重复消费数据。 |
消费者 | 消费者是一个在日志服务中消费数据的客户端,是消费组的组成部分。
|
消费位点 | 消费过程中,消费程序会随时记录当前分区的消费位点(即游标进度)并上报服务端,以此记录程序重启时的起始消费游标,从而保证数据不会被重复消费。 |
基本概念 | 说明 |
---|---|
告警策略 | 告警策略定义了数据监控方式与告警规则,您需要在策略中指定监控任务、告警规则、告警通知方式等配置项。 |
通知组 | 通知组是告警通知策略的集合,定义了告警通知类型、接收渠道、接收对象等信息。 |
告警触发 | 告警触发是一种告警通知类型。当监控结果满足告警触发表达式时,发送告警通知。 |
告警恢复 | 告警恢复是一种告警通知类型。当监控对象恢复正常时,发送恢复通知。 |
内容模板 | 告警通知内容模板是一种预定义的文本模板,用于指定告警通知的内容及格式。内容模板中支持添加变量,在发送通知时,变量会被替换为实际值。 |
Webhook 集成 | 日志服务支持以 Webhook 集成方式管理飞书、钉钉和企业微信等告警通知渠道。 |