通过 LogCollector 采集文本日志时,如果业务日志结构复杂、格式不固定,无法通过 JSON 模式等常规的日志采集模式进行解析时,您可以添加 LogCollector 插件进行采集后处理。
LogCollector 提供分隔符模式、JSON 模式、完整正则模式等多种文本日志采集模式,并支持日志过滤等多种高级配置,可覆盖大多数典型场景的日志采集和处理需求。在某些复杂的场景中,例如业务日志结构复杂,日志中同时存在 JSON 格式和分隔符日志、日志字段不固定等情况,无法通过某个模式进行统一解析处理,可以通过 LogCollector 插件进行采集后处理。
配置文本日志的 LogCollector 采集规则时,只需开启插件功能,并依次填写用于处理日志的插件配置即可,日志服务处理采集到的日志数据时,会根据插件配置依次执行对应的处理逻辑。详细使用方式请参考使用 LogCollector 插件处理日志。
LogCollector 插件模块提供多种丰富的插件,配合 LogCollector 采集模块的数据采集功能,加强日志服务在复杂日志场景的采集后处理能力。目前支持的插件列表请参考插件列表。如果需要根据日志内容判断是否执行某个插件,可以在插件配置中添加插件条件,例如检查字段值是否为某个固定值、检查字段值是否包含某个指定字符串等,支持的执行条件列表请参考执行条件列表。
__content__
,所以第一个 LogCollector 插件配置的字段名称应指定为 __content__
。类别 | LogCollector插件 | 说明 |
---|---|---|
字段提取 | delimiter 插件用于指定 LogCollector 通过分隔符模式提取字段。 | |
fullregex 插件用于指定 LogCollector 通过完整正则模式提取字段。 | ||
kv 插件用于指定 LogCollector 通过键值对模式提取字段。 | ||
添加字段 | add_kvs 插件用于指定 LogCollector 添加指定字段。 | |
JSON 解析 | json 插件用于指定 LogCollector 通过 JSON 模式解析并展开字段。 | |
数据脱敏 | desensitize 插件用于将指定日志内容替换为对应的 MD5 值,实现数据脱敏的目的。 | |
字符串替换 | replace 插件用于将指定日志内容替换为指定字符串。 | |
时间解析 | strp_time 插件用于解析日志中的时间内容,并将解析后的时间作为日志时间戳记录在服务端。 | |
重命名 | rename 插件用于重命名字段名称。 | |
过滤日志 | drop_log 插件支持日志字段名称与正则表达式进行匹配,以过滤掉不符合条件的日志。 |