LogCollector 采集支持开启高精度时间功能,用于提取原始日志时间内容中的纳秒部分。本文介绍如何启用 LogCollector 高精度时间功能。
默认情况下,日志服务采集和存储日志时,对应的时间精度为毫秒,以适应广泛的日志管理与分析场景。然而在诸如金融交易实时监控、超低延迟系统性能分析等领域,纳秒级别的监控精度是金额交易分析、服务响应和故障排的关键因素。
为满足此类高精度时间管理需求,日志服务支持通过 LogCollector 采集日志时,轻松开启纳秒时间精度功能,确保每一微小的时间变化都能被捕捉与分析,为决策提供坚实的时效性基础。
通过 LogCollector 1.0.50 及后续版本采集到的日志,以及通过 Go SDK 1.0.172 及后续版本调用 PutLogs 接口采集到的日志支持启用 LogCollector 高精度时间。操作步骤,请参考采集文本日志、通过 Go SDK 写入日志。
URL_REQUEST,https://clientservices.googleapis.com/chrome-variations/seed?osname=win&channel=stable&milestone=86,2024-06-19 12:27:35.822222222
您可以通过 LogCollector 或 LogCollector 组件提取日志中的时间,并解析为纳秒时间。
本示例以分隔符模式为例,您需要在采集配置中完成相关配置。重要参数配置示例如下,其他具体说明及相关操作,请参考分隔符模式。
完成分隔符模式相关配置。
根据日志样例,设置分隔符为逗号,为提供结果中的各个 Value,设置 Key。
完成日志时间相关配置。
%Y-%m-%d %H:%M:%S.%f
。采集到日志并开启索引后,您可以在检索分析页面,选择纳秒检索精度,查看采集到的日志,其中日志时间为纳秒精度。
通过 LogCollector 采集文本日志时,支持通过 LogCollector 插件对采集到的日志数据指定字段进行解析处理,因此您也可以使用 LogCollector 时间解析插件来开启高精度时间功能。
本示例以单行全文模式为例,您需要在采集配置中完成相关配置。重要参数配置示例如下,其他具体说明及相关操作,请参考单行全文模式。
选择采集模式为单行全文。
在使用采集时间参数中,选中启用。
在插件配置参数中,选中启用,并输入如下脚步。
使用单行全文模式采集时,每一行原始日志将被存放在 __content__
字段中,您可以使用时间解析插件提取原始日志中的时间内容,详细说明,请参考时间解析插件。
{ "processors":[ { "strp_time": { "field": "__content__", "format": "%Y-%m-%d %H:%M:%S.%f", "time_zone": "GMT+08:00", "extract_regex": "\\[(\\d{4}\\-\\d{2}\\-\\d{2}T\\d{2}:\\d{2}:\\d{2},\\d{3})\\]", "enable_nanosecond": true } } ] }
采集到日志并开启预留字段 __content__
的索引后,您可以在检索分析页面,选择纳秒检索精度,查看采集到的日志,其中日志时间为纳秒精度。