You need to enable JavaScript to run this app.
导航
启用 LogCollector 高精度时间
最近更新时间:2024.08.16 10:30:19首次发布时间:2024.07.02 10:17:40

LogCollector 采集支持开启高精度时间功能,用于提取原始日志时间内容中的纳秒部分。本文介绍如何启用 LogCollector 高精度时间功能。

应用场景

默认情况下,日志服务采集和存储日志时,对应的时间精度为毫秒,以适应广泛的日志管理与分析场景。然而在诸如金融交易实时监控、超低延迟系统性能分析等领域,纳秒级别的监控精度是金额交易分析、服务响应和故障排的关键因素。
为满足此类高精度时间管理需求,日志服务支持通过 LogCollector 采集日志时,轻松开启纳秒时间精度功能,确保每一微小的时间变化都能被捕捉与分析,为决策提供坚实的时效性基础。

限制说明

通过 LogCollector 1.0.50 及后续版本采集到的日志,以及通过 Go SDK 1.0.172 及后续版本调用 PutLogs 接口采集到的日志支持启用 LogCollector 高精度时间。操作步骤,请参考采集文本日志通过 Go SDK 写入日志

日志样例

URL_REQUEST,https://clientservices.googleapis.com/chrome-variations/seed?osname=win&channel=stable&milestone=86,2024-06-19 12:27:35.822222222

前提条件

操作步骤

您可以通过 LogCollector 或 LogCollector 组件提取日志中的时间,并解析为纳秒时间。

LogCollector

本示例以分隔符模式为例,您需要在采集配置中完成相关配置。重要参数配置示例如下,其他具体说明及相关操作,请参考分隔符模式

  1. 完成分隔符模式相关配置。
    根据日志样例,设置分隔符逗号,为提供结果中的各个 Value,设置 Key。

  2. 完成日志时间相关配置。

    1. 关闭使用采集时间功能。
    2. 设置时间键名称starttime
      starttime 为您在上一步骤中为时间内容指定的 Key 名。
    3. 选中启用纳秒时间精度
      启用纳秒时间精度后,日志时间将支持到纳米级别。
    4. 根据日志样例中的时间内容,设置时间转换格式%Y-%m-%d %H:%M:%S.%f
      图片

采集到日志并开启索引后,您可以在检索分析页面,选择纳秒检索精度,查看采集到的日志,其中日志时间为纳秒精度。
图片

LogCollector 插件

通过 LogCollector 采集文本日志时,支持通过 LogCollector 插件对采集到的日志数据指定字段进行解析处理,因此您也可以使用 LogCollector 时间解析插件来开启高精度时间功能。
本示例以单行全文模式为例,您需要在采集配置中完成相关配置。重要参数配置示例如下,其他具体说明及相关操作,请参考单行全文模式

  1. 选择采集模式单行全文

  2. 使用采集时间参数中,选中启用

  3. 插件配置参数中,选中启用,并输入如下脚步。
    使用单行全文模式采集时,每一行原始日志将被存放在 __content__ 字段中,您可以使用时间解析插件提取原始日志中的时间内容,详细说明,请参考时间解析插件

    {
        "processors":[
            {
                "strp_time": {
                    "field": "__content__",
                    "format": "%Y-%m-%d %H:%M:%S.%f",
                    "time_zone": "GMT+08:00",
                    "extract_regex": "\\[(\\d{4}\\-\\d{2}\\-\\d{2}T\\d{2}:\\d{2}:\\d{2},\\d{3})\\]",
                     "enable_nanosecond": true
                }
            }
        ]
    }
    

    图片

采集到日志并开启预留字段 __content__ 的索引后,您可以在检索分析页面,选择纳秒检索精度,查看采集到的日志,其中日志时间为纳秒精度。
图片