将日志数据写入日志服务时,日志服务默认为每一条日志添加部分元数据字段,用于记录该日志的日志来源、时间戳等信息。这些字段统称为日志服务的预留字段。本文档介绍预留字段的名称、数据类型、索引配置等信息。
说明
- 创建采集配置或通过 PutLogs API 写入日志数据时,请勿将 Key(字段名称)设置为以下预留字段,否则可能会造成字段名称重复、查询不精确等问题。
- 日志服务为日志数据增加的这些元数据字段按照存储量正常收费,为其开启索引时也会产生少量的索引存储费用。详细的计费模式请参考产品计费。
通用字段
预留字段 | 数据类型 | 索引配置 | 说明 |
---|
__raw__
| Text 类型 | - 索引设置:默认不开启索引;不支持设置字段索引。手动开启全文索引后,可以通过全文检索语法搜索该字段内容。
- 统计设置:默认不开启统计,且不支持手动开启统计。
| 开启后,原始的日志数据将被封装在 __raw__ 字段中,和解析后的日志数据一起上传到日志服务中。
该字段支持检索,不支持统计。 |
__tag____client_ip__
| Text 类型 | - 索引设置:默认不开启索引,支持自定义设置索引。
- 统计设置:默认不开启统计,支持自定义设置统计。
| 日志来源设备的公网 IP 地址。为日志主题开启记录外网 IP 功能后,日志服务会自动在采集到的日志内容中添加此字段。
该字段支持检索和统计。 说明 通过 Web Tracking 方式写入日志时,日志服务通过 clientAddr 记录来源设备的公网 IP 地址。 |
__tag____receive_time__
| Text 类型 | - 索引设置:默认不开启索引,支持自定义设置索引。
- 统计设置:默认不开启统计,支持自定义设置统计。
| 日志达到服务端的时间,格式为 10 位的 Unixtime 时间戳。为日志主题开启记录外网 IP 功能后,日志服务会自动在采集到的日志内容中添加此字段。
该字段支持检索和统计。 |
宿主机日志采集
预留字段 | 数据类型 | 索引配置 | 说明 |
---|
__time__
| Long 类型 | - 索引设置:手动开启索引后,日志服务默认为
__time__ 创建键值索引,索引字段类型为 Long 类型,无分词符。例如 __time__:1693193760 。 - 统计设置:开启索引后默认开启统计,可使用日志服务 SQL 分析语法,例如
* | select __time__ 。
| 向日志服务写入日志数据时指定的日志时间。
该字段支持检索和统计。 |
__content__
| Text 类型 | - 索引设置:支持同时开启全文索引和
__content__ 预留字段索引。 - 统计设置:默认不开启统计;如果关闭全文索引,且开启键值索引后,可手动开启统计。
| 该字段中封装原始的日志数据。该字段未预置索引,若需检索日志,需要手动开启全文索引。
该字段支持检索和统计。 |
__path__
| Text 类型 | - 索引设置:开启全文索引后,日志服务默认为
__path__ 创建索引,索引字段类型为 Text 类型,无分词符。查询时输入 __path__:/infcs/log 。 - 统计设置:开启索引后默认开启统计,可使用日志服务 SQL 分析语法,例如:
*|select __path__ 。
| 日志的源文件目录与文件名。
该字段支持检索和统计。 |
__source__
| Text 类型 | - 索引设置:开启索引后,日志服务默认为
__source__ 创建索引,索引字段类型为 Text 类型,分词符为空。查询时输入 __source__:10.0.0.1 。 - 统计设置:开启索引后默认开启统计,可使用日志服务 SQL 分析语法,例如:
*|select __source__ 。
| 日志源服务器的 IP 地址。
该字段支持检索和统计。 |
容器日志采集
预留字段 | 数据类型 | 索引配置 | 说明 |
---|
__image_name__
| Text 类型 | - 索引设置:开启索引后,日志服务默认为
__image_name__ 创建索引,索引字段类型为 Text 类型,无分词符。例如检索 __image_name__:hub.bxxx.org/infcs/tob.tls.api:1.0.1 。 - 统计设置:当您为任意字段开启键值索引后,日志服务默认为
__image_name__ 开启统计。
| 镜像名称。
该字段支持检索和统计。 |
__container_name__
| Text 类型 | - 索引设置:开启索引后,日志服务默认为
__container_name__ 创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__container_name__:api 。 - 统计设置:为任意字段开启键值索引后,日志服务默认为
__container_name__ 开启统计。
| 容器名称。
该字段支持检索和统计。 |
__container_ip__
| Text 类型 | - 索引设置:开启索引后,日志服务默认为
__container_ip__ 创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__container_ip__:172.xx.xxx.30 。 - 统计设置:为任意字段开启键值索引后,日志服务默认为
__container_ip__ 开启统计。
| 容器或 Pod 的 IP 地址。
该字段支持检索和统计。 |
__container_source__
| Text 类型 | - 索引设置:开启索引后,日志服务默认为
__container_source__ 创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__container_source__:stdout 。 - 统计设置:为任意字段开启键值索引后,日志服务默认为
__container_source__ 开启统计。
| 数据源类型,即 stdout 或 stderr。
该字段支持检索和统计。 |
__pod_ip__
| Text 类型 | - 索引设置:开启索引后,日志服务默认为
__pod_ip__ 创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__pod_ip__:172.xx.xxx.30 。 - 统计设置:为任意字段开启键值索引后,日志服务默认为
__pod_ip__ 开启统计。
| Pod 的 IP 地址。
该字段支持检索和统计。 |
__pod_name__
| Text 类型 | - 索引设置:开启索引后,日志服务默认为
__pod_name__ 创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__pod_name__:api 。 - 统计设置:为任意字段开启键值索引后,日志服务默认为
__pod_name__ 开启统计。
| Pod 名称。
该字段支持检索和统计。 |
__pod_uid__
| Text 类型 | - 索引设置:开启索引后,日志服务默认为
__pod_uid__ 创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__pod_uid__:2d5440b2-20f5-427d-94e4-2af27fxxxxxx 。 - 统计设置:为任意字段开启键值索引后,日志服务默认为
__pod_uid__ 开启统计。
| Pod 的唯一标识。
该字段支持检索和统计。 |
__node_ip__
| Text 类型 | - 索引设置:开启索引后,日志服务默认为
__node_ip__ 创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__node_ip__:10.1.1.1 。 - 统计设置:为任意字段开启键值索引后,日志服务默认为
__node_ip__ 开启统计。
| Pod 所属的 Node 的 IP 地址。
该字段支持检索和统计。 |
__node_name__
| Text 类型 | - 索引设置:开启索引后,日志服务默认为
__node_name__ 创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__node_name__:tls-cluster 。 - 统计设置:为任意字段开启键值索引后,日志服务默认为
__node_name__ 开启统计。
| Pod 所属的 Node 的名称。
该字段支持检索和统计。 |
__namespace__
| Text 类型 | - 索引设置:开启索引后,日志服务默认为
__namespace__ 创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__namespace__:tls 。 - 统计设置:为任意字段开启键值索引后,日志服务默认为
__namespace__ 开启统计。
| Pod 所属的 Namespace。
该字段支持检索和统计。 |
定时 SQL 分析
预留字段 | 数据类型 | 索引配置 | 说明 |
---|
__task_id__
| Text 类型 | - 索引设置:开启索引后,日志服务默认为
__task_id__ 创建索引,索引字段类型为 Text 类型,分词符为空。查询时输入__task_id__:de64b4ea-dcdd-4cba-9312-167524dxxxxx0 。 - 统计设置:默认不开启统计,且不支持手动开启统计。
| 定时 SQL 分析任务的 ID。
该字段支持检索,不支持统计。 |
__process_id__
| Text 类型 | - 索引设置:开启索引后,日志服务默认为
__process_id__ 创建索引,索引字段类型为 Text 类型,分词符为空。查询时输入__process_id__:0b96eeef-cf1e-46ed-9693-bda14df1xxxx 。 - 统计设置:默认不开启统计,且不支持手动开启统计。
| 定时 SQL 分析任务中执行此调度计算的实例 ID。
该字段支持检索,不支持统计。 |
__process_start_time__
| Long 类型 | - 索引设置:开启索引后,日志服务默认为
__process_start_time__ 创建索引,索引字段类型为 Long 类型。查询时输入 __process_start_time__:> 1693193760 。 - 统计设置:默认不开启统计,且不支持手动开启统计。
| 定时 SQL 分析任务的 SQL 时间窗口开始时间。
该字段支持检索,不支持统计。 |
__process_end_time__
| Long 类型 | - 索引设置:开启索引后,日志服务默认为
__process_end_time__ 创建索引,索引字段类型为 Text 类型,分词符为空。查询时输入 __process_end_time__:> 1693193820 。 - 统计设置:默认不开启统计,且不支持手动开启统计。
| 定时 SQL 分析任务的 SQL 时间窗口结束时间。
该字段支持检索,不支持统计。 |
__process_time__
| Long 类型 | - 索引设置:开启索引后,日志服务默认为
__process_time__ 创建索引,索引字段类型为 Text 类型,分词符为空。查询时输入 __process_time__:> 1693193857 。 - 统计设置:默认不开启统计,且不支持手动开启统计。
| 实例的调度时间,即默认情况下后端服务开始产生运行实例。
该字段支持检索,不支持统计。 |
__schedule_time__
| Long 类型 | - 索引设置:开启索引后,日志服务默认为
__schedule_time__ 创建索引,索引字段类型为 Text 类型,分词符为空。查询时输入 __schedule_time__:> 1693193925000 。 - 统计设置:默认不开启统计,且不支持手动开启统计。
| 实例的执行时间,即定时 SQL 分析任务的实例实际开始执行的时间。
该字段支持检索,不支持统计。 |
Web Tracking
预留字段 | 数据类型 | 索引配置 | 说明 |
---|
clientAddr | String 类型 | - 索引设置:默认不开启索引,支持自定义设置索引。
- 统计设置:默认不开启统计,支持自定义设置统计。
| 通过 Webtracking 方式写入日志时,记录日志数据源端的 IP 地址及端口号。 |
User-Agent | String 类型 | - 索引设置:默认不开启索引,支持自定义设置索引。
- 统计设置:默认不开启统计,支持自定义设置统计。
| 访问终端名称。
日志服务仅在通过 HTML img 标签方式写入日志时默认添加此字段。 |
referer | String 类型 | - 索引设置:默认不开启索引,支持自定义设置索引。
- 统计设置:默认不开启统计,支持自定义设置统计。
| 访问页面来源。
日志服务仅在通过 HTML img 标签方式写入日志时默认添加此字段。 |