日志服务提供 TOS 数据导入运行日志等多种功能运行过程中的日志信息，本文档介绍各种日志类型对应的字段信息。
日志服务提供的服务日志类型如下：
日志类型 | 对应功能 | 存储位置（Topic） | 说明 |
|---|---|---|---|
| tls_import-task | TOS 或 Kafka 数据导入任务完成之后自动记录此日志。日志服务针对每个导入任务记录一次数据导入的运行和导入细节信息。 | |
| tls_import-task | 仅在 TOS 或 Kafka 数据导入任务运行过程中遇到异常或故障时才会上报，每个导入异常的文件会记录一条日志信息。 | |
LogCollector 机器组 | tls_log-collector-status | 手动开启 LogCollector 服务日志功能之后才会记录。开启后，每个 LogCollector 客户端每分钟以日志形式记录一次运行状态。 | |
LogCollector 机器组 | tls_log-collector-business | 手动开启 LogCollector 服务日志功能之后才会记录。开启后，LogCollector 针对每个采集中的文件每分钟上报一次采集进度。 | |
数据加工 | tls_etl-log | 运行日志加工任务时，日志服务会自动定时记录数据加工的过程与进度信息，并将其打印在服务日志中。 | |
投递数据到 TOS 或 Kafka | tls_shipper-log | 开启数据投递后，日志服务会自动将定时触发的投递任务执行情况记录下来，并打印在服务日志中。 | |
消费组 | tls_consumergroup-log | 用户使用 SDK 消费组功能后，日志服务会每 2 分钟将消费组里每个 Shard 的消费延迟秒数记录下来，并打印在服务日志中。 | |
定时 SQL 分析 | tls_schedule-sql-log | 定时 SQL 分析任务的实例开始运行后，日志服务会定期记录每个实例的执行情况，并打印在服务日志中。 | |
日志告警 | tls_alarm-log | 告警策略开始运行后，日志服务会定期记录每个监控任务的执行情况，例如执行时间、执行结果等信息，并将其打印在服务日志中。 | |
日志告警 | tls_alarm-log | 每次触发告警策略后，日志服务会打印一条告警事件日志，用于记录触发告警时的相关元数据信息。 |
数据导入运行日志保存在日志主题 tls_import-task 中，日志服务针对每个导入任务记录一次数据导入的运行和导入细节信息。
字段 | 示例 | 描述 |
|---|---|---|
TaskID | 123-xxx | 导入任务 ID。 |
TaskStatus | Finished | 导入任务状态。包括：
|
SourceType | tos | 导入的数据源类型。包括：
|
Transferred | 5004 | 已导入的数据条数。 |
Failed | 0 | 导入失败的数据条数。 |
Skipped | 0 | 导入时跳过的数据条数。 |
NotExist | 0 | TOS 文件不存在失败个数。 |
Total | 5004 | 任务总数据条数。 |
BytesTransferred | 20372186 | 已导入的数据大小，单位为 Byte。 |
BytesTotal | 20372186 | 所有数据的总大小，单位为 Byte。 |
数据导入错误日志保存在日志主题 tls_import-task 中，仅在 TOS 或 Kafka 数据导入任务运行过程中遇到异常或故障时才会上报，每个导入异常的文件会记录一条日志信息。
字段 | 示例 | 描述 |
|---|---|---|
TaskID | 123-xxx | 导入任务 ID。 |
SourceType | tos | 导入的数据源类型。包括：
|
Object | abc.log | 导入对象在 TOS 中的保存路径。 |
Status | NotExist | 导入数据的状态。包括：
|
Error | Obj not exist | 导入失败原因。包括：
|
LogCollector 状态日志保存在日志主题 tls_log-collector-status 中，每个 LogCollector 客户端每分钟以日志形式记录一次运行状态。
字段 | 描述 |
|---|---|
InstanceId | LogCollector 客户端唯一标识。 |
Label | 机器标识数组。 |
IP | 机器的 IP 地址。 |
Version | LogCollector 版本号。 |
HeartbeatStatus | LogCollector 最近一次心跳的状态：
|
MemoryUsed | 内存使用量，单位为 Byte。 |
CpuUsage | CPU 使用率。 |
DuplicateFilePathCnt | 文件被重复绑定的采集配置数量。 |
DuplicateFilePaths | 被采集配置重复绑定的日志文件路径。 |
SendTotalLogSize | LogCollector 最近一次启动以来，已发送的日志总量，单位为 Byte。 |
SendTotalLogCount | 已发送的日志条数。 |
SendSuccessLogSize | 发送成功的日志总量，单位为 Byte。 |
SendSuccessLogCount | 发送成功的日志条数。 |
SendDropLogSize | 因发送失败而丢弃的日志总量，单位为 Byte。 |
SendDropLogCount | 因发送失败而丢弃的日志条数。 |
SendTotalReqs | 向服务端发送的总请求数。 |
SendSuccessReqs | 发送成功的请求数。 |
SendFailReqs | 发送失败的请求数。 |
SendLimitReqs | 因限流而被拦截的请求数。 |
SendDeleteReqs | 因目标 Topic 已删除而被拦截的请求数。 |
QueueCurrSize | LogCollector 客户端当前缓存的日志数量。 |
QueueCurrBytes | LogCollector 客户端当前缓存的日志量，单位为 Byte。 |
LogCollector 业务日志保存在日志主题 tls_log-collector-business 中，LogCollector 针对每个采集中的文件每分钟上报一次采集进度。
字段 | 描述 |
|---|---|
InstanceId | LogCollector 客户端唯一标识。 |
Label | 机器标识数组。 |
IP | 机器的 IP 地址。 |
Version | LogCollector 版本号。 |
TopicId | 日志写入的目标 Topic。 |
FilePath | 正在采集的日志文件的路径。 |
RealFilePath | 正在采集的日志文件在物理机上的实际路径。 |
FileSize | 正在采集的日志文件大小，单位为 Byte。 |
ReadOffset | 读取文件的偏移量，单位为 Byte。 |
SendSuccessOffset | 发送成功的偏移量，单位为 Byte。 |
StartReadTimestamp | 开始读取该文件的时间戳。 |
LastReadTimestamp | 最近一次读取该文件的时间戳。 |
ParseSuccessSize | 解析成功的日志量，单位为 Byte。 |
ParseSuccessCount | 解析成功的日志条数。 |
ParseFailSize | 解析失败的日志量，单位为 Byte。 |
ParseFailCount | 解析失败的日志条数。 |
FormatTimeSuccessSize | 根据指定时间格式解析时间字段时，解析成功的日志大小，单位为 Byte。 |
FormatTimeSuccessCount | 根据指定时间格式解析时间字段时，解析成功的日志条数。 |
FormatTimeFailSize | 根据指定时间格式解析时间字段时，解析失败的日志大小，单位为 Byte。 |
FormatTimeFailCount | 根据指定时间格式解析时间字段时，解析失败的日志条数。 |
FilterSize | 根据指定的过滤器配置，已过滤的日志大小，单位为 Byte。 |
FilterCount | 根据指定的过滤器配置，已过滤的日志条数。 |
HarvesterStatus | 文件采集器状态，包括：
|
数据加工运行日志保存在日志主题 tls_etl-log 中，日志服务针对每个数据加工任务均定期记录数据加工的运行日志，主要包括源日志主题分区粒度的输入、过滤、失败和输出信息。
字段 | 示例 | 描述 |
|---|---|---|
task_id | 123-xxx | 日志加工的任务 ID。 |
etl_context.project | abc-xxx | 加工任务的源 Topic 所属 Project。 |
etl_context.topic | edf-xxx | 加工任务的源日志主题 ID。 |
etl_context.shard_id | 0 | 加工任务消费的源日志主题的分区 ID。 |
logging.level | INFO | 日志等级，包括：
|
logging.message | division zero | 数据加工任务的相关信息。
|
process_info.accept | 100 | 加工任务运行过程中内已消费的日志的数量，即从源日志主题中读取出了多少条日志。 |
process_info.dropped | 0 | 加工任务运行过程中过滤掉的日志数量，即调用 e_drop 函数删除的日志数量，或加工函数转换失败的日志数量。 |
process_info.delivered | 100 | 加工任务运行过程中输出的数量，即已成功完成加工并准备写入目标日志主题的日志数量。 |
process_info.failed | 0 | 加工任务运行过程中输出失败的日志数量，例如因目标日志主题被删除而导致输出失败。 |
数据投递运行日志保存在日志主题 tls_shipper-log 中。日志服务针对每个数据投递任务均定期记录任务执行过程中的运行信息，主要包括任务 ID、任务状态、投递数量、流量等信息。
字段 | 示例 | 描述 |
|---|---|---|
LogCount | 10 | 本次投递任务处理的日志条数。 |
LogStartTime | 1678781706 | 本次投递任务处理的第一条日志的时间戳。 |
LogEndTime | 1678781706 | 本次投递任务处理的最后一条日志的时间戳。 |
ProcessSpeed | 1000 | 本次投递任务的投递速率，单位为 Byte/s。 |
SendStartTime | 1678781706 | 本次投递任务的起始时间戳。 |
SendEndTime | 1678781706 | 本次投递任务的结束时间戳。 |
ShardId | 0 | 本次投递任务处理的待投递 Topic 的哪一个 Shard。 |
ShipperId | 411-xxx | 本次投递任务所属的投递配置的 ID。 |
TaskId | task-xxx | 本次投递任务的 ID。 |
TopicId | b67-xxx | 本次投递任务投递的 Topic 的 ID。 |
TopicName | testtopic | 本次投递任务投递的 Topic 的名称。 |
WriteTraffic | 1000 | 本次投递任务产生的写流量大小，单位为 Byte。 |
ReadTraffic | 1000 | 本次投递任务产生的读流量大小，单位为 Byte。 |
Message | Task shipper success. | 本次投递任务的执行响应信息，详细说明如下：
|
Status | Success | 本次投递任务的执行结果。包括：
|
消费组延迟日志保存在日志主题 tls_consumergroup-log 中。日志服务对用户的每个投入使用的 ConsumerGroup 每 2 分钟记录一条消费延迟进度到服务日志中。主要包括消费组 ID、Topic ID、Shard ID 和延迟时长等信息。
字段 | 示例 | 描述 |
|---|---|---|
ConsumerGroupName | test | 消费组名称。 |
ProjectId | xxx | 消费组所属的日志项目 ID。 |
TopicId | xxx | 本次延迟信息对应的日志主题 ID。 |
ShardId | 0 | 本次延迟信息对应的分区 ID。 |
FallBehindSecond | 10 | 当前消费组在当前分区的消费延迟秒数，即用户最新消费的一条数据与当前分区实际最新的一条数据的时间戳差值。 |
定时 SQL 运行日志保存在日志主题 tls_schedule-sql-log 中。定时 SQL 运行日志用于记录日志服务定时 SQL 分析任务每个调度实例的详细执行情况，包括定时 SQL 分析任务 ID、定时 SQL 执行实例 ID、定时 SQL 调度时间等。
字段 | 示例 | 描述 |
|---|---|---|
task_id | 0c554a3a-a307-43ec-857a-3743f8a0**** | 定时 SQL 分析任务 ID。 |
process_id | 0c554a3a-a307-43ec-857a-3743f8a0**** | 定时 SQL 分析任务实例 ID。 |
task_start_time | 1692180957000 | 任务执行开始时间，格式为毫秒级时间戳。 |
task_end_time | 1692181022000 | 任务执行结束时间，格式为毫秒级时间戳。 |
task_running_time | 65 | 任务执行时长，单位为毫秒。 |
process_time | 1692180883 | 实例的调度时间，格式为秒级时间戳。 |
process_start_time | 1692180780 | 调度开始时间，格式为秒级时间戳。 |
process_end_time | 1692180840 | 调度结束时间，格式为秒级时间戳。 |
process_log_nums | 1 | 处理的日志数量。 |
process_result | {status:"success","message":"success"} | 实例调度结果。其中：
|
告警策略执行日志保存在日志主题 tls_alarm-log 中。告警策略开始运行后，日志服务会记录每次告警监控的执行情况，例如执行时间、执行结果等信息，并将其打印在服务日志中。
字段 | 示例 | 描述 |
|---|---|---|
AccountId | 200000**** | 火山引擎账号 ID。 |
ProjectId | a2026e02-91d8-460e-887f-19db4da9**** | 日志项目 ID。 |
ProjectName | tls_service-project | 日志项目名称。 |
AlarmName | rewrwer-copy | 告警名称。 |
AlarmId | 1482fce9-6655-4aa2-bf6b-9a1d4e20**** | 告警策略 ID。 |
TopicIds | ebee41c6-ba2f-4dba-84be-b310ce4c**** | 日志主题 ID 列表。 |
TopicNames | tls_etl-log | 日志名称列表。 |
HappenThreshold | $1.count>=100 | 告警策略中配置的触发条件。 |
AlarmFrequency | 30 | 告警频率。 |
ReachTrigger | FALSE | 是否触发告警。 |
Notify | NotSend | 执行结果。
|
NotifyGroup | [{"NotifyGroupId":"87527591-06b2-4e40-bcee-c92416ba****","Name":"yyj-tsy-001"}] | 告警组列表。
|
ProcessResult | AlarmConditionEvaluateError | 执行结果。以下为常见的执行结果。
|
ProcessMsg | Alarm evaluate error: result of '$1.count' does not exist | 执行结果详细信息。 |
NotifyType | AlarmRecover | 告警类型。 |
Severity | notice | 告警级别。 |
AlarmDuration | 0 | 告警周期。 |
SmsBillingCount | 0 | 短信发送计费条数。 |
AlarmVersion | 2 | 告警版本。 |
SmsSuccessCount | 0 | 告警短信发送成功条数。 |
SmsFailedCount | 0 | 告警短信发送失败条数。 |
VmsSuccessCount | 0 | 告警电话成功次数。 |
VmsFailedCount | 0 | 告警电话失败次数。 |
EmailSuccessCount | 0 | 告警邮件成功次数。 |
EmailFailedCount | 0 | 告警邮件失败次数。 |
WebHookSuccessCount | 0 | WebHook 请求成功次数。 |
WebHookFailedCount | 0 | WebHook 请求失败次数。 |
Env |
| 告警执行时的常用变量字段值。 |
LogType | Alarm | 日志的类型。
|
QueryUrl | https://console-stable.volcanicengine.com/tls/region:tls+cn-chongqing-sdv/project/a2026e02-91d8-460e-887f-19db4da9****/search?codebase64=KiBBTkQgIHRhc2tfaWQ6Ijc5NzVlZmQ3LWU2M2ItNGNkZC1iNTFjLTA2ZDljZjA4N2VmMiIgfCBzZWxlY3Qgc3VtKHByb2Nlc3NfaW5mby5mYWlsZWQpIEFTIGZhaWxlZF9j****==&hideIndexBtn=false&hideShareBtn=false&hideTitle=false&hideTopic=false&time=2023-12-04%2016:22:44%2C2023-12-04%2016:37:44&topicId=ebee41c6-ba2f-4dba-84be-b310ce4**** | 第一条告警查询语句的检索分析页面 URL。 |
告警事件日志保存在日志主题 tls_alarm-log 中。每次触发告警策略后，日志服务会打印一条告警事件日志，用于记录触发告警时的相关元数据信息。
字段 | 示例 | 描述 |
|---|---|---|
AccountId | 200000**** | 火山引擎账号 ID。 |
InstanceId | 94285baf-7568-48dc-983f-26402bb**** | 告警实例 ID。 |
IncidentId | 06a80b71-f578-4732-aeab-f215a7e8**** | 告警事件 ID。 |
AlarmAnnotations | {"desc":"aaa001告警触发","title":"aaa001告警触发"} | 告警元信息说明。 |
ProjectId | a2026e02-91d8-460e-887f-19db4da**** | 日志项目 ID。 |
ProjectName | tls_service-project | 日志项目名称。 |
AlarmName | rewrwer-copy | 告警名称。 |
AlarmId | 1482fce9-6655-4aa2-bf6b-9a1d4e20**** | 告警策略 ID。 |
Env |
| 告警执行时的常用变量字段值。 |
LogType | Alarm | 日志的类型。
|