数据加工最佳实践--日志服务-火山引擎

文档中心

文档备案控制台

登录立即注册

导航

日志服务

搜索目录或文档标题搜索目录或文档标题

产品动态

新功能发布记录

产品公告

日志服务中文分词逻辑升级后差异说明

TOS 日志管理免费额度取消公告

日志服务架构升级通知

日志服务计费通知

产品简介

什么是日志服务

产品计费

扣费与欠费

快速入门

采集日志数据

检索分析日志

用户指南

资源管理

机器组

机器组概述

创建机器组（IP地址）

创建机器组（机器标识）

查看机器组

修改机器组

删除机器组

标签管理

根据标签筛选资源

编辑和解绑标签

申请资源配额

控制台概览

数据采集

LogCollector 采集

安装与升级

安装 LogCollector（ECS实例）

安装 LogCollector（宿主机）

升级 LogCollector（宿主机）

安装 LogCollector（DaemonSet 方式）

安装 LogCollector（Sidecar 方式）

安装 LogCollector CRD

升级 LogCollector（Kubernetes 集群）

为宿主机或容器设置 IP 地址

采集宿主机日志

单行全文模式

多行全文模式

分隔符模式

单行完整正则模式

多行完整正则模式

NGINX 配置模式

文件日志或标准输出同时被采集多份

采集容器日志

容器采集概述

LogCollector CRD 采集原理

采集容器文本日志（DaemonSet-控制台方式）

采集容器标准输出（DaemonSet-控制台方式）

采集容器日志（DaemonSet-CRD方式）

采集容器日志（DaemonSet-Pod 环境变量方式）

采集容器日志（Sidecar-控制台方式）

采集容器日志（Sidecar-CRD方式）

获取容器的 Label 和环境变量

容器日志路径占位符

LogCollector 插件

使用 LogCollector 插件处理日志

插件执行条件

字段提取插件

JSON 解析插件

添加字段插件

数据脱敏插件

字符串替换插件

时间解析插件

重命名插件

过滤日志插件

LogCollector 采集配置管理

修改 LogCollector 资源配置

LogCollector 限制说明

LogCollector 版本说明

通用参考

多行全文日志的聚合规则

数据导入

从 SLS 导入日志

从 TOS 导入日志

从 Kafka 导入数据

从 Elasticsearch 导入数据

云产品日志采集

云产品日志采集

TOS 日志采集

TOS 日志采集概述

开启 TOS 日志分析功能

TOS 日志字段

CDN 日志采集

CDN 日志采集概述

开通 CDN 日志采集功能

CDN 日志字段

使用 Kafka 协议上传日志

使用 Web Tracking 采集日志

使用 Logback Appender 上传日志

导入 SLS 采集配置

数据存储

检索分析

检索分析流程

索引数据类型

检索分析交互组件

上下文查询

SQL 函数

日期和时间函数

字符串函数

正则式函数

同比与环比函数

数学计算函数

数学统计函数

Map 映射函数

二进制函数

位运算函数

电话号码函数

单位换算函数

窗口漏斗函数

类型转换函数

算数运算语法

比较运算符

逻辑运算符

条件表达式

SQL 语法

GROUP BY 语法

ORDER BY 语法

DISTINCT 子句

嵌套子查询

关联外部数据源

关联 MySQL 数据源

MySQL 联合查询分析

机器学习函数

机器学习函数概览

预测与异常检测函数

时序聚类函数

异常对比函数

可视化

统计图表

统计图表概述

仪表盘

创建仪表盘

添加图表到仪表盘

仪表盘常见操作

添加仪表盘过滤器和变量

订阅仪表盘

导入仪表盘

可视化开发

控制台内嵌

设置控制台内嵌参数

数据处理

数据加工

数据加工概述

创建数据加工任务

管理数据加工任务

查看数据加工进度与状态

语法与函数

数据加工语法

全局操作函数

流程控制函数

事件处理函数

事件检查函数

字段处理函数

字段检查函数

键值提取函数

富化映射函数

表达式函数

日期值处理函数

字符串处理函数

类型转换函数

逻辑表达式函数

算术表达式函数

正则表达式函数

编码解码函数

IP 解析函数

结构化处理函数

数据加工性能指南

数据加工最佳实践

通用参考

查询字符串语法

正则表达式

定时 SQL 分析

定时 SQL 分析概述

创建定时 SQL 分析任务

管理定时 SQL 分析任务

SQL 时间窗口语法

消费与投递

消费与投递概述

通过 ConsumeLogs 消费日志

通过消费组消费数据

通过 Kafka 协议消费日志

通过函数服务消费日志数据

投递日志到 TOS

以 JSON 格式投递

以 CSV 格式投递

管理投递配置

投递日志到 Kafka

投递日志到消息队列 Kafka版

管理 Kafka 投递配置

告警

快速设置日志告警

告警通知内容模板

创建内容模板

管理内容模板

告警通知渠道

创建通知组

管理通知组

创建 Webhook 集成配置

告警策略

创建告警策略

管理告警策略

查看告警策略

触发条件表达式

告警监控任务时效性

关联监控多个检索分析结果

告警通知内容

免登录访问告警详情页面

Trace 服务

Trace 功能概述

Trace 数据格式

创建 Trace 实例

管理 Trace 实例

通过 OpenTelemetry SDK 写入数据

通过 OpenTelemetry Collector 转发数据

通过 OpenTelemetry Collector 转发数据-容器部署

使用 Grafana 查看 Trace 数据

监控日志服务

查看云监控数据

服务日志

服务日志概述

开启或关闭 LogCollector 服务日志

服务日志字段

服务日志仪表盘

权限管理

可授权的操作

可授权的资源

自定义的权限策略示例

跨服务访问授权

API 参考

使用前必读

API 发布历史

调用方式

附录

公共错误码

数据编码方式

日志项目管理

DescribeProject

DescribeProjects

日志主题管理

分区管理

ManualShardSplit

索引管理

日志管理

DescribeLogContext

DescribeHistogramV1

DescribeHistogram（弃用）

CreateDownloadTask

DescribeDownloadTasks

DescribeDownloadUrl

CancelDownloadTask

机器组管理

CreateHostGroup

DeleteHostGroup

ModifyHostGroup

DescribeHostGroup

DescribeHostGroups

DescribeHostGroupRules

ModifyHostGroupsAutoUpdate

DeleteAbnormalHosts

采集配置管理

ApplyRuleToHostGroups

DeleteRuleFromHostGroups

数据导入

CreateImportTask

DeleteImportTask

ModifyImportTask

DescribeImportTask

DescribeImportTasks

数据加工

DescribeETLTask

DescribeETLTasks

ModifyETLTaskStatus

数据投递

DescribeShipper

DescribeShippers

定时 SQL 分析

CreateScheduleSqlTask

ModifyScheduleSqlTask

DeleteScheduleSqlTask

DescribeScheduleSqlTask

DescribeScheduleSqlTasks

告警管理

CreateAlarmNotifyGroup

DeleteAlarmNotifyGroup

ModifyAlarmNotifyGroup

DescribeAlarmNotifyGroups

CreateAlarmContentTemplate

DeleteAlarmContentTemplate

ModifyAlarmContentTemplate

DescribeAlarmContentTemplates

CreateAlarmWebhookIntegration

DeleteAlarmWebhookIntegration

DescribeAlarmWebhookIntegrations

ModifyAlarmWebhookIntegration

消费组管理

CreateConsumerGroup

DeleteConsumerGroup

DescribeConsumerGroups

ModifyConsumerGroup

ConsumerHeartbeat

DescribeCheckPoint

ModifyCheckpoint

ResetCheckpoint

Kafka 协议消费

OpenKafkaConsumer

CloseKafkaConsumer

DescribeKafkaConsumer

标签管理

AddTagsToResource

RemoveTagsFromResource

SDK 参考

配置身份认证信息

Go SDK

通过 Go SDK 创建基础资源

通过 Go SDK 写入日志

通过 Go SDK 消费日志数据

通过 Go SDK 检索分析日志

通过 Go SDK 消费组消费日志

Java SDK

Java SDK 概述

安装 Java SDK

通过 Java SDK 创建基础资源

通过 Java SDK 写入日志

通过 Java SDK 消费日志数据

通过 Java SDK 检索分析日志

通过 Java SDK 消费组消费日志

Python SDK

Python SDK 概述

安装 Python SDK

通过 Python SDK 消费组消费日志

Android SDK

安装 Android SDK

iOS SDK

获取 SDK 响应

配置超时与重试策略

C++ SDK

获取 SDK 响应

配置超时与重试策略

Node.js SDK

Node.js SDK 概述

安装 Node.js SDK

浏览器 JavaScript SDK

最佳实践

数据采集

基于 Flume 上传日志

启用 LogCollector 高精度时间

通过 Flink 传输数据

监控 LogCollector 采集

检索分析

检索分析运维日志

检索分析 JSON 日志

检索分析 Nginx 访问日志

权限管理

通过 STS 访问日志服务

通过 IAM 设置日志服务访问权限

基于 IAM 角色实现跨账号访问日志服务

消费与投递

通过 ByteHouse 消费日志

通过 Spark Streaming 消费日志

通过 Flink 消费日志

实时同步日志服务数据到 EMR Hive

可视化

添加双 Y 轴折线图

告警

基于日志关键字触发告警

控制告警通知发送时段的常见方法

常见问题

检索分析

检索分析语句中引号的使用场景是什么？

如何精准查询短语？

如何模糊检索日志？

为什么日志时间和其生成时间不一致？

检索分析 JSON 日志常见问题

如何提高检索分析速度？

提示“查询结果不精确”，如何解决？

数据采集

机器组心跳问题排查（宿主机）

机器组心跳问题排查（容器）

容器 LogCollector 运行状态问题排查

如果 K8S API Server 因大量 ListWatch 请求导致负载较高，应如何处理？

告警

告警策略常见问题

告警通知渠道常见问题

告警服务日志常见问题

告警通知内容常见问题

如何设置飞书、钉钉和企业微信告警通知

基础资源

如何查看日志存储时长？

如何删除日志项目和日志主题？

为什么无法删除日志主题？

IP 地址白名单

日志服务和 Datasail 有什么区别？

产品计费常见问题

定时 SQL 分析常见问题

API 和 SDK 常见问题

Trace 服务常见问题

相关协议

存储产品和服务专用条款

服务等级协议SLA（日志服务）

TLS Copilot服务免责声明和服务使用规则

TLS 第三方软件声明

文档首页

/

日志服务

/

用户指南

/

数据处理

/

数据加工

/

数据加工最佳实践

数据加工最佳实践

数据过滤
数据流转
数据脱敏