分析概述--日志服务-火山引擎

文档中心

导航

分析概述

最近更新时间：2024.11.07 14:40:47首次发布时间：2024.01.22 17:18:37

日志服务在日志检索的基础上提供实时数据分析能力，支持海量日志数据的实时检索与分析，基于日志检索结果进行 SQL 分析与计算，并以分析图表的方式展示分析结果。

限制说明

限制项	说明
数据量	单个 Shard 单次仅支持分析 1 GiB 数据。
检索分析语句长度	单条检索分析语句最大长度为 50,000 字符，其中检索语句部分最大长度为 4,096 字符。
操作并发数	标准存储：单个 Project 下，最大操作并发数为 100。单个 Topic 下，最大操作并发数为 15。低频存储：单个 Project 下，最大操作并发数为 2。说明低频存储为邀测功能，若有业务需求可联系客户经理申请白名单。当检索分析的日志范围包括标准存储和低频存储时，以低频存储的操作并发数为准。
数据生效机制	分析功能只对开启统计功能后写入的数据生效。对于未打开统计功能的字段，SQL 分析结果展示为空。
数据生效机制	SQL 分析仅对最新版本索引对应的数据生效。修改索引之前的数据可检索，不参与 SQL 分析。
超时时间	查询操作的超时时间为 55s。
结果条数	每次分析时，默认返回结果 100 条。如果您需要返回更多数据，请使用 LIMIT 语法，此时最多返回结果 100,000 条。

日志分析

在日志服务的检索分析页面中输入检索分析语句，并指定日志的时间范围和日志主题即可进行实时的日志检索与分析。具体操作步骤请参考分析日志。
检索分析语句由检索条件和 SQL 分析语句构成，两者通过英文竖线（|）分割，表示在检索条件筛选过的数据中进行分析与计算。
检索分析语句的结构：

&{检索条件} | &{SQL分析语句}

其中：

检索条件：用于指定筛选规则，表示在检索条件筛选过的数据中进行分析与计算。日志检索必须符合查询语法，支持全文检索和键值检索，查询精度分为精确查询和模糊查询，也可以指定为空格或星号（*）表示全量数据。详细说明请参考检索概述和检索语法。
无需进行日志分析时，仅输入检索条件即可。
SQL 分析语句：用于指定查询结果的分析和计算方式。支持多种 SQL 函数和 SQL 语法，详细说明请参考各个函数和语法文档。

如果需要分析日志数据，则必须同时输入检索条件和 SQL 分析语句。

说明

通常情况下，SQL 分析语句中不需要设置 FROM 子句，默认分析指定日志主题中的数据。嵌套查询的最内层除外，即在嵌套子查询中，SELECT 语句中必须指定 FROM 子句。
SQL 分析语句不支持使用 offset，不区分大小写，不需要在末尾加半角分号（;）表示语句结束。
在分析语句中，需要使用单引号（''）包裹代表字符串的字符，无符号包裹或被双引号（""）包裹的字符为字段名或列名。例如'time' 代表字符串，time 或 "time" 代表字段名或列名。

检索分析语句示例：

分析范围	检索分析语句示例	说明
基于全量数据进行日志分析	`* \| SELECT status, count(*) AS PV GROUP BY status`	统计不同状态码的访问次数。
基于检索结果进行日志分析	`status:200 \| SELECT COUNT(*) AS PV`	在状态码为 200 的请求中统计访问次数。

分析语法

日志服务支持多种 SQL 分析函数和语法。

SQL 函数

函数	说明
聚合函数	对一组值执行计算并返回单一的值。
日期和时间函数	支持对日志中的日期和时间进行格式转换，分组聚合等处理。
字符串函数	支持使用指定的分隔符对字符串进行拆分。
正则式函数	通过正则表达式匹配进行字符串替换等操作。
同比与环比函数	对数值类数据进行同比、环比。
数学计算函数	计算数值类数据。
数学统计函数	对数值进行统计学分析与计算。
数组函数	解析数组形式的数据。
JSON 函数	解析 JSON 格式等数据。
IP 函数	通过 IP 地址分析其所属城市、国家、运营商等信息。
URL 函数	支持 URL 中进行提取、编码解码等分析操作。
估算函数	对数值类数据进行估算。
二进制函数	解析二进制类型的数据。
位运算函数	对二进制类型的数据进行 AND、OR、NOT 等位运算。
地理函数	对经纬度进行 Geohash 编码。
颜色函数	支持 BAR、COLOR 等颜色函数
电话号码函数	分析中国内地地域电话号码的归属地、运营商等信息。
单位换算函数	换算数据量或时间间隔的单位。
窗口漏斗函数	支持在滑动的时间窗口中查询事件链并计算事件链中发生的最大连续事件数。
窗口函数	用于聚合、排序等操作。不同于普通聚合函数，窗口函数支持为每一行数据生成一个结果。
类型转换函数	转换及查看字段的数据类型。
算数运算语法	支持加法、减法、乘法、除法等运算。
比较运算符	支持多种比较运算符，用于判断值的大小关系。
逻辑运算符	支持 AND、OR 和 NOT 逻辑运算。

SQL 语法

语法	说明
SELECT 语法	从表中选取列数据，默认从当前日志主题中选取符合筛选条件的数据。
AS 语法	为指定的字段名称指定别名。
GROUP BY 语法	结合聚合函数，根据一个或多个字段对查询分析的结果进行分组。
ORDER BY 语法	根据指定的字段名对检索和分析结果进行排序。
LIMIT 语法	限制由 SELECT 语句返回的数据数量，即输出结果的行数。
DISTINCT 子句	在 SELECT 子句中使用，用于对某一列去重。
WHERE 语法	提取满足指定条件的日志。
嵌套子查询	将一个 SELECT 语句嵌套在另一个 SELECT 语句中，表示先对原始数据进行 SELECT 统计分析，再基于分析结果进行二次统计分析。
JOIN 子句	用于连表查询。
UNION 子句	合并多个 SELECT 子句的分析结果。