查询字符串语法--日志服务-火山引擎

文档中心

导航

查询字符串语法

最近更新时间：2023.11.14 19:17:37首次发布时间：2023.10.24 19:47:33

在日志服务数据加工函数中，字符串语法用于指定检索规则和数据过滤的方式。本文档介绍数据加工函数中的查询字符串语法通用规则。

适用范围

在使用以下数据加工函数时，您可以通过查询字符串语法过滤数据。

类型	函数	场景
事件检查函数	f_search	使用查询字符串判断指定事件的字段值是否满足指定的条件。

功能概览

查询字符串语法支持检索关键词、模糊匹配等功能，键值检索和全文检索模式对不同搜索功能的支持情况如下表所示。

功能	键值检索	全文搜索
关键词检索	支持	支持
模糊匹配	支持	支持
完全匹配	支持	不支持
正则表达式匹配	支持	不支持
数值比较与范围判断	支持	不支持
逻辑关系判断	支持	支持
字段判断	支持	不支持

特殊字符转义

在字符串查询语法中，需要对一些特殊字符进行转义操作。需要转义的特殊字符包括星号（*）、冒号（:）、括号（()）、单引号（''）、双引号（""）、问号（?）、波浪号（~）等。转义的方式包括：

转义方式	说明
字段名转义	字段名包含特殊字符时应使用反斜线（`\`）转义。例如 `new\*:content`、`$path$\?: api`。如果字段名为中文，则应用双引号包裹，例如 `e_search('"中文字段":"中文值"')`。
搜索值转义	搜索值如果包含特殊字符，应使用反斜线（`\`）转义。例如 `e_search('content:a\*b')` 表示使用反斜线对星号转义。

关键词检索

检索方式	说明
全文检索	在所有字段值中搜索指定字符串。搜索中文关键词时需要加引号（""）。语法格式如下： `f_search('关键词1')` 示例如下： `f_search('"中文字符"')`：搜索指定字符串 `中文字符`。 `f_search('"byte dance"')`：搜索的关键词中包含空格。 `f_search('byte dance')`：搜索多个关键词，其中不同关键词之间默认为 OR 关系。
键值检索	在某个字段的所有值中搜索指定字符串。语法格式如下： `f_search('key:value')` 示例如下： `f_search('method: get')`：判断 `method` 字段的值中是否包含关键词 `get`。 `f_search('company: "volc engine"')`：判断 `company` 字段的值中是否包含关键词 `volc engine`，该关键词中包含空格。 `f_search('company: volc engine')`：等同于 `f_search('company: volc OR engine')`，即判断 `company` 字段的值中是否包含关键词 `volc`，或日志全文中是否包括 `engine`。

检索方式

说明

全文检索

在所有字段值中搜索指定字符串。搜索中文关键词时需要加引号（""）。
语法格式如下：

f_search('关键词1')

示例如下：

f_search('"中文字符"')：搜索指定字符串 中文字符。
f_search('"byte dance"')：搜索的关键词中包含空格。
f_search('byte dance')：搜索多个关键词，其中不同关键词之间默认为 OR 关系。

键值检索

在某个字段的所有值中搜索指定字符串。
语法格式如下：

f_search('key:value')

示例如下：

f_search('method: get')：判断 method 字段的值中是否包含关键词 get。
f_search('company: "volc engine"')：判断 company 字段的值中是否包含关键词 volc engine，该关键词中包含空格。
f_search('company: volc engine')：等同于 f_search('company: volc OR engine')，即判断 company 字段的值中是否包含关键词 volc，或日志全文中是否包括 engine。

模糊匹配

查询字符串语法支持模糊匹配，即通过通配符进行匹配。目前支持的通配符包括：

星号（*）：零个或多个字符串。
半角问号（?）：一个字符，或一个中文字符等宽字符。

模糊匹配的语法如下：

检索方式	说明
全文检索	在所有字段中进行模糊匹配。语法格式如下： `f_search('关键词')` 示例如下： `f_search('dance')`：搜索以 dance 开头的所有字符串，例如 dancers。 `f_search('dance?')`：搜索以 dance 开头的 6 位字符串，例如 dancer。
键值检索	在指定字段的字段值中进行模糊匹配。语法格式如下： `f_search('key:value')` 示例如下： `f_search('company: bytdance')`：匹配零或多个字符。 `f_search('company: tik?ok')`：匹配一个字符。

检索方式

说明

全文检索

在所有字段中进行模糊匹配。
语法格式如下：

f_search('关键词*')

示例如下：

f_search('dance*')：搜索以 dance 开头的所有字符串，例如 dancers。
f_search('dance?')：搜索以 dance 开头的 6 位字符串，例如 dancer。

键值检索

在指定字段的字段值中进行模糊匹配。
语法格式如下：

f_search('key:value*')

示例如下：

f_search('company: byt*dance')：匹配零或多个字符。
f_search('company: tik?ok')：匹配一个字符。

完全匹配

查询字符串语法支持完全匹配，即字段值从开始到结尾应和指定字符串完全匹配。

语法格式：
```
f_search('key==value')
```
示例： f_search('company== "byte dance"')：company 字段的值应完全等于 byte dance。

正则表达式匹配

查询字符串语法支持正则表达式匹配，即通过正则表达式匹配指定字段的字段值。

语法格式：
```
f_search('key~=正则表达式')
```
语法说明：
- 正则表达式中如果包含反斜线（\），应使用双引号包裹。
- 正则表达式匹配默认为部分匹配，如果需要完全匹配字段值，需要在正则式开头和结尾处分别添加^和$，例如^\d+$。
示例：
- f_search('path~= "\d+"')：path 字段值中包含数字。
- f_search('id~= "^\d+$"')：id 字段值为数字格式。

数值比较与范围判断

查询字符串语法支持数值比较和数值范围判断。支持的对比符包括 >、>=、=、<、<=。

功能	说明
数值比较	将指定字段的值和某个数值进行大小对比。例如： `f_search('count >= 9') # >=9 f_search('count > 9') # > 9 f_search('count = 9') # = 9 f_search('count <= 9') # <=9 f_search('count < 9') # < 9`
数据范围判断	将指定字段的值和某个数值范围进行对比。数值范围应为闭区间。例如： `f_search('age: [1, 18]') # >=1 and <=18`

功能

说明

数值比较

将指定字段的值和某个数值进行大小对比。
例如：

f_search('count >= 9')  #  >=9
f_search('count > 9')   #  > 9
f_search('count = 9')   #  = 9
f_search('count <= 9')  #  <=9
f_search('count < 9')   #  < 9

数据范围判断

将指定字段的值和某个数值范围进行对比。数值范围应为闭区间。
例如：

f_search('age: [1, 18]') # >=1 and  <=18

逻辑关系

对多个搜索结果进行逻辑关系判断，支持通过圆括号()调整逻辑关系的对比顺序。

逻辑关系	关键字
且	`AND`、`&&` 等，只支持大写。
或	`OR`、`\|\|` 等，只支持大写。
否	`NOT`、`!` 等，只支持大写。

示例如下：

f_search('byte OR dance') # 逻辑关系运算符应为大写
f_search('byte AND (dancer OR dance)')
f_search('byte AND  ( NOT dancer OR tiktok)')
f_search("byte && dance")    # AND
f_search("byte || dance")    # OR
f_search("byte || !dance")   # OR NOT

字段判断

使用搜索字符串对字段进行判断。
示例如下：

f_search('field:*')：判断字段 field 存在。
f_search('NOT field:*')：判断字段 field 不存在。
f_search('field~=".+"')：判断字段 field 存在。
f_search('NOT field~=".+"')：判断字段 field 不存在。