You need to enable JavaScript to run this app.
导航
使用限制
最近更新时间:2024.11.07 14:40:47首次发布时间:2021.10.11 18:04:05

资源限制

日志服务基础资源的配额限制如下。

限制项

说明

备注

日志项目数量

每个账号在每个地域下,默认最多可创建 20 个日志项目。

如需调整配额,请参考申请资源配额

日志主题数量

每个日志项目中,默认最多可创建 50 个日志主题。

如需调整配额,请参考申请资源配额

日志分区数量

  • 创建日志主题时,默认最多可创建 10 个日志分区。
  • 创建日志主题后可通过分裂分区功能来增加分区数量,最多可分裂至 50 个读写状态的分区。

如需调整配额,请参考申请资源配额

机器组

  • 每个账号在每个地域下默认最多可创建 200 个机器组。
  • 每个机器组中默认最多可添加 200 个 IP 地址。

如需调整配额,请参考申请资源配额

仪表盘

  • 每个日志项目中默认最多可创建 50 个仪表盘。
  • 每个仪表盘中,过滤器、变量和图表的数量之和不可超过 50。

如需调整配额,请参考申请资源配额

数据加工

  • 每个日志项目内默认最多可创建 100 个加工任务
  • 每个日志主题内默认最多可创建 30 个加工任务

如需调整配额,请参考申请资源配额

数据消费

每个日志项目内默认最多可创建 150 个消费组

如需调整配额,请参考申请资源配额

告警

  • 每个日志项目中默认最多创建 100 个告警策略。
  • 每个日志主题中默认最多创建 10 个告警策略。

如需调整配额,请参考申请资源配额

日志保存时间

日志保存时间支持设置为 1~3650 天,3650 天表示永久保存。

/

流控限制

读写能力限制

账号级别

每个火山引擎账号均提供一定的读写能力,详细说明请参考下表。

说明

非强制性要求,数据读写超出日志分区的读写能力时,系统会尽可能提供服务,但不承诺服务质量。

限制项

限制

读 QPS

20000 次/秒

写 QPS

20000 次/秒

读流量

1 GiB/s

写流量

1 GiB/s

分区级别

每个日志分区(Shard)均提供一定的读写能力,详细说明请参考下表。

说明

非强制性要求,数据读写超出日志分区的读写能力时,系统会尽可能提供服务,但不承诺服务质量。

限制项

限制

读 QPS

100 次/秒

写 QPS

500 次/秒

读流量

20 MiB/s

写流量

5 MiB/s

其他流控限制

每个火山引擎账号还定义了一些其他的日志服务流控限制,详细说明请参考下表。

限制项

限制

LogCollector 配置获取 QPS

4000 次/秒

LogCollector 心跳上报 QPS

2000 次/秒

消费组心跳上报 QPS

2000 次/秒

消费组 Checkpoint 获取 QPS

500 次/秒

仪表盘订阅 QPM

1 次/分钟

管控类接口调用 QPS

20 次/秒

LogCollector 限制

通过 LogCollector 采集日志数据时,请注意 LogCollector 的安装环境、采集行为等限制,详细说明请参考 LogCollector 限制说明

检索分析限制

日志服务中,日志的检索分析操作的限制如下。

检索限制

限制项

说明

备注

单字段字符数

日志分词前后,单个词的长度均不超过 255 个字节。

超出限制后无法通过关键词检索到此日志,但服务端保存的日志数据仍然是完整的。

检索语句长度

单条检索语句最大长度为 4,096 字符。

/

短语查询

短语查询最多选取 10,000 条日志进行短语匹配。

操作并发数

  • 标准存储:
    • 单个 Project 下,最大操作并发数为 100。
    • 单个 Topic 下,最大操作并发数为 15。
  • 低频存储:单个 Project 下,最大操作并发数为 10。

说明

  • 低频存储为邀测功能,若有业务需求可联系客户经理申请白名单。
  • 当检索的日志范围包括标准存储和低频存储时,以低频存储的操作并发数为准。

/

超时时间

查询操作的超时时间为 55s。

/

模糊查询

模糊查询时,日志服务最多查询到符合条件的 100 个词,然后返回包含这 100 个词以及满足查询条件的所有日志。

/

关键词查询

关键词查询时,每次查询最多可指定 30 个查询条件。

/

返回结果

每次查询时,默认最多返回 100 条查询结果。

通过翻页最多可以获取 100,000 条日志。

查询结果排序

默认按照秒级或毫秒级时间从最新日志开始展示。

/

单条日志内容显示

由于网页浏览器性能原因,对于超过 10,000 个字符的日志,日志服务只会对前 10,000 个字符进行 DOM 切词处理。

如果超出 10,000 个字符,控制台会提示“该日志存在超过 10,000 个字符的日志数据,部分显示上会有降级处理”。

分析限制

限制项

说明

数据量

单个 Shard 单次仅支持分析 1 GiB 数据。

检索分析语句长度

单条检索分析语句最大长度为 50,000 字符,其中检索语句部分最大长度为 4,096 字符。

操作并发数

  • 标准存储:
    • 单个 Project 下,最大操作并发数为 100。
    • 单个 Topic 下,最大操作并发数为 15。
  • 低频存储:单个 Project 下,最大操作并发数为 2。

说明

  • 低频存储为邀测功能,若有业务需求可联系客户经理申请白名单。
  • 当检索分析的日志范围包括标准存储和低频存储时,以低频存储的操作并发数为准。

数据生效机制

分析功能只对开启统计功能后写入的数据生效。对于未打开统计功能的字段,SQL 分析结果展示为空。

SQL 分析仅对最新版本索引对应的数据生效。修改索引之前的数据可检索,不参与 SQL 分析。

超时时间

查询操作的超时时间为 55s。

结果条数

每次分析时,默认返回结果 100 条。
如果您需要返回更多数据,请使用 LIMIT 语法,此时最多返回结果 100,000 条。

数据加工限制

限制项

说明

备注

任务数量

每个日志项目中最多可以创建 100 个数据加工任务,每个日志主题最多可以创建 30 个数据加工任务。包括页面展示的所有状态的任务。

说明

已暂停和已完成状态任务占用配额。如果确认不再使用此状态的任务,建议及时清理任务列表,以减少配额占用。详细信息,请参考管理数据加工任务

如需调整配额,请参考申请资源配额

目标日志主题数量

在 1 个数据加工任务中,最多可以配置 20 个不同的日志主题,用于存储加工后的数据。

如需调整配额,请参考申请资源配额

执行预览

数据加工的执行预览功能用于在线调试数据加工的代码,请注意以下限制:

  • 单次请求中,测试数据或原始日志不超过 20 条,否则该预览请求会返回错误。
  • 单次请求中,最多返回前 100 条加工结果。

/

加工性能

加工任务的总体速率计算公式为源日志主题读写 Shard 数量 * 1MiB/s(压缩前的流量),同时加工任务的总体速率受限于加工规则的复杂度、源日志主题的加工并发度、源日志主题消费速率、目标日志主题的写入速率等因素。详细说明请参考性能影响因素

/

定时 SQL 分析限制

分类

限制项

说明

资源管理

定时 SQL 分析任务数量

  • 每个日志项目中最多创建 100 个定时 SQL 分析任务。
  • 每个源日志主题最多创建 15 个定时 SQL 分析任务。

删除定时 SQL 分析任务

日志服务的 Trace 功能依赖定时 SQL 分析任务的正常运行。为了保障 Trace 服务的可用性,请勿手动对 Trace 服务对应的定时 SQL 分析任务进行任何变更性操作,例如修改配置、删除等操作。如果需要修改 Trace 服务配置或关闭 Trace 服务,请在 Trace 服务的相关页面进行操作。

历史执行记录

任务的历史执行记录最多保存 7 天。 建议添加定时 SQL 分析任务服务日志的告警监控任务,便于及时发现问题重试错误实例。

数据写入

数据延迟

当数据存在延迟时,可能存在数据漏查的风险。即如果某时间点的数据在对应的调度实例执行完成之后才到达,则在下一个调度实例中也不会被查询。

实例并发

一个任务中最多只有 1 个调度实例为调度中状态。

写入失败重试

数据在写入失败后会重试 3 次,每次间隔 60 秒。 连续 3 次写入失败后,该实例状态会变更为执行失败。 建议添加定时 SQL 分析任务服务日志的告警监控任务,便于及时发现问题重试错误实例。

数据投递限制

TOS 投递限制

限制项

说明

账号

不支持跨火山引擎账号投递日志,即日志项目和 TOS 存储桶应属于同一个火山引擎账号。

地域

不支持跨地域投递日志,即日志主题和 TOS 存储桶应位于同一个地域。

字段

投递日志时,JSON 格式默认投递包括 __source__ 等元数据字段在内的所有字段,CSV 格式可设置投递的字段列表。

资源配额

投递配置个数

每个日志主题可创建 10 个 TOS 投递配置。

投递任务查询

最多能查询 3 天内触发的投递任务。

投递时间间隔

投递时间间隔可设置为 60~900 秒。

投递数据大小

投递数据包上限为 5~256 MiB。

Kafka 投递限制

限制项

说明

账号

不支持跨火山引擎账号投递日志,即日志项目和 Kafka 实例应属于同一个火山引擎账号。

地域

不支持跨地域投递日志,即日志主题和 Kafka 实例应位于同一个地域。

资源配额

每个日志主题可创建 10 个 Kafka 投递配置。

告警限制

类别

限制项

说明

告警监控

告警策略数量

每个日志项目中,最多创建 100 个告警策略。每个日志主题中,最多创建 10 个告警策略。

字段值的长度

如果字段的值超过 1024 个字符,只截取前 1024 个字符用于分析。

检索分析的时间范围

每条查询和分析语句的时间跨度不能超过 24 小时。

检索分析结果

  • 无集合操作时,监控任务最多选择检索分析结果中的前 1000 行数据用于告警触发;存在集合操作时,监控任务最多选取集合操作结果中的前 1000 行数据用于告警触发。
  • 关联监控三个集合时,监控任务最多选取各个检索分析结果中的前 100 行数据用于集合操作。

告警表达式长度

告警表达式的长度范围为 4~1024 个字符。

通知管理

通知组数量

每个地域最多创建 100 个通知组。

通知渠道数量

每个通知组中,最多添加 10 个通知渠道。

通知内容

通知内容的最大长度为 4096 个中文字符。

渠道通知频率

日志服务各个告警渠道的通知频率限制如下。

  • 邮件:无限制。
  • 短信:同一手机号码的短信告警通知最大频率为 10条/分钟、100 条/小时、300 条/天。
  • 电话:同一手机号码的语音告警通知最大频率为 10条/分钟、100 条/小时、300 条/天。

说明

仅支持国内(+86)电话号码。

资源命名限制

日志服务包括 Project、Topic、外部数据源、仪表盘、采集配置、定时 SQL 任务、加工任务、Trace 实例、投递任务等资源,其命名规则如下:

资源

说明

Project、Topic、外部数据源

  • 长度为 3~64 个字符。
  • 只支持包含中文、小写字母、数字、下划线(_)和连字符(-)。
  • 不支持以下划线(_)和连字符(-)开头或结尾。
  • 不支持以tls_tos_tls-volc_等预留字段开头。

除 Project、Topic、外部数据源之外的其他资源

  • 长度为 3~64 个字符。
  • 只支持包含中文、字母、数字、下划线(_)和连字符(-)。
  • 不支持以连字符(-)开头或结尾。
  • 不支持以tls_tos_tls-volc_等预留字段开头。