Topic 限流

增加 Topic 限流功能，用于控制生产、消费消息的上限速率。

全部地域

添加限流
修改限流
删除限流

集群迁移

新增集群迁移功能，用于将自建 Kafka 实例元数据，或者兼容开源 Kafka 协议的各类 Kafka 实例元数据迁移至火山引擎消息队列 Kafka版实例。

全部地域

集群迁移概述
创建迁移任务
导入元数据
修改迁移数据配置
查看迁移命令
删除迁移任务
在线迁移元数据
离线迁移元数据

批量删除 Topic

提供批量删除 Topic 的功能。

全部地域

删除 Topic

增加监控指标

增加消费组维度的监控指标（消费组重均衡次数），用于记录消费组在每分钟内发生的重均衡次数。

全部地域

查看监控数据

Kafka 压力测试

使用开源 Kafka 工具，对 Kafka 进行生产和消费压力测试。

全部地域

压力测试概述

批量删除 Group

提供批量删除 Group 的功能。

全部

删除 Group

提供消息查询 API

提供 QueryMessageByTimestamp 接口，可以查询分区中指定时间范围内的消息元数据。

全部地域

QueryMessageByTimestamp

消息查询

优化消息查询功能，根据存储时间查询消息更加方便。

全部地域

消息查询

用户管理

优化用户管理功能，支持根据用户名称模糊搜索。

全部地域

无

新增实例规格

• 增加高写版 kafka.2000xrate.hw、kafka.4000xrate.hw 两种实例规格。
• 新增高读版的实例，目前包含 kafka.800xrate.hr~kafka.3000xrate.hr 五种规格。

全部地域

产品规格

ACL 支持 Topic 管理权限

在 ACL 中增加 Topic 的增删改查权限，有利于资源和用户的权限隔离、细粒度的权限控制。

全部地域

创建 ACL

ACL 用户自动授权

开启自动创建 Topic 时，支持配置是否允许所有 ACL 用户自动创建 Topic。

• 默认允许所有 ACL 用户自动创建 Topic。此时将在 ACL管理页签下创建所有用户的创建和删除 Topic 的权限。
• 关闭开关，不允许 ACL 用户自动创建 Topic。此时可以通过 ACL 权限策略管理为目标用户配置 Topic 管理权限。

全部地域

1 开启自动创建 Topic 功能

新增监控指标

增加消费组消费速率、Topic 消费速率两个监控指标。

全部地域

查看监控数据

新增监控 TopN 数据

• 以 Topic 为维度，展示流量和存储的 TopN 信息。
• 以 Group 为维度，展示消费组消息堆积的 TopN 信息。

全部地域

查看监控数据

Topic 支持标签

支持为 Topic 添加标签，您可以将 Topic 通过标签进行归类，有利于识别和管理 Topic。

全部地域

• 创建 Topic
• 管理 Topic 标签

Topic 消息清理策略

支持为 Topic 配置消息清理策略。

• DELETE：默认的消息清理策略。在磁盘容量不足时，将提前删除旧消息，以保证服务可用性。
• COMPACT：针对每个消息的 Key 进行整合，对于有相同 Key 的消息，只保留最新的 value 值，旧的记录则会被清除。
• DELETE,COMPACT：同时配置两种消息清理策略。只要消息满足任一条清理策略时，都将被清除。

全部地域

创建 Topic

Topic 存储用量

支持展示 Topic 已使用的实例总存储空间大小，以及百分数占比。

全部地域

查看 Topic 详情

Group 支持标签

支持为 Group 添加标签，您可以将 Group 通过标签进行归类，有利于识别和管理 Group。

全部地域

• 创建 Group
• 管理 Group 标签

接入 Filebeat

提供最佳实践文档，介绍在 Filebeat 中接入消息队列 Kafka版的详细配置步骤。

全部地域

接入 Filebeat

新增实例规格

新增 kafka.800xrate.hw、kafka.1200xrate.hw 和 kafka.1500xrate.hw 共计 3 款实例规格。

2024-1-5

全部地域

产品规格

优化实例详情

在实例详情页，增加磁盘水位的百分比展示。

2024-1-5

全部地域

查看实例详情

批量导入 SASL 用户

支持通过上传配置文件的方式批量创建多个 SASL 用户。

2023-12-08

全部地域

批量导入 SASL 用户

云监控指标

增加节点维度监控指标，推荐设置对应的告警策略。

2023-11-19

全部地域

• 监控指标说明
• 推荐配置的告警规则

磁盘清理水位

支持自定义设置磁盘清理水位，磁盘使用率超过预设的磁盘清理水位时，后端服务会自动删除旧消息。

2023-11-08

全部地域

设置磁盘清理水位

多可用区部署

多可用区部署方式正式发布。多可用区部署的实例具备更强的容灾能力，全方位保障集群数据的可靠性和服务的可用性。

2023-11-08

全部地域

创建实例

API 幂等性

为保证请求的幂等性，您可以在调用 OpenAPI 时设置 ClientToken 参数，避免多次重试导致重复创建资源。

2023-11-08

全部地域

CreateInstance

Broker 列表

控制台展示当前规格的 Broker 列表，可查看对应的 Topic 数量等信息。

2023-11-08

全部地域

查看节点信息

自动创建 Topic

自动创建的 Topic 默认分区和副本数可自定义配置。

2023-10-26

全部地域

自动创建 Topic

白名单管理等 API

正式发布白名单管理、ACL 管理的相关 API 接口。

2023-10-26

全部地域

API 概览

批量创建 Group

支持通过上传配置文件的方式批量创建多个 Group，同时支持批量导出 Group 信息列表。

2023-09-26

全部地域

• 批量导入 Group
• 导出 Group 列表

自动删除 Group

支持通过实例参数配置 Group 的自动删除策略。

2023-09-26

全部地域

修改参数配置

查看 Topic 详情

Topic 详情页分页签展示 Topic 配置、分区信息、消费连接信息。

2023-09-26

全部地域

查看 Topic 详情

Group 描述

支持为 Group 添加描述信息，用于标注 Group 用途等等场景。

2023-09-26

全部地域

创建 Group

新增实例规格

新增 kafka.30xrate.hw、kafka.150xrate.hw、kafka.200xrate.hw 和 kafka.250xrate.hw 共计 4 款实例规格。

2023-09-20

全部地域

产品规格

数据再均衡

开启该功能后，后端服务会在指定时间检查集群 Broker 之间的磁盘倾斜情况，并自动均衡数据。

2023-09-20

全部地域

数据再均衡

SASL 用户管理

2023年8月23日起创建的实例，支持创建或删除 PLAIN 类型的用户、支持查看 SCRAM 类型用户的密码。

2023-08-22

全部地域

创建 SASL 用户

ACL 管理

ACL 管理功能优化，支持创建 ACL 策略，并提供 Group 粒度的权限控制。

2023-08-22

全部地域

创建 ACL

分区数量

kafka.20xrate.hw 规格增加免费分区数量、提高分区数量上限，kafka.60xrate.hw 提高分区数量上限。

2023-08-22

全部地域

产品规格

消息下载

控制台下载消息时支持明文展示消息内容。

2023-08-22

全部地域

下载消息

Broker 磁盘容量阈值策略

支持通过参数自动删除旧消息配置 Broker 磁盘容量阈值策略，在 Broker 磁盘容量不足时，通过阈值策略管理保证服务的可用性。

2023-07-19

全部地域

修改参数配置

实例接入点

提供公网环境下的 SASL_PLAINTEXT 接入点和私有网络 VPC 环境下的 SASL_SSL。

2023-07-19

全部地域

查看接入点

监控项更新

云监控新增磁盘倾斜率、生产带宽百分比等实例监控指标和消息生产次数、消息生产条数等 Topic 监控指标。

2023-07-19

全部地域

查看监控数据

自动创建 Topic

开启自动创建 Topic 功能后，如果客户端 SDK 在生产时指定了一个不存在的 Topic，服务端会自动为其创建此 Topic。

2023-07-04

全部地域

创建 Topic

修改分区副本数

创建 Topic 后，可以通过修改 Topic 配置的方式调整分区副本数。

2023-07-04

全部地域

修改 Topic 配置

重启实例

支持重启一个正常运行中的 Kafka 实例。

2023-07-04

全部地域

重启实例

批量导入或导出 Topic

支持通过上传配置文件的方式批量创建多个 Topic，同时支持批量导出 Topic 信息列表。

2023-06-26

全部地域

• 批量导入 Topic
• 导出 Topic 列表

创建实例支持绑定白名单

创建实例时，支持绑定已有的白名单或创建新的白名单。若未设置，则绑定默认的白名单 default，表示所有地址均可访问。

2023-06-26

全部地域

创建实例

自定义接入点域名前缀

支持自定义修改实例的公网和私网接入点的域名前缀。

2023-06-12

全部地域

修改接入点域名前缀

设置存储类型

创建实例时可设置存储类型，即数据存储的云盘类型，支持设置为 ESSD_FlexPL 或 ESSD_PL0。

2023-05-11

全部地域

创建实例

新增监控项

云监控新增 CPU 使用率、内存使用率等监控项。

2023-04-24

全部地域

查看监控数据

新增实例规格

新增 kafka.800xrate.hw、kafka.1000xrate.hw、kafka.1200xrate.hw 和 kafka.1500xrate.hw 共计 4 款较大的实例规格，业务读/写流量峰值可达 800MB/s ~ 1500MB/s。

2023-04-24

全部地域

计算规格列表

变更实例规格名称

消息队列 Kafka版计算规格名称变更，即日起新实例的计算规格将采用新的命名方式，例如 kafka.800xrate.hw。

2023-04-24

全部地域

计算规格名称调整说明

自由使用 Group

即日起创建的新实例支持控制台创建 Group，同时支持自由使用 Group 功能。该功能关闭时，消息队列 Kafka版不支持自动解析并展示消费 SDK 中指定的 Group。

2023-03-31

全部地域

创建 Group

查看 PLAIN 用户密码

创建实例后如果忘记 PLAIN 用户密码，可在控制台中查看。

2023-03-31

全部地域

查看 PLAIN 用户密码

V2 版本 API 正式发布

消息队列 Kafka版正式发布 V2 版本 OpenAPI，在兼容原有功能的基础上，支持标签管理等新功能。

2023-03-31

全部地域

API 版本说明

消息查询功能优化

消息查询时，查询结果中明文显示消息的 Key 和 Value；按位点查询时，页面提示可选的位点范围。

2023-03-22

全部地域

消息查询

新增实例规格

新增 kafka.n3.x2.tiny 和 kafka.n3.x2.mini 两种规格。

2023-03-06

全部地域

产品规格

支持 Kakfa 2.8.2版本

支持 Kakfa 2.8.2版本，即日起创建新实例时可选择使用Kakfa 2.8.2版本。

2023-03-06

全部地域

创建实例

新增 SDK Demo

提供 Python 和 C++ 客户端 SDK Demo，演示各种网络和认证机制下的消息生产与消费流程。

2023-03-06

全部地域

概述

查看监控数据

支持通过消息队列 Kafka版控制台直接查看云监控的监控数据。

2023-02-14

全部地域

查看监控数据

可维护时间段
（白名单）

实例默认的可维护时间段为周一到周四的20:00~23:59，您也可以根据业务流量规律，自定义设置可维护时间段。
该功能仅面向白名单用户开放，若有需求，请通过工单系统联系技术支持申请白名单。

2023-02-14

全部地域

设置可维护时间段

在线调试

消息队列 Kafka版支持通过控制台方式在线进行普通消息的发送调试。

2023-01-10

全部地域

在线调试

消息查询功能优化

按时间范围查询消息时，支持在指定 Topic 的所有分区中查询。

2023-01-10

全部地域

消息查询

标签管理

标签用于云资源的标识与分类，消息队列 Kafka版支持为实例添加标签，您可以将 Kafka 实例通过标签进行归类，便于实例的搜索和资源聚合。

2023-01-10

全部地域

标签概述

内网域名支持公网解析

私有网络 VPC 域名支持在公网环境下解析为私网 IP 地址。

2023-01-10

全部地域

设置公网解析

多可用区部署

消息队列 Kafka版支持多可用区部署 Kafka 实例，即支持多 AZ。多可用区部署的实例具备更强的容灾能力，全方位保障集群数据的可靠性和服务的可用性。

2022-12-12

全部

创建实例

切换子网

为实例绑定私有网络 VPC 和子网之后，如果需要重新进行业务网络规划或网络切换，您可以在 VPC 网络内为 Kafka 实例切换子网，为实例绑定另外一个子网。

2022-12-12

全部

切换子网

监控告警功能优化

增加 Connector 相关的监控项，同时支持云监控的预置告警策略。

2022-11-15

全部

查看监控数据

自定义分区数量

创建实例或升级实例规格时，支持在指定范围内自定义分区数量，超出免费额度的部分将收取分区费用。

2022-07-04

全部

创建实例

SSL认证

Kafka 实例公网访问方式要求 SSL 认证，目前支持客户端对服务端证书的单向认证，数据加密传输，相较于普通公网访问方式具备更高的安全性。

2022-07-04

全部

使用 SASL_SSL 接入点连接实例

IP白名单

支持 IP 白名单管理，为 Kafka 实例绑定白名单之后，仅白名单中的 IP 地址可以访问实例。

2022-05-31

全部

创建白名单

产品正式发布

消息队列 Kafka版产品正式对外发布。

2022-04-26

全部

相关文档均首次发布。