Topic用于DataSail的采集任务和数据订阅功能之间的数据传输和存储。本文介绍如何在Datasail控制台上创建、删除、更新和查询Topic。
需进行采集任务配置,才能上报数据至对应的Topic,Topic数据支持SDK订阅,详情可参数据订阅。
登录 DataSail 控制台,进入数据采集-Topic管理页面
点击新建Topic打开新建抽屉,填写Topic名称、Topic描述、分区个数、生命周期、关联Schema,点击确定新建成功。
参数名 | 含义 | 默认值 |
---|---|---|
Topic名称 | 待创建的 Topic 名称。须符合以下命名规范:
| 无默认,必填 |
Topic描述 | Topic 的描述信息。长度不超过 128 个字符 | 无默认,非必填 |
采集类型 |
| 默认日志采集,必填 |
分区个数 | Topic 分区数。取值范围为 1~100。
| 默认为1,必填 |
生命周期 | 消息被保留的时间,取值范围为 1~7,参数单位为天。默认为 1天。 | 默认为1,必填 |
关联Schema | 定义该Topic的格式要求。
| 无默认,非必填 |
登录 DataSail 控制台
进入数据采集-Topic管理页面
输入Topic名称/描述检索Topic
进入数据采集-Topic管理列表页
选择要修改的Topic行,点击编辑,仅运行中的Topic支持编辑
打开修改弹窗
Topic描述、分区个数和生命周期支持修改,但Topic创建后分区个数只能增加不能减少,且分区个数为资源组中的计费项,请适量创建
仅支持无关联采集任务的Topic删除。
如待删除的Topic已关联了采集任务,可先前往采集管理,编辑采集任务并切换关联成其他Topic,再进行Topic删除。
已删除的Topic支持恢复,恢复后将会申请新Topic,原Topic中数据不会保留,请谨慎删除Topic。
数据上报中,可以查看数据上报情况。
通用采集_写消息数量:写消息数量(百万条)
通用采集_写消息流量:写消息流量(GB)
通用采集_存储量:存储量(GB)
通用采集_分区数:分区数(个)
数据预览中,可以获取最近10秒、30秒、1分钟、2分钟、3分钟、5分钟的上报数据详情。
关联采集任务中,可以查看该Topic关联的所有采集任务。
云监控中,可以查看采集与消费的数据监控。
消息生产速率:Topic每秒钟生产的数据流量
消息消费速率:Topic每秒钟消费的数据流量
消息生产条数:统计 Topic 生产消息的总条数
消息消费次数(Count/s):统计 Topic 消费请求次数,包含副本同步的请求
Topic数据大小(B):统计 Topic 的数据大小,包含所有副本数据
Topic消息堆积量:指定消费组订阅的每个Topic中未消费的消息数
点击创建告警策略,可支持用户自定义配置监控告警,详见云监控创建告警