本文档介绍如何在洞察控制台配置数据写入topic。
内容洞察数据区分为实时数据(实时发布的内容数据)和回溯数据(历史已发布的内容数据)。客户可通过创建数据订阅任务,获取相关内容数据。
洞察PaaS将订阅到的数据写入指定消息队列的topic中,客户可通过消费topic直接获取对应内容。
前置准备:
- 需完成开通服务与基础配置,详见:基础配置
控制台示意图 | 说明 |
---|---|
登录火山引擎控制台 | 内容洞察控制台-页面链接: 控制台地址。 |
数据流管理-数据源管理-查看详情 | 在已创建的数据流中点击【查看详情】 温馨提示:洞察服务仅在指定可用区生效,请在页面左上角选择服务对应的可用区,以进行后续操作。 |
数据流详情页-Topic配置
| 选择实时或回溯数据配置框,点击右上角【更新配置】,进入MQ资源及topic配置页。 |
完成MQ资源授权及Topic选择
| 进入资源配置页,选择任一资源池,展示其下所有Topic明细。选择要写入的topic,点击确认提交。 若当前资源池/Topic暂不满足需求,可点击【创建资源池/Topic】跳转至对应页面,进行创建。创建后回到当前页,点击刷新按钮,即可展示最新创建的资源。 注意:选择资源池后,请按照文字提示完成授权或开启私网访问,以免影响资源配置。 |
数据写入Topic配置完成
| Topic提交后,系统会进行数据通路配置,请耐心等待。最终配置结果可在页面查询。 注意:请确保topic配置完成后再调用接口创建数据订阅任务。若Topic配置失败,请参考前端提示进行调整/重新提交。 常见配置失败原因可参考:
|
Topic扩容操作指引
若数据写入Topic需进行扩容操作,请参考如下指引更新配置。
控制台示意图 | 说明 |
---|---|
BMQ控制台-Topic扩容 | 登录云原生消息引擎控制台,找到对应topic,点击扩容。 |
洞察控制台-Topic配置刷新 | 进入洞察控制台-数据源管理,topic配置页面,点击同步分区数,进行配置更新。 |
备注:
实时数据现有两种写入方式:
「异步队列」:默认队列,推送内容全量信息(基础信息+算法特征信息)的数据队列,因需要算法识别,有一定时延
「同步队列」:即时推送内容基础信息的高时效性队列,保障内容即时同步;(需联系管理员单独开通权限)
说明
下一步:请调用API接口创建实时订阅任务或回溯订阅任务,可参见:订阅任务配置