You need to enable JavaScript to run this app.
导航
BMQ配置
最近更新时间:2024.08.19 14:48:54首次发布时间:2024.04.09 12:25:52

本文档介绍如何在洞察控制台配置数据写入topic。

概述

内容洞察数据区分为实时数据(实时发布的内容数据)和回溯数据(历史已发布的内容数据)。客户可通过创建数据订阅任务,获取相关内容数据。
洞察PaaS将订阅到的数据写入指定消息队列的topic中,客户可通过消费topic直接获取对应内容。

前置准备:

  • 需完成开通服务与基础配置,详见:基础配置

BMQ配置

控制台示意图说明

登录火山引擎控制台

内容洞察控制台-页面链接: 控制台地址

数据流管理-数据源管理-查看详情

在已创建的数据流中点击【查看详情】
进入详情页后,点击【Topic配置】

温馨提示:洞察服务仅在指定可用区生效,请在页面左上角选择服务对应的可用区,以进行后续操作。

数据流详情页-Topic配置

  • 实时数据配置写入Topic

  • 回溯数据配置写入Topic

选择实时或回溯数据配置框,点击右上角【更新配置】,进入MQ资源及topic配置页。

完成MQ资源授权及Topic选择

  1. 选择MQ资源,请按照提示完成授权


  1. 选择数据要写入的Topic,确认提交

进入资源配置页,选择任一资源池,展示其下所有Topic明细。选择要写入的topic,点击确认提交。

若当前资源池/Topic暂不满足需求,可点击【创建资源池/Topic】跳转至对应页面,进行创建。创建后回到当前页,点击刷新按钮,即可展示最新创建的资源。

注意:选择资源池后,请按照文字提示完成授权或开启私网访问,以免影响资源配置。

数据写入Topic配置完成

  • Topic配置中

  • Topic配置完成

  • Topic配置失败

Topic提交后,系统会进行数据通路配置,请耐心等待。最终配置结果可在页面查询。

注意:请确保topic配置完成后再调用接口创建数据订阅任务。若Topic配置失败,请参考前端提示进行调整/重新提交。

常见配置失败原因可参考:

  • 资源异常情况,请前往++BMQ资源管理页面++查看

    • 实例不存在

    • 实例未授权

      • Overlay未开启

      • Plaintext协议未开启

    • Topic不存在/Topic状态异常

  • 资源异常情况,请在洞察topic配置页完善操作

    • 实例未授权洞察VPC访问,请在topic配置页完善授权

    • Partition数不一致,请在topic配置页进行刷新配置

  • 其他失败情况,请联系洞察侧产研

    • 接口报错

    • 通路负载配置异常

    • unknown未知错误


Topic扩容操作指引
若数据写入Topic需进行扩容操作,请参考如下指引更新配置。

控制台示意图说明

BMQ控制台-Topic扩容


登录云原生消息引擎控制台,找到对应topic,点击扩容。
修改分区数,确认后提交。

洞察控制台-Topic配置刷新

进入洞察控制台-数据源管理,topic配置页面,点击同步分区数,进行配置更新。
完成更新后,数据将按照最新分区进行写入。


备注:
实时数据现有两种写入方式:

  • 「异步队列」:默认队列,推送内容全量信息(基础信息+算法特征信息)的数据队列,因需要算法识别,有一定时延

  • 「同步队列」:即时推送内容基础信息的高时效性队列,保障内容即时同步;(需联系管理员单独开通权限)


说明

下一步:请调用API接口创建实时订阅任务或回溯订阅任务,可参见:订阅任务配置