本文档介绍通过消息队列(如BMQ)对接内容洞察数据后,消费消息队列的最佳实践。
客户侧完成了消息队列(BMQ)配置,并通过订阅任务设置订阅规则后,内容洞察侧会将符合订阅规则的内容数据,推送到对应的BMQ Topic中,客户侧可消费BMQ消息队列获取内容数据。
说明
本文档适用于自行对接BMQ消费数据,搭建后链路数据处理及存储流程的客户。
前往云原生消息引擎-实例详情页-访问信息,获取BMQ接入点;
创建BMQ Consumer Group(详细步骤可参考:体验 BMQ 收发消息),若已创建过ConsumerGroup可以跳过此步骤。
import csv import json from kafka import KafkaConsumer import time consumer = KafkaConsumer( '<topic name>', # topic名称 group_id='<consumer group name>', # consumer group名称 bootstrap_servers='<resource access point>' # 资源池接入点,用逗号分隔 ) for msg in consumer: post = json.loads(msg.value) post_id = post.get('post_id', "") status = post.get('status', -1) print("==========================") print("post_id: " + post_id) print("post: " + msg.value.decode('utf-8')) print("==========================")