You need to enable JavaScript to run this app.
导航
最佳实践:BMQ消息队列消费内容数据
最近更新时间:2024.09.14 15:41:20首次发布时间:2024.03.27 13:55:16

本文档介绍通过消息队列(如BMQ)对接内容洞察数据后,消费消息队列的最佳实践。

概述

客户侧完成了消息队列(BMQ)配置,并通过订阅任务设置订阅规则后,内容洞察侧会将符合订阅规则的内容数据,推送到对应的BMQ Topic中,客户侧可消费BMQ消息队列获取内容数据。

说明

本文档适用于自行对接BMQ消费数据,搭建后链路数据处理及存储流程的客户。

资源准备

  • 前往云原生消息引擎-实例详情页-访问信息,获取BMQ接入点;

  • 创建BMQ Consumer Group(详细步骤可参考:体验 BMQ 收发消息),若已创建过ConsumerGroup可以跳过此步骤。


客户端Python脚本

import csv
import json
from kafka import KafkaConsumer
import time

consumer = KafkaConsumer(
    '<topic name>', # topic名称
    group_id='<consumer group name>', # consumer group名称
    bootstrap_servers='<resource access point>' # 资源池接入点,用逗号分隔
)
for msg in consumer:
    post = json.loads(msg.value)
    post_id = post.get('post_id', "")
    status = post.get('status', -1)
    print("==========================")
    print("post_id: " + post_id)
    print("post: " + msg.value.decode('utf-8'))
    print("==========================")