本文为您介绍如何在火山引擎 E-MapReduce(EMR) 快速开始您的 Pulsar 探索之旅。请参考下面的步骤,在火山引擎 EMR 中创建一个 Pulsar 集群,并开始尝试 Pulsar 的各项功能吧。
您可以方便地在火山引擎 EMR 的管理控制台中创建一个 Pulsar 集群。具体操作步骤如下:
登录 EMR 控制台。
在顶部菜单栏中,根据实际场景,下拉选择地域和项目空间。
在总览界面,单击创建集群,进入集群创建页面。
在创建集群页面,选择分析场景为实时计算,集群类型为 Pulsar。
根据需要配置其它的集群创建选项,确认无误后,点击立即创建,提交创建集群。
详见创建集群。
创建集群的指令提交后,可以在集群管理 > 集群列表中,找到刚刚提交创建的集群。进入集群详情页,可以查看集群创建的进度和操作日志。
Pulsar 集群中包含三个服务:ZooKeeper、BookKeeper、Pulsar。在集群初始化的过程中,上述三个服务会依次启动,等待集群状态变更为运行中,说明集群已经创建成功了。这时您便可以开始尝试火山引擎 EMR Pulsar 集群类型的各项功能了。
Pulsar 集群创建成功且正常运行后,可以使用 Pulsar 的各项功能了。一种快速使用、验证 Pulsar 功能的方式是通过命令行模式生产消息,并消费生产出来的消息,查看 Pulsar 的运行日志。具体操作步骤如下:
单击集群列表 > 服务列表 > Pulsar > 部署拓扑页签,进入 Pulsar 集群服务的部署拓扑。
单击任一组件名称下 (emr-master-1 主机名称)的 ECS ID,跳转进入到云服务器的实例界面,点击右上角的远程连接按钮,并选择一种远程连接方式(推荐选择 ECS Terminal),并输入集群相关认证信息,登录到 Pulsar 集群的一台主机的命令行环境中,以执行命令行操作。
在 Pulsar 集群某台主机的命令行终端中,切换当前工作目录到 Pulsar 程序的主目录:
cd /usr/lib/emr/current/pulsar
通过 Pulsar Client 程序,尝试消费一个主题的数据:
bin/pulsar-client consume \ persistent://public/default/test \ -n 100 \ -s "consumer-test" \ -t "Exclusive"
此命令的含义是:消费持久化消息。各参数解释如下:
参数 | 说明 |
---|---|
pulsar-client consume | 消费主题数据命令 |
public | Pulsar 系统默认的租户:public。 |
default | Pulsar 系统默认的名字空间:default。 |
test | 消费对象的主题名称,若该主题不存在,Pulsar 会自动创建该主题。 |
-n | 消费的数据条数,例如此命令中消费 100 条数据。 |
-s | 消费对应的订阅名称,例如此命令中的订阅名称为 consumer-test |
-t | 订阅类型,有四种可订阅的类型:独占类型(exclusive)、共享类型(shared)、容错类型(failover)、共享 key 类型(key_shared)。此命令中订阅类型为Exclusive (独占的)。 |
命令执行后,命令行终端会显示相应的消费信息,并等待新消息进入主题供消费。若有新消息被生产到主题中,在消费对应的命令行终端会显示出这条刚刚生产出来的新消息。
保持上面的消费数据的命令行终端不动,令其处于等待新消息进入主题的状态,然后参考上述步骤 2 - 3,再启动一个远程连接登录,登录到 Pulsar 集群中某节点的命令行终端,并切换工作目录到 Pulsar 程序的主目录。
在新开启的命令行终端,通过 Pulsar Client 程序,尝试向刚才准备消费数据的主题中生产一条数据:
bin/pulsar-client produce \ persistent://public/default/test \ -n 1 \ -m "Hello Pulsar"
这条命令的含义是:生产 1 条内容为 "Hello Pulsar"
的持久化消息到 public
租户的 default
名字空间的 test
主题。命令执行后,命令行终端会显示相应的生产信息,并提示消息生产成功。
切换回消费数据的命令行终端,可以观察到命令行终端中出现了刚刚生产出来的 "Hello Pulsar"
消息。至此本次生产、消费的尝试成功了,可以停止消费消息的进程。
您可以查看 Pulsar 的运行日志。Pulsar 是分布式系统,在 BookKeeper、Pulsar Broker 等进程所在的节点中都有对应的运行日志。Pulsar 运行日志所在的目录是:/var/log/emr/pulsar
。可以进入集群各个节点的上述目录查看 Pulsar 的运行日志。
完成上述步骤后,您已经成功尝试完成了 Pulsar 的最基本的生产、消费功能的试用以及运行日志的查看。接下来可以更深入地探索并使用 Pulsar 了。
从 EMR-3.1.0 版本开始,Pulsar 集群类型中默认集成 Pulsar Manager 组件,支持用户通过 UI 界面管理 Pulsar 集群。
已创建类型为 Pulsar 的集群,且集群版本为 EMR-3.1.0 及以上。详见创建集群。
集群的访问链接需要 emr-master-1 节点的 ECS ID 实例绑定弹性公网IP。详见绑定公网IP。
需要在集群详情 > 访问链接 > 快速配置服务端口中,给源地址和对应端口添加白名单才可继续访问。
进入 Pulsar Manager 的方法:
进入 Pulsar 集群的集群详情页,点击访问链接选项卡。
通过访问链接中提供的 Pulsar Manager 地址,访问 Pulsar Manager UI。
尝试过 Pulsar 的基本使用后,您可以进一步探索 Pulsar。可以参考 Pulsar 的官方网站学习更多的使用方法:https://pulsar.apache.org/。
火山引擎 EMR 的文档中后续也会加入更多的材料,敬请期待。