RocketMq部署(三)

环境准备

一台win7

一台centos7

基础环境备注可以参看前面的文章

部署2m-noslave

修改配置文件

win7 上

C:\Windows\System32\drivers\etc 修改host文件,添加

10.10.10.190 rocketmq-master-2

10.10.10.190 rocketmq-nameserver-2

10.10.10.108 rocketmq-master-1

10.10.10.108 rocketmq-nameserver-1

centos7

扫描二维码关注公众号,回复: 83144 查看本文章

vi /etc/hosts

添加如win7上一样的内容

启动环境

win7上

cmd启动nameserver

F:\rocketmq\bin>mqnamesrv

启动成功提示

Java HotSpot(TM) 64-Bit Server VM warning: Using the DefNew young collector with the CMS collector is deprecated and will likely be removed in a future release Java HotSpot(TM) 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release. The Name Server boot success. serializeType=JSON

启动broker-b

F:\rocketmq\bin>mqbroker -c F:\rocketmq\conf\2m-noslave\broker-b.properties

启动成功

2018-03-07 11:33:33 INFO BrokerControllerScheduledThread1 - dispatch behind commit log 0 bytes

2018-03-07 11:33:33 INFO BrokerControllerScheduledThread1 - Slave fall behind master: 1255662 bytes

2018-03-07 11:33:37 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver-1:9876 OK

2018-03-07 11:33:37 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver-2:9876 OK

2018-03-07 11:34:07 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver-1:9876 OK

2018-03-07 11:34:07 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver-2:9876 OK

centos7

启动nameserver

[root@Dralen apache-rocketmq]# nohup sh bin/mqnamesrv &

启动broker-a

[root@Dralen apache-rocketmq]# sh bin/mqbroker -c /soft/rocketmq-all-4.2.0/distribution/target/apache-rocketmq/conf/2m-noslave/broker-a.properties

启动日志

[root@Dralen 2m-noslave]# tail -f ~/logs/rocketmqlogs/broker.log

2018-03-07 11:34:52 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver-1:9876 OK

2018-03-07 11:34:52 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver-2:9876 OK

2018-03-07 11:35:22 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver-1:9876 OK

2018-03-07 11:35:22 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver-2:9876 OK

2018-03-07 11:35:49 INFO BrokerControllerScheduledThread1 - dispatch behind commit log 0 bytes

2018-03-07 11:35:49 INFO BrokerControllerScheduledThread1 - Slave fall behind master: 521133 bytes

2018-03-07 11:35:52 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver-1:9876 OK

2018-03-07 11:35:52 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver-2:9876 OK

2018-03-07 11:36:22 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver-1:9876 OK

2018-03-07 11:36:22 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver-2:9876 OK

在多Master模式中,如果某个Master进程挂了,显然这台broker将不可用,上面的消息也将无法消费,要知道开源版本的RocketMQ是没有提供切换程序,来自动恢复故障的,因此在实际开发中,我们一般提供一个监听程序,用于监控Master的状态。

** 上面的消费者采用的是Push Consumer的方式,那么监听的Listener中的消息List到底是多少条呢?虽然提供了API,如consumer.setConsumeMessageBatchMaxSize(10),实际上即使设置了批量的条数,但是注意了,是最大是10,并不意味着每次batch的都是10,只有在消息有挤压的情况下才有可能。而且Push Consumer的最佳实践方式就是一条条的消费,如果需要batch,可以使用Pull Consumer。 **

pull Consumer模式消费

输入图片说明

务必保证先启动消费者进行Topic订阅,然后在启动生产者进行生产(否则极有可能导致消息的重复消费,重复消费,重复消费!重要的事情说三遍!关于消息的重复问题后续给大家介绍~)。而且在实际开发中,有时候不会批量的处理消息,而是原子性的,单线程的去一条一条的处理消息,这样就是实时的在处理消息。(批量的处理海量的消息,可以考虑Kafka)

初步了解消息失败重试机制

消息失败,无非涉及到2端:从生产者端发往MQ的失败;消费者端从MQ消费消息的失败;

生产消息 发送失败重试

输入图片说明

消费者消费消息重试

输入图片说明

输入图片说明

在启动broker的过程中,可以观察下日志,你会发现RECONSUME_LATER的策略。

如果消费失败,那么1S后再次消费,如果失败,那么5S后,再次消费,......直至2H后如果消费还失败,那么该条消息就会终止发送给消费者了!

RocketMQ为我们提供了这么多次数的失败重试,但是在实际中也许我们并不需要这么多重试,比如重试3次,还没有成功,我们希望把这条消息存储起来并采用另一种方式处理,而且希望RocketMQ不要在重试呢,因为重试解决不了问题了!

注意到reconsumeTimes属性,这个属性就代表消息重试的次数!

输入图片说明

注意了,对于消费消息而言,存在2种指定的状态(成功 OR 失败重试),如果一条消息在消费端处理没有返回这2个状态,那么相当于这条消息没有达到消费者,势必会再次发送给消费者!也即是消息的处理必须有返回值,否则就进行重发。

web管理控制台

输入图片说明

集群消费 AND 广播消费

RocketMQ的消费方式有2种,在默认情况下,就是集群消费。另一种消费模式,是广播消费。广播消费,类似于ActiveMQ中的发布订阅模式,消息会发给Consume Group中的每一个消费者进行消费。

//消息消费方式 默认集群消费 还有一种是广播消费
    consumer.setMessageModel(MessageModel.BROADCASTING);//广播消费

这种模式就是会重复,消费消息

同一台机器,一个消费者群组,2个消费者 输入图片说明

输入图片说明

一个生产者

输入图片说明

猜你喜欢

转载自my.oschina.net/u/3277181/blog/1630946