RocketMQ入门(一)

MQ介绍

为什么要用MQ？
消息队列是一种“先进先出”的数据结构。

大多数应用中，可通过消息服务中间件来提升系统异步通信，扩展解耦能力
消息服务中两个重要概念：消息代理(message broker)和目的地(destination)
当消息发送者发送消息以后，将由消息代理接管，消息代理保证消息传递到指定目的地
消息队列主要有两种形式的目的地
- 队列(queue)：点对点消息通信
- 主题(topic)：发布(publish)/订阅(subscribe)消息通信
点对点式：
- 消息发送者发送消息，消息代理将其放入一个队列中，消息接受者从队列中获取消息内容，消息读取后别移出队列
- 消息只有唯一的发送者和接受者，但并不是说只能有一个接受者
发布订阅式：
- 发送者发布消息到主题，多个接受者(订阅者)监听(订阅)这个主题，那么就会在消息到达同时接受到消息
JMS JAVA消息服务：基于JVM消息代理的规范。ActiveMQ、HornetMQ以及RocketMQ是JMS实现。JMS是一个API。
AMQP
- 高级消息队列协议，也是一个消息代理的规范，兼容JMS
Spring支持

扫描二维码关注公众号，回复： 11919522 查看本文章
市面上的MQ产品
- ActiveMQ、RabbitMQ、RocketMQ、Kafka

其应用场景主要包含以下几个方面：

应用解耦

系统的耦合性越高，容错性就越低。以电商应用为例，用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验。
在这里插入图片描述
使用消息队列解耦合，系统的耦合性就会提高了。比如物流系统发生故障，需要几分钟才能来修复，在这段时间内，物流系统要处理的数据被缓存到消息队列中，用户的下单操作正常完成。当物流系统恢复后，补充处理存在消息队列中的订单消息即可，终端系统感知不到物流系统发生过几分钟故障。
在这里插入图片描述

流量削峰

在这里插入图片描述
应用系统如果遇到系统请求流量的瞬间猛增，有可能会将系统压垮。有了消息队列可以将大量请求缓存起来，分散到很长一段时间处理，这样可以大大提到系统的稳定性和用户体验。

一般情况，为了保证系统的稳定性，如果系统负载超过阈值，就会阻止用户请求，这会影响用户体验，而如果使用消息队列将请求缓存起来，等待系统处理完毕后通知用户下单完毕，这样总不能下单体验要好。

处于经济考量目的：业务系统正常时段的QPS如果是1000，流量最高峰是10000，为了应对流量高峰配置高性能的服务器显然不划算，这时可以使用消息队列对峰值流量削峰。

数据分发

通过消息队列可以让数据在多个系统之间进行流通。数据的产生方不需要关心谁来使用数据，只需要将数据发送到消息队列，数据使用方直接在消息队列中直接获取数据即可。
在这里插入图片描述

异步处理

比如：用户注册的业务。
用户通过浏览器提交了账号密码
第一步：注册信息写入到数据库耗时50ms
第二步：发送邮件耗时50ms
第三步：发送短信耗时50ms

同步模式下的话，该注册服务，需要至少150ms；
异步模式下的话，将发邮件和短信异步编排，则注册服务，只需要100ms；

但是，实际上，连异步都不需要，因为发邮件和短信，让后台慢慢发就行，我们无需知道，只要做了这件事就行，因此，对于这种业务场景。

只要将注册信息写入数据库后，将成功写入数据库的消息，发给消息队列，然后注册服务直接给用户返回，这样注册服务50ms搞定，至于发邮件和发短信，因为消息已经在队列里了，让发短信和发邮件的服务，到队列里去获取消息，发送即可。

在这里插入图片描述

MQ的优点和缺点

优点：解耦、削峰、数据分发

缺点包含以下几点：

系统可用性降低

系统引入的外部依赖越多，系统稳定性越差。一旦MQ宕机，就会对业务造成影响。

如何保证MQ的高可用？
系统复杂度提高

MQ的加入大大增加了系统的复杂度，以前系统间是同步的远程调用，现在是通过MQ进行异步调用。

如何保证消息没有被重复消费？怎么处理消息丢失情况？那么保证消息传递的顺序性？
一致性问题

A系统处理完业务，通过MQ给B、C、D三个系统发消息数据，如果B系统、C系统处理成功，D系统处理失败。

如何保证消息数据处理的一致性？

各种MQ产品的比较

常见的MQ产品包括Kafka、ActiveMQ、RabbitMQ、RocketMQ。
在这里插入图片描述

RocketMQ架构图

在这里插入图片描述

Producer：消息的发送者；举例：发信者
Consumer：消息接收者；举例：收信者
Broker：暂存和传输消息；举例：邮局
NameServer：管理Broker；举例：各个邮局的管理机构
Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息
Message Queue：相当于是Topic的分区；用于并行发送和接收消息

消息发送者要发送消息时，得先询问NameServer，让NameServer分配一个Broker组,然后在把消息发送给指定的Broker组的master；
NameServer是Broker的管理者，Broker会主动上报自己的信息给NameServer；
消费者要消费消息时，也是得先询问NameServer，要找哪一个Broker组，来消费消息；

RocketMQ快速入门

RocketMQ是阿里巴巴2016年MQ中间件，使用Java语言开发，在阿里内部，RocketMQ承接了例如“双11”等高并发场景的消息流转，能够处理万亿级别的消息。

文档：https://github.com/apache/rocketmq/tree/master/docs/cn

下载地址

https://github.com/apache/rocketmq/releases

安装RocketMQ

默认配置：https://www.cnblogs.com/jice/p/11981107.html

1.解压安装包
2.进入安装目录
3.RocketMQ默认的虚拟机内存较大，启动Broker如果因为内存不足失败，需要编辑如下两个配置文件，修改JVM内存大小

# 编辑runbroker.sh和runserver.sh修改默认JVM大小
vi runbroker.sh
vi runserver.sh
参考设置：
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m  -XX:MaxMetaspaceSize=320m"

4.启动NameServer

# 1.启动NameServer
nohup sh bin/mqnamesrv &
# 2.查看启动日志
tail -f ~/logs/rocketmqlogs/namesrv.log
出现：表示成功
The Name Server boot success. serializeType=JSON

5.启动Broker

# 1.启动Broker
nohup sh bin/mqbroker -n localhost:9876 &
# 2.查看启动日志
tail -f ~/logs/rocketmqlogs/broker.log 
出现：表示成功
The broker[localhost.localdomain, 192.168.59.131:10911] boot success. serializeType=JSON and name server is localhost:9876

6.关闭RocketMQ

# 1.关闭NameServer
sh bin/mqshutdown namesrv
# 2.关闭Broker
sh bin/mqshutdown broker

测试RocketMQ

发送消息

# 1.设置环境变量
export NAMESRV_ADDR=localhost:9876
# 2.使用安装包的Demo发送消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

消费消息

# 1.设置环境变量
export NAMESRV_ADDR=localhost:9876
# 2.接收消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

监控平台搭建

克隆项目：git clone https://github.com/apache/rocketmq-externals
打开子模块：rocketmq-console
在这里插入图片描述
打包编译：clean install
启动：-Drocketmq.config.namesrvAddr=192.168.59.131:9876 -Dserver.port=9000 nameServer地址监控平台端口

访问：http://localhost:9000/

部署到linux ：
在这里插入图片描述

java  -Drocketmq.config.namesrvAddr=192.168.59.131:9876 -Dserver.port=9000 -jar rocketmq-console-ng-1.0.1.jar

目录