消息队列MessageQueue简介及RabbitMQ五大模型总结

消息队列MessageQueue简介及RabbitMQ五大模型总结

WHAT IS MQ

消息队列，即MQ，Message Queue。

消息队列是典型的：生产者、消费者模型。生产者不断向消息队列中生产消息，消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的，而且只关心消息的发送和接收，没有业务逻辑的侵入，这样就实现了生产者和消费者的解耦

AMQP与JMS

MQ是消息通信的模型，并不是具体实现。现在实现MQ的有两种主流方式：AMQP、JMS

两者间的区别和联系：

• JMS是定义了统一的接口，来对消息操作进行统一；AMQP是通过规定协议来统一数据交互的格式，这点有点类似于JSON
• JMS限定了必须使用Java语言；AMQP只是协议，不规定实现方式，因此是跨语言的。
• JMS规定了两种消息模型；而AMQP的消息模型更加丰富

常见的MQ产品有：

• ActiveMQ：基于JMS
• RabbitMQ：基于AMQP协议，erlang语言开发，稳定性好
• RocketMQ：基于JMS，阿里巴巴产品，目前交由Apache基金会
• Kafka：分布式消息系统，高吞吐量

RabbitMQ

RabbitMQ是基于AMQP的一款消息管理系统

官网： http://www.rabbitmq.com/

官方教程：http://www.rabbitmq.com/getstarted.html

下载与安装详见我的RabbitMQ安装指南

RabbitMQ的官方介绍：

RabbitMQ is a message broker: it accepts and forwards messages. You can think about it as a post office: when you put the mail that you want posting in a post box, you can be sure that Mr. or Ms. Mailperson will eventually deliver the mail to your recipient. In this analogy, RabbitMQ is a post box, a post office and a postman

翻译：

RabbitMQ是一个消息代理：它接受和转发消息。 你可以把它想象成一个邮局：当你把邮件放在邮箱里时，你可以确定邮差先生最终会把邮件发送给你的收件人。 在这个比喻中，RabbitMQ是邮政信箱，邮局和邮递员。

RabbitMQ与邮局的主要区别是它不处理纸张，而是接受，存储和转发数据消息的二进制数据块

以下是RabbitMQ的几个核心角色：

P（producer/ publisher）：生产者，一个发送消息的用户应用程序。

C（consumer）：消费者，消费和接收有类似的意思，消费者是一个主要用来等待接收消息的用户应用程序

Queue队列（红色区域）：rabbitmq内部类似于邮箱的一个概念。虽然消息流经rabbitmq和你的应用程序，但是它们只能存储在队列中。队列只受主机的内存和磁盘限制，实质上是一个大的消息缓冲区。许多生产者可以发送消息到一个队列，许多消费者可以尝试从一个队列接收数据。

总之：

生产者将消息发送到队列，消费者从队列中获取消息，队列是存储消息的缓冲区。

以下是官网给出的几大通信模型

但是第6种其实是RPC通信，并不是MQ，因此不予学习。那么也就剩下5种。

但是其实3、4、5这三种都属于订阅模型，只不过进行路由的方式不同（路由是社么？后面说到）。

最简单的生产者消费者模型

这个是大家耳熟能详的生产者消费者模型了，我上一篇说到这个模型的时候还是学JAVA的TCP/UDP客户端的时候呢

这个很简单，我们只需要让生产者发送消息，消费者接收到消息就行了

首先引入RabbitMQ的Java客户端依赖

    <dependencies>
        <dependency>
            <groupId>com.rabbitmq</groupId>
            <artifactId>amqp-client</artifactId>
            <version>5.4.3</version>
        </dependency>
    </dependencies>

生产者代码：

package Simple_PC;


import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

/**
 * 生产者
 */
public class Send {

    private final static String QUEUE_NAME = "simple_queue";

    public static void main(String[] argv) throws Exception {
        //定义连接工厂
        ConnectionFactory factory = new ConnectionFactory();
        //设置服务地址
        factory.setHost("192.168.31.111");
        // 通过工程获取连接
        Connection connection = factory.newConnection();
        // 从连接中创建通道，使用通道才能完成消息相关的操作
        Channel channel = connection.createChannel();

        // 声明（创建）队列
        channel.queueDeclare(QUEUE_NAME, false, false, false, null);
        // 消息内容
        String message = "Hello World!!";
        // 向指定的队列中发送消息
        channel.basicPublish("", QUEUE_NAME, null, message.getBytes());

        System.out.println(" [x] Sent '" + message + "'");

        //关闭通道和连接
        channel.close();
        connection.close();
    }
}

消费者代码：

package Simple_PC;

import com.rabbitmq.client.*;

import java.io.IOException;


public class Recv {

    private final static String QUEUE_NAME = "simple_queue";

    public static void main(String[] argv) throws Exception {
        //定义连接工厂
        ConnectionFactory factory = new ConnectionFactory();
        /*指定ip*/
        factory.setHost("192.168.31.111");
        // 通过工程获取连接
        Connection connection = factory.newConnection();
        // 创建通道
        Channel channel = connection.createChannel();
        // 声明队列
        channel.queueDeclare(QUEUE_NAME, false, false, false, null);
        System.out.println(" [*] Waiting for messages. To exit press CTRL+C");

        //监听消息，监听到消息时自动调用
        DeliverCallback deliverCallback = (consumerTag, delivery) -> {
            String message = new String(delivery.getBody(), "UTF-8");
            System.out.println(" [x] Received '" + message + "'");
        };
        /*第二个参数为ACK设置，代表收到消息自动将将消息从队列中移除*/
        channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> { });

    }
}

启动消费者监听消息，再启动生产者发送消息：

关于消息确认机制ACK

通过刚才的案例可以看出，消息一旦被消费者接收，队列中的消息就会被删除。

那么问题来了：RabbitMQ怎么知道消息被接收了呢？

如果消费者领取消息后，还没执行操作就挂掉了呢？或者抛出了异常？消息消费失败，但是RabbitMQ无从得知，这样消息就丢失了！

因此，RabbitMQ有一个ACK机制。当消费者获取消息后，会向RabbitMQ发送回执ACK，告知消息已经被接收。不过这种回执ACK分两种情况：

• 自动ACK：消息一旦被接收，消费者自动发送ACK
• 手动ACK：消息接收后，不会发送ACK，需要手动调用（业务逻辑中回复ACK）

大家觉得哪种更好呢？

这需要看消息的重要性：

• 如果消息不太重要，丢失也没有影响，那么自动ACK会比较方便
• 如果消息非常重要，不容丢失。那么最好在消费完成后手动ACK，否则接收消息后就自动ACK，RabbitMQ就会把消息从队列中删除。如果此时消费者宕机，那么消息就丢失了

在消费者代码中手动ACK：

 channel.basicAck(envelope.getDeliveryTag(), false); //回复ACK，此段代码在你从队列中监听并取到消息后执行
        
        channel.basicConsume(QUEUE_NAME, false, consumer); // 监听队列，第二个参数false则手动进行ACK
 

为什么消费者不关闭连接与通道？

答：需要持续监听

WORK Queues消息模型

工作队列，又称任务队列。主要思想就是避免执行资源密集型任务时，必须等待它执行完成。相反我们稍后完成任务，我们将任务封装为消息并将其发送到队列。 在后台运行的工作进程将获取任务并最终执行作业。当你运行许多消费者时，任务将在他们之间共享，但是一个消息只能被一个消费者获取。

接下来我们来模拟这个流程：

P：生产者：任务的发布者

C1：消费者，领取任务并且完成任务，假设完成速度较快

C2：消费者2：领取任务并完成任务，假设完成速度慢

生产者代码：

与最简单那个一样

package Work_Queues;


import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

/**
 * 生产者
 */
public class Send {

    private final static String QUEUE_NAME = "work_queue";

    public static void main(String[] argv) throws Exception {
        //定义连接工厂
        ConnectionFactory factory = new ConnectionFactory();
        //设置服务地址
        factory.setHost("192.168.31.111");
        // 通过工程获取连接
        Connection connection = factory.newConnection();
        // 从连接中创建通道，使用通道才能完成消息相关的操作
        Channel channel = connection.createChannel();

        // 声明（创建）队列
        channel.queueDeclare(QUEUE_NAME, false, false, false, null);
        // 循环发布任务
        for (int i = 0; i < 50; i++) {
            // 消息内容
            String message = "task .. " + i;
            //发布消息
            channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
            System.out.println(" [x] Sent '" + message + "'");
            //睡眠
            Thread.sleep(i * 2);
        }

        //关闭通道和连接
        channel.close();
        connection.close();
    }
}

消费者1代码：

package Work_Queues;

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.DeliverCallback;


public class Recv1 {

    private final static String QUEUE_NAME = "work_queue";

    public static void main(String[] argv) throws Exception {
        //定义连接工厂
        ConnectionFactory factory = new ConnectionFactory();
        /*指定ip*/
        factory.setHost("192.168.31.111");
        // 通过工程获取连接
        Connection connection = factory.newConnection();
        // 创建通道
        Channel channel = connection.createChannel();

        // 声明队列
        channel.queueDeclare(QUEUE_NAME, false, false, false, null);

        System.out.println(" [消费者1] Waiting for messages. To exit press CTRL+C");


        //监听消息，听到消息后自动调用
        DeliverCallback deliverCallback = (consumerTag, delivery) -> {
            /*模拟处理消息耗时，接收者2号不设置*/
            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            String message = new String(delivery.getBody(), "UTF-8");
            System.out.println(" [x] Received '" + message + "'");
        };
        /*第二个参数为ACK设置*/
        channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> { });

    }
}

消费者2号代码

package Work_Queues;

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.DeliverCallback;


public class Recv2 {

    private final static String QUEUE_NAME = "work_queue";

    public static void main(String[] argv) throws Exception {
        //定义连接工厂
        ConnectionFactory factory = new ConnectionFactory();
        /*指定ip*/
        factory.setHost("192.168.31.111");
        // 通过工程获取连接
        Connection connection = factory.newConnection();
        // 创建通道
        Channel channel = connection.createChannel();



        // 声明队列
        channel.queueDeclare(QUEUE_NAME, false, false, false, null);
        System.out.println(" [*] Waiting for messages. To exit press CTRL+C");

        /*能者多劳 非公平调度*/
        int prefetchCount = 1;
        channel.basicQos(prefetchCount);
        channel.basicQos(1);


        DeliverCallback deliverCallback = (consumerTag, delivery) -> {
            String message = new String(delivery.getBody(), "UTF-8");
            System.out.println(" [x] Received '" + message + "'");
        };
        /*第二个参数为ACK设置*/
        channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> { });

    }
}

消费者2与消费者1基本类似，就是没有设置消费耗时时间。

这里是模拟有些消费者快，有些比较慢。

可以发现，两个消费者各自消费了25条消息，而且各不相同，这就实现了任务的分发

有问题吗？

• 消费者1比消费者2的效率要低，一次任务的耗时较长
• 然而两人最终消费的消息数量是一样的
• 消费者2大量时间处于空闲状态，消费者1一直忙碌

现在的状态属于是把任务平均分配，正确的做法应该是消费越快的人，消费的越多，官方称之为公平分配

实际上我们需要的是“能者多劳”谁的处理时间快，谁接的消息就应该多

使用basicQos方法和prefetchCount = 1设置，告诉RabbitMQ一次不要向工作人员发送多于一条消息。 或者换句话说，不要向工作人员发送新消息，直到它处理并确认了前一个消息。 相反，它会将其分派给不是仍然忙碌的下一个工作人员

Publish/Subscribe订阅发布模型

在之前的模式中，我们创建了一个工作队列。 工作队列背后的假设是：每个任务只被传递给一个工作人员。 在这一部分，我们将做一些完全不同的事情 - 我们将会传递一个信息给多个消费者。 这种模式被称为“发布/订阅”。

解读：

1、1个生产者，多个消费者

2、每一个消费者都有自己的一个队列

3、生产者没有将消息直接发送到队列，而是发送到了交换机

4、每个队列都要绑定到交换机

5、生产者发送的消息，经过交换机到达队列，实现一个消息被多个消费者获取的目的

X（Exchanges）：交换机一方面：接收生产者发送的消息。另一方面：知道如何处理消息，例如递交给某个特别队列、递交给所有队列、或是将消息丢弃。到底如何操作，取决于Exchange的类型。

Exchange类型有以下几种：

Fanout：广播，将消息交给所有绑定到交换机的队列

Direct（模型4）：定向，把消息交给符合指定routing key 的队列 

Topic（模型5）：通配符，把消息交给符合routing pattern（路由模式） 的队列

我们这里先学习

Fanout：即广播模式

Exchange（交换机）只负责转发消息，不具备存储消息的能力，因此如果没有任何队列与Exchange绑定，或者没有符合路由规则的队列，那么消息会丢失！

Fanout

在广播模式下，消息发送流程是这样的：

• 1） 可以有多个消费者
• 2） 每个消费者有自己的queue（队列）
• 3） 每个队列都要绑定到Exchange（交换机）
• 4） 生产者发送的消息，只能发送到交换机，交换机来决定要发给哪个队列，生产者无法决定。
• 5） 交换机把消息发送给绑定过的所有队列
• 6） 队列的消费者都能拿到消息。实现一条消息被多个消费者消费

生产者：

两个变化：

• 1） 声明Exchange，不再声明Queue
• 2） 发送消息到Exchange，不再发送到Queue

package Fanout;


import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

/**
 * 生产者
 */
public class Send {

    private final static String EXCHANGE_NAME = "fanout_exchange";

    public static void main(String[] argv) throws Exception {
        //定义连接工厂
        ConnectionFactory factory = new ConnectionFactory();
        //设置服务地址
        factory.setHost("192.168.31.111");
        // 通过工程获取连接
        Connection connection = factory.newConnection();
        // 从连接中创建通道，使用通道才能完成消息相关的操作
        Channel channel = connection.createChannel();

/*        // 声明（创建）队列
        channel.queueDeclare(QUEUE_NAME, false, false, false, null);*/

        /*声明交换机，指定fanout类型*/
     channel.exchangeDeclare(EXCHANGE_NAME,"fanout") ;
            // 消息内容
            String message = "hello everyone " ;
            //channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
        //发布消息
        channel.basicPublish(EXCHANGE_NAME,"",null,message.getBytes());

        System.out.println(" [生产者] Sent '" + message + "'");

        //关闭通道和连接
        channel.close();
        connection.close();
    }
}

消费者1：

要注意代码中：队列需要和交换机绑定

package Fanout;

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.DeliverCallback;


public class Recv1 {

    private final static String QUEUE_NAME = "fanout_exchange_queue1";
    private final static String EXCHANGE_NAME = "fanout_exchange";

    public static void main(String[] argv) throws Exception {
        //定义连接工厂
        ConnectionFactory factory = new ConnectionFactory();
        /*指定ip*/
        factory.setHost("192.168.31.111");
        // 通过工程获取连接
        Connection connection = factory.newConnection();
        // 创建通道
        Channel channel = connection.createChannel();
        
        // 声明队列
        channel.queueDeclare(QUEUE_NAME, false, false, false, null);

        /*绑定队列到交换机*/
        channel.queueBind(QUEUE_NAME,EXCHANGE_NAME,"") ;
        
        System.out.println(" [消费者1] Waiting for messages. To exit press CTRL+C");
        

        DeliverCallback deliverCallback = (consumerTag, delivery) -> {
            String message = new String(delivery.getBody(), "UTF-8");
            System.out.println(" [消费者1] Received '" + message + "'");
        };
        /*第二个参数为ACK设置*/
        channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> { });

    }
}

消费者2

package Fanout;

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.DeliverCallback;

public class Recv2 {

    private final static String QUEUE_NAME = "fanout_exchange_queue2";
    private final static String EXCHANGE_NAME = "fanout_exchange";

    public static void main(String[] argv) throws Exception {
        //定义连接工厂
        ConnectionFactory factory = new ConnectionFactory();
        /*指定ip*/
        factory.setHost("192.168.31.111");
        // 通过工程获取连接
        Connection connection = factory.newConnection();
        // 创建通道
        Channel channel = connection.createChannel();
        // 声明队列
        channel.queueDeclare(QUEUE_NAME, false, false, false, null);

        /*绑定队列到交换机*/
        channel.queueBind(QUEUE_NAME,EXCHANGE_NAME,"") ;

        System.out.println(" [消费者2] Waiting for messages. To exit press CTRL+C");

        DeliverCallback deliverCallback = (consumerTag, delivery) -> {
            String message = new String(delivery.getBody(), "UTF-8");
            System.out.println(" [消费者2] Received '" + message + "'");
        };
        /*第二个参数为ACK设置*/
        channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> { });

    }
}

启动消费者与生产者，可见两个消费者都会收到相同的信息

Direct

有选择性的接收消息

在订阅模式中，生产者发布消息，所有消费者都可以获取所有消息

在路由模式中，我们将添加一个功能 - 我们将只能订阅一部分消息。 例如，我们只能将重要的错误消息引导到日志文件（以节省磁盘空间），同时仍然能够在控制台上打印所有日志消息

但是，在某些场景下，我们希望不同的消息被不同的队列消费。这时就要用到Direct类型的Exchange

在Direct模型下，队列与交换机的绑定，不能是任意绑定了，而是要指定一个RoutingKey（路由key）

消息的发送方在向Exchange发送消息时，也必须指定消息的routing key。

P：生产者，向Exchange发送消息，发送消息时，会指定一个routing key。

X：Exchange（交换机），接收生产者的消息，然后把消息递交给 与routing key完全匹配的队列

C1：消费者，其所在队列指定了需要routing key 为 error 的消息

C2：消费者，其所在队列指定了需要routing key 为 info、error、warning 的消息

看生产者代码：

此处我们模拟商品的增删改，发送消息的RoutingKey分别是：insert、update、delete，消费者根据指定key的不同接收不同的消息

package Direct;


import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

/**
 * 生产者
 */
public class Send {

    private final static String EXCHANGE_NAME = "direct_exchange";

    public static void main(String[] argv) throws Exception {
        //定义连接工厂
        ConnectionFactory factory = new ConnectionFactory();
        //设置服务地址
        factory.setHost("192.168.31.111");
        // 通过工程获取连接
        Connection connection = factory.newConnection();
        // 从连接中创建通道，使用通道才能完成消息相关的操作
        Channel channel = connection.createChannel();

/*        // 声明（创建）队列
        channel.queueDeclare(QUEUE_NAME, false, false, false, null);*/

        /*声明交换机*/
        channel.exchangeDeclare(EXCHANGE_NAME,"direct") ;
        
        // 消息内容
        String message = "商品修改了， id = 1001 " ;
        //channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
        /*发送消息并指定routing key为isnert，代表新增*/
        channel.basicPublish(EXCHANGE_NAME,"update",null,message.getBytes());

        System.out.println(" [商品服务] Sent '" + message + "'");
        
        //关闭通道和连接
        channel.close();
        connection.close();
    }
}

消费者1

接收key为update和delete的消息

package Direct;

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.DeliverCallback;


public class Recv1 {

    private final static String QUEUE_NAME = "direct_exchange_queue1";
    private final static String EXCHANGE_NAME = "direct_exchange";

    public static void main(String[] argv) throws Exception {
        //定义连接工厂
        ConnectionFactory factory = new ConnectionFactory();
        /*指定ip*/
        factory.setHost("192.168.31.111");
        // 通过工程获取连接
        Connection connection = factory.newConnection();
        // 创建通道
        Channel channel = connection.createChannel();
        
        // 声明队列
        channel.queueDeclare(QUEUE_NAME, false, false, false, null);

        /*绑定队列到交换机*/
        channel.queueBind(QUEUE_NAME,EXCHANGE_NAME,"update") ;
        channel.queueBind(QUEUE_NAME,EXCHANGE_NAME,"delete") ;
        
        System.out.println(" [消费者1] Waiting for messages. To exit press CTRL+C");
        
        DeliverCallback deliverCallback = (consumerTag, delivery) -> {
            String message = new String(delivery.getBody(), "UTF-8");
            System.out.println(" [消费者1] Received '" + message + "'");
        };
        /*第二个参数为ACK设置*/
        channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> { });

    }
}

消费者2

接收key类型为update delete insert的消息

package Direct;

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.DeliverCallback;


public class Recv2 {

    private final static String QUEUE_NAME = "direct_exchange_queue2";
    private final static String EXCHANGE_NAME = "direct_exchange";

    public static void main(String[] argv) throws Exception {
        //定义连接工厂
        ConnectionFactory factory = new ConnectionFactory();
        /*指定ip*/
        factory.setHost("192.168.31.111");
        // 通过工程获取连接
        Connection connection = factory.newConnection();
        // 创建通道
        Channel channel = connection.createChannel();
        
        // 声明队列
        channel.queueDeclare(QUEUE_NAME, false, false, false, null);

        /*绑定队列到交换机*/
        channel.queueBind(QUEUE_NAME,EXCHANGE_NAME,"update") ;
        channel.queueBind(QUEUE_NAME,EXCHANGE_NAME,"delete") ;
        channel.queueBind(QUEUE_NAME,EXCHANGE_NAME,"insert") ;
        
        System.out.println(" [消费者2] Waiting for messages. To exit press CTRL+C");
        
        DeliverCallback deliverCallback = (consumerTag, delivery) -> {
            String message = new String(delivery.getBody(), "UTF-8");
            System.out.println(" [消费者2] Received '" + message + "'");
        };
        /*第二个参数为ACK设置*/
        channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> { });

    }
}

各自接收各自的

Topic

Topic类型的Exchange与Direct相比，都是可以根据RoutingKey把消息路由到不同的队列。只不过Topic类型Exchange可以让队列在绑定Routing key 的时候使用通配符！

Routingkey 一般都是有一个或多个单词组成，多个单词之间以”.”分割，例如： item.insert

通配符规则：

`#`：匹配一个或多个词

`*`：匹配不多不少恰好1个词

举例：

`audit.#`：能够匹配`audit.irs.corporate` 或者 `audit.irs`

`audit.*`：只能匹配`audit.irs`

仅此而已，就不再演示了

下面再看最后一个比较重要的问题

消息持久化

如何避免消息丢失？

1） 消费者的ACK机制。可以防止消费者丢失消息。

2） 但是，如果在消费者消费之前，MQ就宕机了，消息就没了。

是可以将消息进行持久化呢？

要将消息持久化，前提是：队列、Exchange都持久化

交换机与队列我们只需要各自的声明方法上添加持久化参数durable为true即可

交换机持久化

队列持久化

消息持久化

在生产者发布消息的时候：

设置第三个参数为