docker简易搭建RabbitMQ集群

写在前面：rabbitmq集群与其他集群有些不同，rabbitmq集群同步的指是复制队列，元数据信息的同步，即同步的是数据存储信息；消息的存放只会存储在创建该消息队列的那个节点上。并非在节点上都存储一个完整的数据。在通过非数据所在节点获取数据时，通过元数据信息，路由转发到存储数据节点上，从而得到数据。

一、拉取rabbitmq镜像

在centos窗口中，执行如下命令：

docker pull rabbitmq:3.7-management

二、创建映射数据卷目录，启动rabbitmq容器

在centos窗口中，执行如下命令创建文件夹：

mkdir rabbitmqcluster
cd rabbitmqcluster/
mkdir rabbitmq01 rabbitmq02 rabbitmq03

操作日志如下：

[root@localhost rabbitmqcluster]# pwd
/home/soft/
[root@localhost soft]# mkdir rabbitmqcluster
[root@localhost soft]# cd rabbitmqcluster/
[root@localhost rabbitmqcluster]# mkdir rabbitmq01 rabbitmq02 rabbitmq03

注：请读者自行找寻创建数据映射目录。
创建完成映射目录后，在centos窗口中，执行如下命令创建容器：

docker run -d --hostname rabbitmq01 --name rabbitmqCluster01 -v /home/soft/rabbitmqcluster/rabbitmq01:/var/lib/rabbitmq -p 15672:15672 -p 5672:5672 -e RABBITMQ_ERLANG_COOKIE='rabbitmqCookie' rabbitmq:3.7-management

docker run -d --hostname rabbitmq02 --name rabbitmqCluster02 -v /home/soft/rabbitmqcluster/rabbitmq02:/var/lib/rabbitmq -p 15673:15672 -p 5673:5672 -e RABBITMQ_ERLANG_COOKIE='rabbitmqCookie'  --link rabbitmqCluster01:rabbitmq01 rabbitmq:3.7-management

docker run -d --hostname rabbitmq03 --name rabbitmqCluster03 -v /home/soft/rabbitmqcluster/rabbitmq03:/var/lib/rabbitmq -p 15674:15672 -p 5674:5672 -e RABBITMQ_ERLANG_COOKIE='rabbitmqCookie'  --link rabbitmqCluster01:rabbitmq01 --link rabbitmqCluster02:rabbitmq02  rabbitmq:3.7-management

注： --hostname 设置容器的主机名
RABBITMQ_ERLANG_COOKIE 节点认证作用，部署集成时 需要同步该值

启动容器成功后，读者可以访问
http://192.168.9.219:15672/#/
http://192.168.9.219:15673/#/
http://192.168.9.219:15674/#/
查看是否正常启动成功。账号/密码：guest / guest。
读者登陆后，查看overview Tab页，可看到节点信息。

三、容器节点加入集群

首先在centos窗口中，执行如下命令，进入第一个rabbitmq节点容器：

docker exec -it rabbitmqCluster01 bash

进入容器后，操作rabbitmq,执行如下命令：

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app
exit

操作日志信息如下：

[root@localhost rabbitmq01]# docker exec -it rabbitmqCluster01 bash
root@rabbitmq01:/# rabbitmqctl stop_app
Stopping rabbit application on node rabbit@rabbitmq01 ...
root@rabbitmq01:/# rabbitmqctl reset
Resetting node rabbit@rabbitmq01 ...
root@rabbitmq01:/# rabbitmqctl start_app
Starting node rabbit@rabbitmq01 ...
 completed with 3 plugins.
root@rabbitmq01:/# exit
exit

接下来，进入第二个rabbitmq节点容器，执行如下命令：

docker exec -it rabbitmqCluster02 bash
rabbitmqctl reset
rabbitmqctl join_cluster --ram rabbit@rabbitmq01
rabbitmqctl start_app
exit

操作日志信息如下：

[root@localhost rabbitmq01]# docker exec -it rabbitmqCluster02 bash
root@rabbitmq02:/# rabbitmqctl stop_app
Stopping rabbit application on node rabbit@rabbitmq02 ...
root@rabbitmq02:/# rabbitmqctl reset
Resetting node rabbit@rabbitmq02 ...
root@rabbitmq02:/# rabbitmqctl join_cluster --ram rabbit@rabbitmq01
Clustering node rabbit@rabbitmq02 with rabbit@rabbitmq01
root@rabbitmq02:/# rabbitmqctl start_app
Starting node rabbit@rabbitmq02 ...
 completed with 3 plugins.
root@rabbitmq02:/# exit
exit

最后，进入第三个rabbitmq节点容器，执行如下命令：

docker exec -it rabbitmqCluster03 bash
rabbitmqctl reset
rabbitmqctl join_cluster --ram rabbit@rabbitmq01
rabbitmqctl start_app
exit

操作日志信息如下：

[root@localhost rabbitmq01]# docker exec -it rabbitmqCluster03 bash
root@rabbitmq03:/#  rabbitmqctl stop_app
Stopping rabbit application on node rabbit@rabbitmq03 ...
root@rabbitmq03:/# rabbitmqctl reset
Resetting node rabbit@rabbitmq03 ...
root@rabbitmq03:/# rabbitmqctl join_cluster --ram rabbit@rabbitmq01
Clustering node rabbit@rabbitmq03 with rabbit@rabbitmq01
root@rabbitmq03:/# rabbitmqctl start_app
Starting node rabbit@rabbitmq03 ...
 completed with 3 plugins.
root@rabbitmq03:/# exit
exit

执行上述操作，这时候 再查看 http://192.168.9.219:15672/#/ 的overview面板中的Nodes信息，可查看到节点信息。

四、负载均衡设置

有了集群之后 还要设置负载均,为了防止出现对单一节点造成高负载的情况。
本次测试用例 采用nginx中间件。读者可根据自身需要进行选择。

1.本机上存放着一个nginx配置文件：/home/soft/nginx/nginx_rabbitmq.conf

nginx_rabbitmq.conf

user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;
	
	proxy_redirect          off;
	proxy_set_header        Host $host;
	proxy_set_header        X-Real-IP $remote_addr;
	proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
	client_max_body_size    10m;
	client_body_buffer_size   128k;
	proxy_connect_timeout   5s;
	proxy_send_timeout      5s;
	proxy_read_timeout      5s;
	proxy_buffer_size        4k;
	proxy_buffers           4 32k;
	proxy_busy_buffers_size  64k;
	proxy_temp_file_write_size 64k;
	#rabbitmq管理界面
	upstream rabbitManage {
		server 192.168.9.219:15672;
		server 192.168.9.219:15673;
		server 192.168.9.219:15674;
	}
	server {
        listen       15675;
        server_name  192.168.9.219; 
        location / {  
            proxy_pass   http://rabbitManage;
            index  index.html index.htm;  
        }  

    }
}
# rabbitmq通信
stream{
	upstream rabbitManage{
        server 192.168.9.219:5672;
        server 192.168.9.219:5673;
		server 192.168.9.219:5674;
    }

    server {
        listen 5675;
        proxy_pass rabbitTcp;
    }
}
 

注：这里配置rabbitmq管理界面 以及通信反向代理

2.启动nginx容器

在centos窗口中，执行如下命令：

docker run -it -d --name nginxRabbitmq -v /home/soft/nginx/nginx_rabbitmq.conf:/etc/nginx/nginx.conf  --privileged --net=host nginx

接着读者可以通过 http://192.168.9.219:15675 进行管理 以及通过 5675 端口 进行rabbitmq通信。

附录：

启动rabbitmq

rabbitmqctl start_app

停止rabbitmq

rabbitmqctl stop_app

rabbitmq 查看所有队列信息

rabbitmqctl list_queues

还原 rabbitmq 清除所有队列

rabbitmqctl reset

rabbitmq 查看用户

rabbitmqctl list_users

rabbitmq添加用户

rabbitmqctl add_user root root

rabbitmq设置权限

rabbitmqctl set_permissions -p / root ".*" ".*" ".*"

rabbitmq查看集群状态信息

rabbitmqctl cluster_status

移除某个集群节点：一般情况当节点故障时，在正常的节点中，移除该故障节点

rabbitmqctl  -n rabbit@rabbitmq01 forget_cluster_node rabbit@rabbitmq03