在Docker下部署RocketMQ - broker高可用部署

方案

因为borker本身需要存储消息信息，所以高可用方案选择主从方式。
主从方式可以通过主从同步热备或主从异步热备两种方式。
同步热备需要主从都将消息信息处理完成以后才返回，所以性能要差一些。
异步热备就是主结点成功处理消息完成就返回，从结点通过内部的同步机制主结点消息数据。
本案例采用主从异步热备模式。在RocketMQ默认的配置文件路径下有${ROCKET_HOME}/conf/2m-2s-async/目录路径，在该路径下有两主两从异步热备配置的模板。本案例因为只考虑高可用，不考虑高性能，所以只配置一主一从。只需要使用基于broker-a.properties和broker-a-s.properties两个模板文件进行修改配置。
如果要考虑高性能，只需要将broker-b.properties做类似修改就可以了。如果竟考虑高可用，又考虑高性能，则配置从个broker-x.properties和broker-x-s.properties配置就可以了。

一、生成镜像

通过dockerfile    及命令     

docker build autumn/nameser . 

生成镜像image

nameserver镜像生成脚本

# Start from a Java image.
FROM java:8
ARG version
# Rocketmq version
ENV ROCKETMQ_VERSION 4.4.0
# Rocketmq home
ENV ROCKETMQ_HOME  /opt/rocketmq-${ROCKETMQ_VERSION}
WORKDIR  ${ROCKETMQ_HOME}
RUN mkdir -p \
        /opt/logs \
        /opt/store \
        /opt/conf
ADD rocketmq-all-4.4.0-bin-release.zip rocketmq.zip
RUN       unzip rocketmq.zip \
          && rm rocketmq.zip \
          && cp -r rocketmq-all-4.4.0-bin-release/* ./
RUN chmod +x bin/mqnamesrv
CMD cd ${ROCKETMQ_HOME}/bin && export JAVA_OPT=" -Duser.home=/opt" && sh mqnamesrv
EXPOSE 9876
VOLUME /opt/logs \
        /opt/store \
        /opt/conf

broker镜像生成脚本

注意：由于测试环境，内存不够，所以更改了runbroker.sh启动脚本中的mxm内存配置

# Start from a Java image.
FROM java:8

# Rocketmq version
ENV ROCKETMQ_VERSION 4.4.0

# Rocketmq home
ENV ROCKETMQ_HOME  /opt/rocketmq-${ROCKETMQ_VERSION}

WORKDIR  ${ROCKETMQ_HOME}

RUN mkdir -p \
        /opt/logs \
        /opt/store

ADD rocketmq-all-4.4.0-bin-release.zip rocketmq.zip
RUN       unzip rocketmq.zip \
          && rm rocketmq.zip \ 
          && cp -r rocketmq-all-4.4.0-bin-release/* ./

RUN chmod +x bin/mqbroker

CMD cd ${ROCKETMQ_HOME}/bin && export JAVA_OPT=" -Duser.home=/opt" && sh mqbroker -n namesrv:9876 -c /opt/conf/broker.properties 

EXPOSE 10909 10911
VOLUME /opt/logs \
        /opt/store \
        /opt/conf

console镜像生成脚本

这里是在Apache开源后的，该控制台的代码管理地址
https://github.com/apache/incubator-rocketmq-externals/tree/master/rocketmq-console
基于工程源代码编译，生成工程jar包rocketmq-console-ng-1.0.0.jar （该工程是spring-boot工程，jar中内嵌servlet容器。）

FROM java:8
VOLUME /tmp
ADD rocketmq-console-ng-1.0.0.jar app.jar
RUN sh -c 'touch /app.jar'
ENV JAVA_OPTS=""
ENTRYPOINT [ "sh", "-c", "java $JAVA_OPTS -jar /app.jar" ]

生产方及消息方镜像

这两个镜像比较简单，工程本身就是以main运行的java工程。
可以参考该文章：https://blog.csdn.net/liulianglin/article/details/51787459

FROM java:8
VOLUME /tmp
#ADD mq-consumer.jar app.jar
ADD mq-producer.jar app.jar
RUN sh -c 'touch /app.jar'
ENV JAVA_OPTS=""
ENTRYPOINT [ "sh", "-c", "java $JAVA_OPTS -jar /app.jar" ]

二、配置文件

borker主结点配置

  broker-a-m:
    imag going/rocketmq-broker:4.2.1
    ports:
      - 10909:10909
      - 10911:10911
    volumes:
      - "/rocketmq/broker/a-m/logs:/opt/logs"
      - "/rocketmq/broker/a-m/stor/opt/store"
      - "/rocketmq/broker/a-m/conf:/opt/conf"
    links:
      - namesrv:namesrv

borker配置文件为

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH

borker从结点配置

  broker-a-s:
    imag going/rocketmq-broker:4.2.1
    ports:
      - 11909:10909
      - 11911:10911
    volumes:
      - "/rocketmq/broker/a-s/logs:/opt/logs"
      - "/rocketmq/broker/a-s/stor/opt/store"
      - "/rocketmq/broker/a-s/conf:/opt/conf"
    links:
      - namesrv:namesrv      

borker配置文件为

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH

三、docker-mopose

version: '2.1'
services:
  namesrv:
    image: autumn/rocketmq-namesrv:latest
    ports:
      - 9876:9876
    volumes:
      - "./logs/namesrv/master/logs:/opt/logs"
      - "./data/namesrv/master/stor:/opt/store"
  broker-a-m:
    image: autumn/rocketmq-broker:latest
    ports:
      - 10909:10909
      - 10911:10911
    volumes:
      - "./logs/broker/a-m/logs:/opt/logs"
      - "./data/broker/a-m/stor:/opt/store"
      - "./conf/broker/a-m/conf:/opt/conf"
    links:
      - namesrv:namesrv
  broker-a-s:
    image: autumn/rocketmq-broker:latest
    ports:
      - 11909:11909
      - 11911:11911
    volumes:
      - "./logs/broker/a-s/logs:/opt/logs"
      - "./data/broker/a-s/stor:/opt/store"
      - "./conf/broker/a-s/conf:/opt/conf"
    links:
      - namesrv:namesrv      
  console:
    image: autumn/rocketmq-console-ng:latest
    ports:
     - "8087:8080"
    links:
     - namesrv:namesrv
    environment:
     JAVA_OPTS: -Drocketmq.config.namesrvAddr=namesrv:9876 #-Dcom.rocketmq.sendMessageWithVIPChannel=false

通过docker-compose运行，打开console界面，查看执行情况
http://127.0.0.1:8087/#/

相关代码文件 https://github.com/ffzhihua/rocketmq-docker-compose

四、在eclipse中开发测试

       1.创建一个maven项目，其pom.xml的内容见pom.xml

       2. 编写消息产生者Producer,见Producer.java       

       3.编写消息消费者Consumer

PushConsumer.java

package com.catt.rocketmq.example;
 
import java.util.concurrent.TimeUnit;
 
import com.alibaba.rocketmq.client.exception.MQClientException;
import com.alibaba.rocketmq.client.producer.DefaultMQProducer;
import com.alibaba.rocketmq.client.producer.SendResult;
import com.alibaba.rocketmq.common.message.Message;
 
public class Producer {
  public static void main(String[] args) throws MQClientException,
      InterruptedException {
    /**
     * 一个应用创建一个Producer，由应用来维护此对象，可以设置为全局对象或者单例<br>
     * 注意：ProducerGroupName需要由应用来保证唯一<br>
     * ProducerGroup这个概念发送普通的消息时，作用不大，但是发送分布式事务消息时，比较关键，
     * 因为服务器会回查这个Group下的任意一个Producer
     */
    DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
    producer.setNamesrvAddr("192.168.230.128:9876");
    producer.setInstanceName("Producer");
 
    /**
     * Producer对象在使用之前必须要调用start初始化，初始化一次即可<br>
     * 注意：切记不可以在每次发送消息时，都调用start方法
     */
    producer.start();
 
    /**
     * 下面这段代码表明一个Producer对象可以发送多个topic，多个tag的消息。
     * 注意：send方法是同步调用，只要不抛异常就标识成功。但是发送成功也可会有多种状态，<br>
     * 例如消息写入Master成功，但是Slave不成功，这种情况消息属于成功，但是对于个别应用如果对消息可靠性要求极高，<br>
     * 需要对这种情况做处理。另外，消息可能会存在发送失败的情况，失败重试由应用来处理。
     */
    for (int i = 0; i < 100; i++) {
      try {
        {
          Message msg = new Message("TopicTest1",// topic
              "TagA",// tag
              "OrderID001",// key
              ("Hello MetaQ").getBytes());// body
          SendResult sendResult = producer.send(msg);
          System.out.println(sendResult);
        }
        {
          Message msg = new Message("TopicTest2",// topic
              "TagB",// tag
              "OrderID0034",// key
              ("Hello MetaQ").getBytes());// body
          SendResult sendResult = producer.send(msg);
          System.out.println(sendResult);
        }
        {
          Message msg = new Message("TopicTest3",// topic
              "TagC",// tag
              "OrderID061",// key
              ("Hello MetaQ").getBytes());// body
          SendResult sendResult = producer.send(msg);
          System.out.println(sendResult);
        }
      } catch (Exception e) {
        e.printStackTrace();
      }
      TimeUnit.MILLISECONDS.sleep(1000);
    }
    /**
     * 应用退出时，要调用shutdown来清理资源，关闭网络连接，从MetaQ服务器上注销自己
     * 注意：我们建议应用在JBOSS、Tomcat等容器的退出钩子里调用shutdown方法
     */
    producer.shutdown();
  }
}

 PushConsumer.java

package com.catt.rocketmq.example;
 
import java.util.List;
 
import com.alibaba.rocketmq.client.consumer.DefaultMQPushConsumer;
import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import com.alibaba.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import com.alibaba.rocketmq.client.exception.MQClientException;
import com.alibaba.rocketmq.common.message.MessageExt;
public class PushConsumer {
 
  /**
   * 当前例子是PushConsumer用法，使用方式给用户感觉是消息从RocketMQ服务器推到了应用客户端。<br>
   * 但是实际PushConsumer内部是使用长轮询Pull方式从MetaQ服务器拉消息，然后再回调用户Listener方法<br>
   */
  public static void main(String[] args) throws InterruptedException,
      MQClientException {
    /**
     * 一个应用创建一个Consumer，由应用来维护此对象，可以设置为全局对象或者单例<br>
     * 注意：ConsumerGroupName需要由应用来保证唯一
     */
    DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(
        "ConsumerGroupName");
    consumer.setNamesrvAddr("192.168.230.128:9876");
    consumer.setInstanceName("Consumber");
 
    /**
     * 订阅指定topic下tags分别等于TagA或TagC或TagD
     */
    consumer.subscribe("TopicTest1", "TagA || TagC || TagD");
    /**
     * 订阅指定topic下所有消息<br>
     * 注意：一个consumer对象可以订阅多个topic
     */
    consumer.subscribe("TopicTest2", "*");
 
    consumer.registerMessageListener(new MessageListenerConcurrently() {
 
      /**
       * 默认msgs里只有一条消息，可以通过设置consumeMessageBatchMaxSize参数来批量接收消息
       */
      @Override
      public ConsumeConcurrentlyStatus consumeMessage(
          List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
        System.out.println(Thread.currentThread().getName()
            + " Receive New Messages: " + msgs.size());
 
        MessageExt msg = msgs.get(0);
        if (msg.getTopic().equals("TopicTest1")) {
          // 执行TopicTest1的消费逻辑
          if (msg.getTags() != null && msg.getTags().equals("TagA")) {
            // 执行TagA的消费
            System.out.println(new String(msg.getBody()));
          } else if (msg.getTags() != null
              && msg.getTags().equals("TagC")) {
            // 执行TagC的消费
          } else if (msg.getTags() != null
              && msg.getTags().equals("TagD")) {
            // 执行TagD的消费
          }
        } else if (msg.getTopic().equals("TopicTest2")) {
          System.out.println(new String(msg.getBody()));
        }
 
        return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
      }
    });
 
    /**
     * Consumer对象在使用之前必须要调用start初始化，初始化一次即可<br>
     */
    consumer.start();
 
    System.out.println("Consumer Started.");
  }
}