一緒に書く習慣を身につけましょう！「ナゲッツデイリーニュープラン・4月アップデートチャレンジ」に参加して14日目です。クリックしてイベントの詳細をご覧ください。
RocketMQがメッセージを送信する主なプロセスは以前に整理されています。次に、ソースコードとコンシューマーメッセージの消費プロセスを紹介します。主に以下を含みますが、これらに限定されません。
- メッセージ消費パターン
- メッセージ消費のプロセス
- 消費者負荷分散アルゴリズム
- 消費が失敗したときに再試行する方法
- メッセージの再配信方法
- .....。
メッセージ受信モデル
コンシューマーコンシューマーグループがメッセージを消費する場合、Topicレジストリからブローカーサーバーのキューのアドレスを取得し、負荷分散アルゴリズムに従って消費するように制限されています。
RocketMQのメッセージプッシュモードにはプルモードとプッシュモードが含まれますが、実際には、プッシュモードの最下層もプルモードで使用されます。
コンシューマーグループは、グループ内のすべてのコンシューマーにすべてのMQポイントを割り当てます。同じグループ内のコンシューマーは、同時に複数のコンシューマーをリッスンできません。Topicそうしないと、負荷分散アルゴリズムのために一部のメッセージが消費されない場合があります。
メッセージの消費が失敗した場合は再試行されます。デフォルトでは6回再試行されます。それでも消費が成功しない場合、メッセージはデッドレターキューに入れられます。
消費者モニタリングモデル
リスナーのデザインパターン
RocketMQは、デザインパターンにリスナーデザインパターンを採用しています。クラス間の継承関係を図に示します。
ConsumeMessageConcurrentlyServiceこれは、リスナーの実行クラスです。
リスナーを登録する
カスタムコンシューマーを記述してリスナーをバインドするコードは次のとおりです。
public static void main(String[] args) throws Exception{
// 创建消费者对象，设置组名
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("Group A");
// 订阅消息主题target_topic下的消息，*表示所有消息
consumer.subscribe("target_topic", "*");
// 设置从上一次的位点开始消费
consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
// 注册监听器
consumer.registerMessageListener(new MessageListenerConcurrently() {
// 消费消息的方法
public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
System.out.println(Thread.currentThread().getName() + " Receive New Messages: " + msgs);
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
});
// 开启消费者
consumer.start();
System.out.println("Consumer Started");
}
复制代码次のように実行します。
- コンシューマーを作成し、それが属するグループを指定します
- トピックを購読し、
target_topicすべてのメッセージを消費します - 最後の消費から消費を継続する場所を設定します
- リスナー
MessageListenerConcurrentlyを登録し、メッセージを消費するためのロジックを定義しますconsumeMessage - 消費者を始める
消費者を始める
コンシューマーがリスナーを登録した後、まだ消費を開始していません。コンシューマーがstartメソッドを呼び出すと、消費前にさまざまな準備を開始します。
public synchronized void start() throws MQClientException {
switch (this.serviceState) {
case CREATE_JUST:
log.info("the consumer [{}] start beginning. messageModel={}, isUnitMode={}", this.defaultMQPushConsumer.getConsumerGroup(),
this.defaultMQPushConsumer.getMessageModel(), this.defaultMQPushConsumer.isUnitMode());
this.serviceState = ServiceState.START_FAILED;
// 检查配置
this.checkConfig();
// 复制订阅数据
this.copySubscription();
// 将InstanceName设置为pid（数字）
if (this.defaultMQPushConsumer.getMessageModel() == MessageModel.CLUSTERING) {
this.defaultMQPushConsumer.changeInstanceNameToPID();
}
this.mQClientFactory = MQClientManager.getInstance().getOrCreateMQClientInstance(this.defaultMQPushConsumer, this.rpcHook);
// 设置负载均衡的各种参数
this.rebalanceImpl.setConsumerGroup(this.defaultMQPushConsumer.getConsumerGroup());
// 默认为集群模式，每条消息被一个组内的某个消费者消费掉
// 还有广播模式，每条消息被同一个组内的所有消费者消费一次
this.rebalanceImpl.setMessageModel(this.defaultMQPushConsumer.getMessageModel());
// 默认是均匀分配
this.rebalanceImpl.setAllocateMessageQueueStrategy(this.defaultMQPushConsumer.getAllocateMessageQueueStrategy());
this.rebalanceImpl.setmQClientFactory(this.mQClientFactory);
// 封装拉取消息的API
this.pullAPIWrapper = new PullAPIWrapper(
mQClientFactory,
this.defaultMQPushConsumer.getConsumerGroup(), isUnitMode());
this.pullAPIWrapper.registerFilterMessageHook(filterMessageHookList);
// 存储消费进度。集群模式下消费进度保存在Broker上，同一组内的消费者要共享消费进度，广播模式下保存在消费者本地
if (this.defaultMQPushConsumer.getOffsetStore() != null) {
this.offsetStore = this.defaultMQPushConsumer.getOffsetStore();
} else {
switch (this.defaultMQPushConsumer.getMessageModel()) {
case BROADCASTING:
this.offsetStore = new LocalFileOffsetStore(this.mQClientFactory, this.defaultMQPushConsumer.getConsumerGroup());
break;
case CLUSTERING:
this.offsetStore = new RemoteBrokerOffsetStore(this.mQClientFactory, this.defaultMQPushConsumer.getConsumerGroup());
break;
default:
break;
}
this.defaultMQPushConsumer.setOffsetStore(this.offsetStore);
}
this.offsetStore.load();
// 根据顺序监听还是并发监听创建相应的Service
if (this.getMessageListenerInner() instanceof MessageListenerOrderly) {
this.consumeOrderly = true;
this.consumeMessageService =
new ConsumeMessageOrderlyService(this, (MessageListenerOrderly) this.getMessageListenerInner());
} else if (this.getMessageListenerInner() instanceof MessageListenerConcurrently) {
this.consumeOrderly = false;
this.consumeMessageService =
new ConsumeMessageConcurrentlyService(this, (MessageListenerConcurrently) this.getMessageListenerInner());
}
this.consumeMessageService.start();
// 检查是否注册成功，如果之前有重复的group名称则失败
boolean registerOK = mQClientFactory.registerConsumer(this.defaultMQPushConsumer.getConsumerGroup(), this);
if (!registerOK) {
this.serviceState = ServiceState.CREATE_JUST;
this.consumeMessageService.shutdown(defaultMQPushConsumer.getAwaitTerminationMillisWhenShutdown());
throw new MQClientException("The consumer group[" + this.defaultMQPushConsumer.getConsumerGroup()
+ "] has been created before, specify another name please." + FAQUrl.suggestTodo(FAQUrl.GROUP_NAME_DUPLICATE_URL),
null);
}
mQClientFactory.start();
log.info("the consumer [{}] start OK.", this.defaultMQPushConsumer.getConsumerGroup());
// 设置服务状态
this.serviceState = ServiceState.RUNNING;
break;
case RUNNING:
case START_FAILED:
case SHUTDOWN_ALREADY:
throw new MQClientException("The PushConsumer service state not OK, maybe started once, "
+ this.serviceState
+ FAQUrl.suggestTodo(FAQUrl.CLIENT_SERVICE_NOT_OK),
null);
default:
break;
}
// 从注册中心获取TopicRouteData，更新TopicPublishInfo和MQ（周期性调用）
this.updateTopicSubscribeInfoWhenSubscriptionChanged();
this.mQClientFactory.checkClientInBroker();
// 向TopicRouteData中所有的Broker发送心跳，注册Consumer/Producer信息到Broker上（周期性调用）
this.mQClientFactory.sendHeartbeatToAllBrokerWithLock();
// 唤醒MQ均衡服务，之后开始拉区消息
this.mQClientFactory.rebalanceImmediately();
}
复制代码上記のコードの実行フローは次のとおりです。
1.最初に、コンシューマーが実行されているかどうか、サービスステータスを確認します
CREATE_JUST：コンシューマーが作成されたばかりで、実行を開始していませんRUNNING：消費者は走っているSHUTDOWN_ALREADY：消費者は閉鎖されましたSTART_FAILED：コンシューマーの起動に失敗しました
2.コンシューマーが作成されたばかりの場合は、一連のチェックを実行します
- コンシューマーが作成されたばかりの場合は、最初にステータスビットを
START_FAILEDに設定し、初期化プロセスの完了後にに設定します。RUNNING - グループ名の形式が正しいかどうかなど、受信したメッセージの構成を確認してください。
- コンシューマーの一意の識別子を次の形式で取得します
ip@instanceName - 負荷分散消費モードを設定し、負荷分散グループとメッセージ消費戦略を指定します
- プルメッセージAPIをカプセル化する
- 消費進捗プロセッサを作成し、クラスターモードでの消費進捗をブローカーに保存し、グループ内のコンシューマーが進捗を共有し、ブロードキャストモードでの消費進捗をコンシューマーに保存する必要があります
- リスニング時のシーケンシャルモードまたはコンカレントモードに応じて対応するものを作成します
ConsumerService。消費は、このクラスのインスタンスによって実装されます
ConsumeMessageConcurrentlyService親切
public ConsumeMessageOrderlyService(DefaultMQPushConsumerImpl defaultMQPushConsumerImpl,
MessageListenerOrderly messageListener) {
// 设置消息消费者对象
this.defaultMQPushConsumerImpl = defaultMQPushConsumerImpl;
// 设置注册监听器对象
this.messageListener = messageListener;
// 获取消息消费者
this.defaultMQPushConsumer = this.defaultMQPushConsumerImpl.getDefaultMQPushConsumer();
// 获取消息消费者所在的组
this.consumerGroup = this.defaultMQPushConsumer.getConsumerGroup();
// 创建消费者队列
this.consumeRequestQueue = new LinkedBlockingQueue<Runnable>();
// 消费者线程池
this.consumeExecutor = new ThreadPoolExecutor(
this.defaultMQPushConsumer.getConsumeThreadMin(),
this.defaultMQPushConsumer.getConsumeThreadMax(),
1000 * 60,
TimeUnit.MILLISECONDS,
this.consumeRequestQueue,
new ThreadFactoryImpl("ConsumeMessageThread_"));
this.scheduledExecutorService = Executors.newSingleThreadScheduledExecutor(new ThreadFactoryImpl("ConsumeMessageScheduledThread_"));
}
复制代码メッセージの消費者による消費は、最終的ConsumeMessageConcurrentlyServiceに消費用に指定されます。
MessageListenerOrderlyConsumeMessageOrderlyServiceメッセージ消費のためのオブジェクトを使用したシーケンシャルメッセージリスナーMessageListenerConcurrently同時メッセージリスナーはConsumeMessageConcurrentlyService、メッセージの消費にオブジェクトを使用します