TinyMQ学习(1) 概述

最近在学习erlang,了解了下它的基本语法以及相关特性,但是一直没有比较大的进展.前天在微博上无意中发现一个用erlang写的迷你的消息队列TinyMQ(源代码文件不足50K),这激发了我极大的兴趣,抱着学习的态度,下载了作者的源代码( https://github.com/evanmiller/tinymq)进行了研究学习,收获还是蛮大的,至少了解到:
1.如何用erlang实现一个简单的消息队列(我想这也是大家最感兴趣的地方);
2.如何使用erlang otp;
3.对之前学习过的erlang语法有了更深入的理解;


下面我就和大家一起来学习TinyMQ,在开始之前,先做好以下准备:
1.了解erlang的基本语法,参考文档: http://www.erlang.org/doc/getting_started/users_guide.html
2.了解erlang otp,参考文档: http://www.erlang.org/doc/design_principles/users_guide.html
3.了解消息队列相关概念,譬如常见的消息模型(ptp:点对点,pub/sub:发布/订阅)
4.了解rebar(只要知道如何编译代码即可)


在具体查看作者源代码之前,我们先看看程序运行效果:



其中:
application:start(tinymq) 表示启动了一个tinymq服务
subscriber:start(3)  表示启动了3个process去订阅某个topic
publisher:start() 表示启动了1个process去往topic发消息(每5秒一次),消息的内容是{"hello erlang", 当前时间}
之后我们就可以看到3个订阅者,每隔5秒就能收到publisher发布的消息

ps:subscriber与publisher是我自己后来额外加的代码文件,用来测试作者的TinyMQ,代码中调用了TinyMQ提供的接口


看完了执行效果图,我们来具体看下TinyMQ:
TinyMQ是一个基于channel的消息队列(什么是channel,我们稍后会说),它的所有消息都保存在内存中而不做持久化(如果可以持久化,那么代码远不止50K),并且每一条消息都有一个超时时间(所有消息保存在一个类似AVL树结构中),
TinyMQ实现了基本的发布/订阅功能(当然还有其他功能),其订阅端逻辑如下:



首先客户端发送一个订阅请求subscribe request:{Pid, Channel}给mq_server,当mq_server接收到这个消息后,首先检查是否已经存在一个名为Channel的服务(mq_server内部维护着一个{Channel名,Channel服务Pid}的列表)如果不存在就新创建一个,接着把这个订阅请求交个这个Channel服务处理,Channel服务到底包含些什么呢?Channel服务内部维护着一些重要的状态:
1.Channel名(其实就可以理解为我们常说的topic);
2.消息队列(用来存放消息);
3.消息超时时间;
4.订阅者列表(对于一个新的订阅请求,会往订阅者列表中加入新的订阅者);
5.上一次清理消息队列中超时消息的时间(清理间隔不小于1秒);


看完了订阅端,我们在看看发布端:



首先客户端发送一个发消息请求{Pid, Channel, Message}给mq_server,当mq_server接收到这个消息后,同样会检查是否存在名为Channel的服务(若不存在则新创建),接着把这个请求交给相应的Channel服务处理,Channel服务接收到这个请求后:
1.把消息发送给这个Channel的每一个订阅者(之前我们说过,每一个Channel服务维护着一个订阅者列表);
2.删除消息队列中超时的消息;
3.把消息插入到消息队列中;

从这两个图我们还可以看出mq_server在整个流程中充当着类似代理的角色(派发客户端请求),而真正处理客户端请求的实际上是Channel服务(mq_server负责维护一个包含所有Channel服务的列表)


最后我们在看下TinyMQ的supervision tree模型(矩形代表supervisor process,圆形代表worker process)



可以看出所有的Channel服务都是被一个叫做TinyMQ_Channel的监控者监控着,如果发现某个Channel服务crash了(可以理解成某个topic挂了),那么监控者会重启这个Channel服务,只是这个Channel中的所有消息,订阅者列表以及一些其他信息都将丢失。如果要保证不丢失,我们可以把Channel的状态以文件的形式记录下来,当下次重启Channel服务的时候,首先去读取相应的文件,恢复上一次状态,这样就可以保证Channel服务状态不丢失(并不是严格意义上的不丢失,并且这样的话,源文件肯定不止50K了),同理TinyMQ_Server process.

至此关于TinyMQ我们已经有了大致的了解, 下一节我们将具体看下作者的源码。

另外,我自己第一次编译源代码文件的时候,报出以下错误信息(依赖不可用):
引用
==> tinymq-master (compile)
Dependency not available: tiny_pq-.* ({git,
                                       "git://github.com/evanmiller/tiny_pq",
                                       {tag,"HEAD"}})

为了简单起见(自己不是和熟悉rebar),我自己去下载了tiny_pq.erl文件( https://github.com/evanmiller/tiny_pq),放到源代码目录中,然后把rebar.config删除,重新编译OK



ps:本人水平有限,若哪里说的不对或是不清楚还请点出,谢谢^_^


猜你喜欢

转载自diaocow.iteye.com/blog/1734253