4.1.20
1)原生NIO的问题
(1)NIO的类库和API复杂,使用麻烦,需要熟练掌握Selector、ServerSocketChannel、SocketChannel、ByteBuffer等;
(2)需要具备其它的额外技能: 熟悉java多线程编程,因为NIO编程涉及到Reactor模式,你必须对多线程和网络编程非常熟悉,
才能编写出高质量的NIO程序;
(3)开发工作量和难度都非常大,例如:客户端面临断线重连、网络闪断、半包读写、失败缓存、网络拥塞和异常流的处理等;
(4)JDK NIO bug: Epoll的bug导致Selector空轮询,导致cpu 100%,直到jdk 1.7该版本的问题依然存在,没有被根本解决;
2)Netty优点:
(1)设计优雅,适用于各种传输类型的统一API阻塞和非阻塞Socket,基于灵活可扩展的事件模型,可以清晰的分离关注点,高度可定制
的线程模型,单线程,一个或多个线程池;
(2)使用方便,详细记录的javadoc,用户指南和实例,没有其他依赖, jdk5-->netty 3.x jdk6-->netty 4.x就足够了;
(3)高性能、吞吐量更高,延迟更低,加上那号资源消耗,最小化不必要的内存复制;
(4)安全、完整的SSL/TLS和StartTLS支持;
(5)社区活跃，不断更新，版本迭代周期短,发现的bug可以被及时修复,同时,更多的新功能会被加入;
3)IO的线程模型:
(1)传统的阻塞I/O服务模型
黄色:对象
蓝色:线程
白色:方法api
特点:
采用阻塞式IO模式,获取输入的数据;
每个链接都需要独立的线程完成数据的:输入、业务处理、数据返回 逻辑Handler处理器;
问题:
并发数很大时,就会创建大量的线程,占用较大的系统资源;
连接创建后,如果当前线程没有数据可读,该线程会阻塞在read操作,造成线程资源浪费,cpu切换线程也浪费;
(2)Reactor(1.反应器模式 2.分发者模式[把业务分发给其中线程池中一个线程] 3.通知者模式[有连接的话,从阻塞处返回])
单Reactor单线程
单Reactor多线程
主从Reactor多线程: netty基于这个,并且做了一定的改进;
传统IO阻塞模型问题解决方案:
基于IO服用模型:多个连接共用一个阻塞对象,应用程序只需要在一个阻塞对象等待,无需阻塞等待所有连接,当某个连接有新的数据可以处理时,
操作系统通知应用程序,线程从阻塞状态返回,开始进行业务处理;
解决Handler的阻塞问题;
当连接过来时,先找到阻塞对象ServiceHandler,连接形成,把业务处理交给一个线程,然后根据线程池的空闲状态,进行分发处理;
基于线程池服用线程资源,不必再为每个连接创建线程,将连接完成后的业务处理任务分配给线程进行处理,一个线程可以处理多个连接的业务;
c1连接上后,让T1为他服务.
c2连接上后,让T2为他服务.
c3连接上后,让T3为他服务.
client集合-->ServerHandler-->线程池(业务处理)
线程池中一个线程可以对应多个连接;
Reactor模式总结:
1:Reactor模式,通过一个或者多个输入,同时传递给服务处理器的一种模式(基于事件驱动);
2:服务器端程序处理传入的多个请求,并将它们同步分派到相应的处理线程,因此Reactor模式也叫Dispatcher模式;
3:Reactor模式使用了IO复用监听事件,收到事件后进行分发给某个线程(进程),这点就是网络服务高并发处理的关键;
Reactor模式的核心组成:
Reactor:Reactor在一个单独的线程中运行,负责监听和分发事件,分发给适当的处理程序来对IO事件作出反应,它就像公司
的电话接线员,它接听来自客户端的电话并将线路转移给适当的联系人;
Handlers: 处理程序执行IO事件要完成的实际事件,类似于客户想要与之交谈的公司中的实际官员,Reactor通过适当的处理程序
来响应IO事件,处理程序执行非阻塞操作;
4)单Reactor单线程:
例子:之前的NIO群聊系统就是单Reactor单线程:
多个Client
Reactor(Select Dispatch)
Acceptor(accept)
处理请求Handler:
read
write
业务处理
缺点:Reactor和Handler实在一个线程里面;
如果高并发的话,正在处理一个任务,别的任务又来了,就很可能阻塞;
Reactor线程和 转发时Handler所在的线程是一个线程;
这样虽然不是之前的一个客户端对应一个线程,但是这样线程数也太少了吧,一个在read时,另外一个客户端来了,
必然要阻塞;
单Reactor单线程方案说明:
1:Select是前面的IO复用模型介绍的标准API,可以实现一个应用程序通过一个阻塞对象监听多路连接请求;
2:Reactor对象通过Select监听客户端请求事件,收到事件后,通过Dispatcher进行分发;
3:如果监听连接请求事件,则由Acceptor通过Accept处理连接请求,然后创建一个Handler对象处理连接完成
后的业务逻辑;
4:如果不是建立连接事件,则Reactor会分发调用连接对应的Handler来响应;
5:Handler会完成Read-->业务处理-->Send的完整业务流程;
综合案例: 服务器端调用一个线程通过多路复用搞定所有的IO操作(包括连接、读、写等),编码简单
清晰明了,但是如果客户单连接数量较多,将无法支撑,前面的NIO案例就属于这种模型;
优缺点分析:
1:优点: 模型简单,没有多线程,进程就爱你通信,竞争的问题,全部都在一个线程中完成;
2:缺点:
性能问题,只有一个线程,无法完全发挥多核CPU的性能,Handler在处理某个连接上的业务时,整个进程无法处理
其它连接事件,很容易导致性能瓶颈;
可靠性问题,线程意外终止,或者进入死循环,会导致整个系统通信模块不可用,不能接收和处理外部消息,
造成节点故障;
3:使用场景:
客户端的数量有限,业务处理非常迅速,比如：Redis的业务处理的时间复杂度O(1)的情况;
5)单Reactor多线程
(1)Reactor对象通过select监控客户单请求事件,收到事件后,通过dispatch进行分发;
(2)如果是建立连接请求,则由Acceptor通过accept处理连接请求,然后创建一个Handler对象处理连接后的各种事件;
(3)如果不是连接请求,则由Reactor分发调用连接对应的Handler来处理;
(4)Handler值负责响应事件,不做具体的业务处理,通过read读取数据后,会分发给后面的worker线程池的某个线程处理业务;
(5)worker线程池会分给独立的线程完成真正的业务,并将结果返回给Handler;
(6)Handler持有客户端的一个连接,将处理结果返回给客户端;
业务处理最费时间,因此一个巨大的改进就是:把耗时任务可以交给多个线程处理;
问题是: 单Reactor的话,阻塞在Handler读取这里了呢?
单Reactor多线程优缺点:
优点:
可以充分的利用多核CPU的处理能力;
缺点:
多线程会有数据共享和访问比较复杂,处理资源的竞争和异步问题;
Reactor处理了所有的事件的监听和响应,在单线程运行中,在高并发应用场景,容易出现性能瓶颈;
6)主从Reactor
一个子线程可以监听多个Client;
3级模式:
Reactor主线程
多个SubReactor
Workder线程池
工作原理:
针对单Reactor多线程模型中,Reactor在单线程中运行,高并发场景下很容易造成性能瓶颈,可以让Reactor在多线程中运行;
方案说明:
(1)Reactor主线程MainReactor对象通过select监听连接事件,收到事件后,通过Acceptor处理连接事件;
(2)当Acceptor处理连接事件后,MainReactor将连接分配给SubReactor;
(3)SubReactor将连接加入到连接队列进行监听,并创建Handler进行各种事件处理;
(4)当有新事件发生时,SubReactor就会调用对应的Handler处理;
(5)Handler通过Read读取数据,分发给后面的Worker线程处理;
(6)Worker线程池分配独立的Worker线程进行业务处理,并返回结果;
(7)Handler收到响应的结果后,再通过send将结果返回给client;
(8)Reactor主线程可以对应多个Reactor子线程,即MainReactor可以对应多个SubReactor;
优缺点:
(1)优点:
父线程与子线程的数据交互简单职责明确,父线程只需要接收新连接,子线程完成后续的业务处理;
父线程与子线程的数据交互简单,Reactor主线程只需要把心线程传给子线程,子线程无需返回数据;
(2)缺点:
编码复杂度较高;
结合实例:
Nginx主从多进程模型;
memcached:主从多线程模型;
Netty:主从多线程模型;
7)3种模式的小结:
(1)3种模式用生活案例来理解:
1:单Reactor单线程,前台接待员和服务员是同一个人,全程为顾客服务;
2:单Reactor多线程,1个前台接待员,多个服务员,接待员只负责接待;
3:主从Reactor多线程,多个前台接待员,多个服务生;
(2)主从Reactor具有如下的优点:
1:响应快,不必为单个同步事件所阻塞,虽然Reactor本身依然是同步的;
2:可以最大程度的避免复杂的多线程的同步问题,并且避免了多线程/进程的切换开销;
3:扩展性好,可以方便的通过增加Reactor实例个数来充分利用CPU资源;
4:复用性好,Reactor模型本身与处理逻辑无关,具有很高的服用性;
加缓存。。。缓存。。。分级
8)Netty模型--通俗版
(1)客户端去连接BossGroup,只关心Accept事件,Selector检测到连接请求,accept一下得到SocketChannel,
封装成NIOSocketChannel;
(2)WorkerGroup:
也有一个Selector,将第一步的NIOSocketChannel注册到WorkerGroup上面的Selector,也就是Worker线程(事件循环),
并进行维护,将具体的事物/事物(读取到的)交给一个Handler;
(3)当Worker线程监听到Selector中的通道发生了自己感兴趣的事件后就进行处理,就由Handler完成,
注意: Handler已经加入到通道了;
进阶版:
BossGroup: 由多个NIOEventLoop
9)Netty模型--详细版
NIOLoopGroup
(1)Netty抽象出两组线程池:
BossGroup:专门负责接收客户端的连接;
WorkerGroup:专门负责网络的读写;
(2)BossGroup和WorkerGroup类型都是NIOEventLoopGroup;
(3)NIOEventLoopGroup相当于一个事件循环组,这个组中含有多个事件循环,每一个事件循环是NIOEventLoop;
(4)NIOEventLoop表示一个不断循环的执行处理任务的线程,
每个NIOEventLoop都有一个Selector,用于监听绑定在其上的socket网络通讯;
(5)NIOEventLoopGroup可以有多个线程,即可以含有多个NIOEventLoop;
(6)每个BossNIOEventLoop执行的步骤有3步:
1:轮询Accept事件
2:处理Accept事件,与Client建立连接,生成NIOSocketChannel,并将其注册到某个
Worker NIOEventLoop上的selector
3:再去处理任务队列的任务,即runAllTasks
(7)Worker的NIOEventLoop循环执行的步骤:
1:轮训read,write事件
2:处理IO事件,即read write,在NIOSocketChannel处理;
3:处理任务队列的任务,即runAllTasks
Pipeline:包含了Channel,可以通过Pipeline得到Channel,真正的传送都是在通道运行的;
管道PipeLine里面包含了很多处理器,如:拦截机制、过滤机制
(8)每个Worker NIOEventLoop 要处理数据的话,是通过PipeLine(管道)执行的;
PipeLine中包含了Channel,即:通过PipeLine可以获取到对应的通道,管道中
维护了很多的处理器;
