千万级弹幕系统架构

一、技术难点

1)内核瓶颈

推送量大:加入100万用户在线,1s推送10条信息,相当于1000万条每秒的推送量

而Linux内核推送TCP的极限包频约为100万条每秒

2)锁瓶颈

加入需要维护100万在线用户的集合,一般使用字典结构进行存储

推送消息既遍历整个集合,顺序发送消息,耗时极长

而且要求推送期间客户端正常上下线,所以集合需要上锁

3)CPU瓶颈

因为浏览器与服务端通常采用JOSN格式通信,但是JSON编码是一个非常消耗CPU资源的过程

二、解决方案

1)内核瓶颈优化方向

减少网络小包发送,如可将同一秒内的N条消息合并成一条消息,合并后,每秒推送的次数只等于在线链接数

2)锁瓶颈优化方向

大锁拆分成小锁,如将连接打散到多个集合中,使每个集合都拥有自己的锁,然后使用多线程并发推送至多个集合,避免锁竞争。接下来将使用读写锁取代互斥锁,使多个推送任务可以并发遍历相同的集合

3)CPU瓶颈优化方向

减少重复计算,如将JSON编码前置,编码一次,然后直接推送到100万用户,这样合并后可使N条消息只需编码一次即可

三、结构图

1、单机架构原理图

单机瓶颈:1)维护海量长连接需要耗费极大的内存(内存是很宝贵的)

                  2)消息推送的瞬间会消耗大量的CPU资源,

                  3)消息推送瞬时带宽高达400~600MB(4~6Gbits)这也是其主要瓶颈。

2、分布式架构原理图

1)首先设计网关集群(Nginx分发任务)

 2)逻辑集群

基于HTTP/2协议向网关集群发送消息,(HTTP/2协议支持连接复用,用户RPC性能极佳)

统计基于HTTP/1协议对外提供推送API,(HTTP/1对业务更加友好)

猜你喜欢

转载自blog.csdn.net/mortal5/article/details/81389719