笔记:两大路径解决AI芯片瓶颈——存储

目前终端AI芯片的性能瓶颈不在于算力,而在于存储——存储问题分为两个部分:带宽、功耗。一旦没有进行存储优化,那么芯片实际能够提供的计算力其实会大大低于理论值。

芯片存储优化的路径有两种:一是压缩神经网络大小、降低精度、减少数据量;二是设计更合理的数据流,减少数据资源在接口中来回往返的次数。

神经网络的压缩与简化则是一个学术界与工程界都在研究讨论的重要问题,目前的深度神经网络普遍较大,无论是在云端还是在终端,都会影响网络速度,增大功耗。

▲神经网络剪枝

这一领域现在较火的两大研究方向分别为是降低计算精度(比如从32比特到8比特)、以及剪枝(Purne)先构造好整个算法网络,然后再尝试消除多余的节点,压缩网络大小。

▲设计更合理的数据流

优化设计数据流这方面,则是探境科技的优势所在。如果将多次被重复使用的数据放在离计算资源较近的地方,则可以大大讲少数据来回“搬运”的次数,把芯片的性能跟功耗降到最低。

 

2018.08.02

https://mp.weixin.qq.com/s/RIc8jtysTcYFaFOhrmb3nA

猜你喜欢

转载自blog.csdn.net/zhanshen112/article/details/81366925