有些人会觉得现在市场上有很多深度学习引擎的框架,比如tensorflow, pytorch, caffe等,为什么还需要加速呢,很简单,虽然深度学习的技术发展火热,也有很多大牛,但是深度学习框架在技术上目前并没有收敛。这种事就像大数据分析hadoop一样,之前并没有成熟框架来处理分布式数据,经过很多年沉淀,现在hadoop已经成工业标准,后来内存的计算用spark。深度学习框架也是一样,由于深度学习算法还没有完全成熟以及与传统硬件计算力的不同(对新的芯片计算能力有需求),所以深度学习框架并没有得到真正的收敛。下面我们看一下袁进辉老师对深度学习架构的优化有什么办法。
袁进辉老师首先分析已有框架的优缺点,然后分享深度学习框架应该怎么加速(数据并行,模型并行,流水并行)的观点。
深度学习的计算力需求
深度学习引擎的现状
为何已有深度学习引擎无法高效率运行
深度学习引擎的最优架构
总结
视频转载自腾讯视频
最后后台回复“神经网络与深度学习中文版”,免费给您送书。
扫描二维码关注公众号,回复:
165494 查看本文章
轻轻一扫 欢迎关注~