【论文学习8】TernGrad: Ternary Gradients to Reduce Communication in Distributed Deep Learning

演讲摘要（即论文摘要）

作者视频讲解：https://www.youtube.com/watch?v=WWWQXTb_69c&feature=youtu.be&t=20s

摘要

分布式训练的瓶颈为同步梯度和参数的高网络通信成本。在论文中，我们提出了三元梯度来加速分布式学习。只需要一个三元数组{-1,0,1}就可以减少通信时间。在梯度有界的前提下，我们数学证明了TerGrad的收敛性。在边界指导下，我们提出了分层的三元化和梯度裁剪来提高收敛性。实验证明可以提升准确性。

作者主页：http://www.pittnuts.com/

PPT链接：https://github.com/wenwei202/terngrad/blob/master/NIPS17-TernGrad-slides-v3.pdf