大规模分布式深度网络

论文：https://www.cs.toronto.edu/~ranzato/publications/DistBeliefNIPS2012_withAppendix.pdf

译文：大规模分布式深度网络

摘要：

最近，无监督特征学习和深度学习的相关工作表明，训练大模型可以显著提高模型的性能。本文，我们考虑使用上万个CPU核心来训练有数十亿参数的深度网络问题。我们已经开发出名为DistBelief的软件框架，可以利用上千台机器组成的集群来训练大模型。