すべてのアルゴリズムの概要を削減

1、プレーンなすべての削減

各2つのGPU間のネットワーク帯域幅は、総勾配1ギガバイト1ギガバイト/秒であると仮定し、

 

参考リンク

1）Baiduの全ての削減：

http://andrew.gibiansky.com/

https://github.com/baidu-research/baidu-allreduce

2）Horovod：

https://arxiv.org/pdf/1802.05799.pdf