版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
《Deep Learning Recommendation Model for Personalization and Recommendation Systems》
模型结构：dense特征，经过bottom MLP的变换，得到一个embedding; 和类别特征的embedding们，两两之间做向量点乘（类似FM的思想），得到的很多乘积串成一个向量，输入到top MLP里面，最后过sigmoid得到点击概率；
结合了2种并行：
Model并行：类别Embedding占内存太大，所以存放在多个device上；
Data并行：top MLP的参数量小，所以每个device上都复制一份，但是处理不同的训练数据；
butterfly all-to-all:
input里的每个Device，放的是自己那部分的embedding们，3种颜色各表示1/3的mini-batch的embedding们；
output里的每个Device，放的是自己这1/3个mini-batch所需的所有embedding们；
Data并行那里，每个Device上的梯度都要AllReduce一把，同步更新所有Device上的MLP模型参数；
Facebook用的是自研的2socket-CPU+8卡GPU一体机；似乎没有使用多机分布式；
实验了全部使用CPU和全部使用GPU，但是没有说明白最优的组合应该是哪部分使用CPU哪部分使用GPU(也许考虑到跟机型有关？）
使用Adagrad比SGD要好0.5%左右；使用Adagrad时，DLRM比DCN只有微弱优势（0.2%？）；就这效果，也敢自称state-of-the-art?