课程来源：林轩田《机器学习技法》
课程地址：https://www.bilibili.com/video/av12469267/?p=1
1. x是用户特征，y是用户对电影的评分，可以用这样的两层网络来训练
2. 考虑到X是onehot过的，只有一个x是1，其它都是0，所以不需要再进行激活了，没有阈值要考虑，直接输入就输出，那么可以线性神经元。这时就称为线性神经网络
3. 估算的用户评分，就是先经过第一层转换V，然后第二层转换W。针对某个具体的电影，那么只要W第m列的值就行了
4. W是电影矩阵，V是用户转换矩阵，我们要做的就是预测值矩阵y和真实的用户评分矩阵r尽可能接近。定义损失函数
5. 我们一旦解出了该优化问题，那么就可以做到两件事
1）怎么做转换（V）
1）第二层的权重是多少（W）
6. 我们要做的就是把R拆成V*W
1）V可以认为学习了用户感兴趣的元素
2）W可以认为学习了电影包含的元素
7. 矩阵学习问题
1）因为有两个优化对象，可以考虑像kmeans那样，固定一个，然后优化另一个；固定另一个，然后优化一个
2）这种方法要被称为交替的最小二乘
3）具体过程
8. 矩阵分解与线性自动编码机
9. 原因是每次更新一行和一列
10. 使用SGD解矩阵分解（更常用）
在大规模矩阵中非常有效率。
11. 比赛中数据是有时间的，越新的数据对预测的影响越大，那么怎么把这个信息引入?
SGD最后搜寻的是数百个点，这数百个点对模型最后的效果影响很大。那么不用随机梯度下降了，而是越往后遇到越新的点的概率更高。
12. extraction model：
1）抽取特征
2）赋予权重
13. extraction model的优缺点：
1）优点：
a. 自动抽取特征
b. 能抽取足够强的特征
2）缺点：
a. 是非凸的最优化问题，容易陷入局部最优解
b. 容易过拟合