RBM
受限玻尔兹曼机：后面有专门章节介绍。书中这里多次提到，感觉这个书的顺序也很不合理啊，很多这种问题。。。
欠完备自编码器
编码输出维度小于输入的编码器称为欠完备自编码器，可以得到有效特征。
正则自编码器
编码输出维度大于等于输入的编码器称为过完备自编码器。可能学不到任何有用信息
稀疏自编码器：
其中g(h) 是解码器输出，h是编码器输出。即h = f(x)
去噪自编码器DAE：最小化重构误差
收缩自编码器CAE：类似稀疏编码的惩罚项，x变化较小时，目标变化也不大，可反映训练数据的分布。
后面会有详细介绍。
表示能力、层的大小和深度
和介绍深度网络优势一样，深度的好。。训练方式是通过训练一堆浅层自编码器来贪心预训练深度架构。
随机编码器和解码器
包含噪声的编解码吧就是
去噪自编码器
通过加噪声的样本经过编解码后和原有样本比对得到损失函数。学习结果可以产生一种向量场。
使用自编码器学习流形
收缩自编码
添加正则项鼓励f的导数尽可能小。
CAE:
预测稀疏分解
PSD:用于无监督特征学习，后面章节会有介绍。
自编码器的应用
主要应用于降维、降维之后可应用于信息检索。通过降维后的数据，加上二值化，可以显著加速。同时每个维度二值化的数据可以很方便的搜索相近的项。如0100100和1100100等只有一位不一样的，可以认为是相似的。
通常在最后一层使用sigmoid进行二值化输出。需要通过添加噪声和加大输入的方式，将输出饱和，尽量输出0和1
