2020-3-14 深度学习笔记14 - 自编码器 3（ 表示能力、层的大小和深度，随机编码器和解码器）

第十四章 自编码器

官网
英文
推荐

2020-3-8 深度学习笔记14 - 自编码器 1（欠完备自编码器）
2020-3-8 深度学习笔记14 - 自编码器 2（正则自编码器 - 稀疏自编码器（增加惩罚项） / 去噪自编码器（改变重构误差项）/ 惩罚导数作为正则）

表示能力、层的大小和深度

自编码器通常只有单层的编码器和解码器，但这不是必然的。实际上深度编码器和解码器能提供更多优势。

自编码器属于前馈网络，编码器和解码器各自都是一个前馈网络，因此可以从深度结构中获得好处。

万能近似定理保证至少有一层隐藏层且隐藏单元足够多的前馈神经网络能以任意精度近似任意函数（在很大范围里），这是非平凡深度（至少有一层隐藏层）的一个主要优点。

但是，从输入到编码的映射是浅层的。 这意味这我们不能任意添加约束，比如约束编码稀疏。 深度自编码器（编码器至少包含一层额外隐藏层）在给定足够多的隐藏单元的情况下，能以任意精度近似任何从输入到编码的映射。

训练深度自编码器的普遍策略是训练一堆浅层的自编码器来贪心地预训练相应的深度架构。 所以即使最终目标是训练深度自编码器，我们也经常会遇到浅层自编码器。

随机编码器和解码器

自编码器本质上是一个前馈网络，可以使用与传统前馈网络相同的损失函数和输出单元。

在自编码器的基础上，随机编码器的形成过程为：在编码器和解码器注入一些噪声，使得它们的输出是来自分布的采样。

随机编码器结构如上图。其中编码器和解码器包括一些噪声注入，而不是简单的函数。这意味着可以将它们的输出视为来自分布的采样（对于编码器是p_encoder(h｜x)，对于解码器是p_decoder(x｜h)）

任何潜变量模型 $p_{\text{model}}(h, x)$定义一个随机编码器
$p_{encoder}(h∣x)=p_{model}(h∣x)$
以及一个随机解码器
$p_{decoder}(x∣h)=p_{model}(x∣h)$

通常情况下，编码器和解码器的分布没有必要是与唯一一个联合分布 $p_{\text{model}}(x, h)$相容的条件分布。 在保证足够的容量和样本的情况下，将编码器和解码器作为去噪自编码器训练，能使它们渐近地相容。