Towards Biologically Plausible Deep Learning

Towards Biologically Plausible Deep Learning

Abstract

• 神经科学家长期以来一直批评深度学习算法与当前的神经生物学知识不兼容。我们探索了深度表征学习在生物学上更合理的版本，这里主要关注无监督学习，但开发了一种学习机制，可以解释有监督、无监督和强化学习。基本的学习规则的出发点是认为控制突触权重更新(Spike-TimingDependent可塑性)可以解释为在一些目标函数梯度下降法只要神经元动力学推动发射率更好的目标函数值(监督、非监督或reward-driven)。第二个主要思想是，这相当于变分EM算法的一种形式，即，近似而不是精确后视，由神经动力学实现。本文的另一个贡献是，在上述变分解释中更新隐藏状态所需的梯度可以使用一种近似来估计，该近似只需要向前和向后传播激活，通过对层学习形成去噪的自动编码器。最后，我们扩展了自动编码器的概率解释理论，以验证基于去噪自动编码器生成解释的改进采样方案，并在生成学习任务中验证了所有这些思想。

---

Introduction

• 深度学习和人工神经网络的灵感来自于大脑，但主要来自于计算的形式(还有很多生物学方面的内容，比如峰值的存在有待解释)。然而，目前缺乏的是可信的机器学习解释的学习规则，似乎存在于生物神经元，可以解释联合训练深度神经网络，即，通过一长串的神经连接来完成可信分配。因此，解决可信分配问题就意味着要确定负责预期结果的神经元和权重，并据此改变参数。尽管反向传播提供了一个机器学习的答案，但正如下一段所讨论的那样，它在生物学上并不合理。
• 让我们首先考虑这样一种说法:最先进的深度学习算法依赖于看起来在生物学上不可信的机制，例如梯度反向传播，即计算关于神经激活和参数的目标函数梯度的机制。关于反向传播的生物学合理性，存在以下难点:
  (1)反向传播计算(从输出层向下到更低的隐含层)是纯线性的，而生物神经元交错线性和非线性操作，
  (2)如果已知存在于大脑的反馈路径(与自己的突触,也许自己的神经元)被用来传播backprop信贷任务,他们需要精确的知识衍生品使用的操作点的非线性前馈path1相应的前馈计算，
  (3)类似地，这些反馈路径必须使用前馈连接的精确对称权值(连接相同，调换)，
  (4)真正的神经元通过(可能是随机的)二进制值(峰值)进行交流，而不是干净的连续值，
  (5)计算必须精确计时，以交替前馈和反向传播阶段(因为后者需要前者的结果)，
  (6)目前还不清楚产出目标将来自何处。
  本文提出的方法有雄心解决所有这些问题，尽管一些关于可能的生物实现的问题仍然存在，当然许多需要解释的生物学细节这里没有涵盖。