Neural Networks and Deep Learning习题解答--神经网络结构

神经网络与深度学习习题解答

Neural Networks and Deep Learning(作者 Michael Nielsen)书中第二章Using neural nets to recognize handwritten digits的A simple network to classify handwritten digits一节，该节简单说明了神经网络原理并给出一些启发式的思考。该节给出了一个问题

There is a way of determining the bitwise representation of a digit by adding an extra layer to the three-layer network above. The extra layer converts the output from the previous layer into a binary representation, as illustrated in the figure below. Find a set of weights and biases for the new output layer. Assume that the first 3 layers of neurons are such that the correct output in the third layer (i.e., the old output layer) has activation at least 0.99, and incorrect outputs have activation less than 0.01.

通过在上述的三层神经网络加一个额外的一层就可以实现按位表示数字。额外的一层把原来的输出层转化为一个二进制表示，如下图所示。为新的输出层寻找一些合适的权重和偏置。假定原先的3层神经网络在第三层得到正确输出（即原来的输出层）的激活值至少是0.99，得到错误的输出的激活值至多是0.01。

这里说的三层神经网络是用来对手写数字进行识别对网络，输入为784(28*28)个神经元，输出有10(0~9)个神经元，被激活的神经元所在的序号表示该网络输出对结果，比如输出为0010000000表示识别数字为2。现在的问题是如果再添加一层只有四个神经元的网络，那么原来有10个神经元的网络与这只有4个神经元的网络有什么关系，即如何设计这个网络，如何设计权重。

网络见上图，分析见下图。我们将0到9的4位二进制表示分别写出，4位从高位到低位分别用a、b、c和d表示。分析可知a位的数字仅仅由数字8和9决定，即当识别的数字位8或者9的时候，输出层的a位为1，是不是找到联系了！

而8和9在原来的输出层表示的是什么呢，8为0000000010，9为0000000001，那么是不是第三层的第8个神经元和第9个神经元对输出层的a位(即第一个神经元)对激励有积极作用。我们把这种积极作用用权重1表示，将其他没有积极作用对连接用权重-1表示。如下图所示。下面让我们来验证下。

a位的计算公式为 $$$output_a = \sigma(\sum_{n=1}^N w_n x_n$$)$ ，当输出为8的时候，我们需要研究的神经元部分的输入则为0000000010，故 $\sum_{n=1}^N w_n x_n=1$ ,故 $\sigma(z)>0.5$ ，这里通过阈值实现输出为1，则a位为1。当然，由题可知，1可能为0.99，0也可能为0.01，最坏的情况是 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.99 0.01，这样 $\sum_{n=1}^N w_n x_n=0.99-0.01*9=0.90$ ， $\sigma(z)>0.5$ 仍成立，因而结果仍然跟预期一致。当输出为4时，则10位神经元为0000100000，故 $\sum_{n=1}^N w_n x_n=-1$ ， $\sigma(z)<0.5$ ，通过阈值实现输出为0，则a位为0，和预期一致。这样10个神经元到输出层的第一个神经元的权重就确定来，依此类推，可以算出这10个神经元到其他3个输出神经元的权重。