神经网络模型为什么要分层?可以不可以打破层次结构？

为什么神经网络模型设计成分层结构？能打破这种结构吗？例如下面这样一个结构，不存在循环链路，应该是一个可以执行的网络模型，但是其中没有清晰的分层结构。神经网络模型需要研究这种类型的模型吗？

其实，这种类型的网络模型是可以转化成分层结构的，令 $x'=x, w'=w$，如下图结构，实际上与上图等价：

一个无环的有向图结构，总是可以增加虚拟节点转化成分层结构的。因此，神经网络理论研究中，只需要研究分层结构就行了。