有序网络，融合树结构到LSTM网络

版权声明：本文为博主CSDN Rosefun96原创文章。 https://blog.csdn.net/rosefun96/article/details/88650285

1.模型

思想：如何一个单元更新，接下来在其后面的神经元也接着更新。

（c）在每个时间步骤可视化每组神经元的更新神经元的比率。 在每个时间步，给定输入字，深灰色块被完全更新，浅灰色块被部分更新。 三组神经元具有不同的更新频率。 较高的组更新频率较低，较低的组更新频率更高。

在LSTM内部使用 cumsum激活函数,用于更新。（增加拓扑信息，反映独立单元的排序关系）。

---

参考：
1.ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS ；
2.Github