什么是人工神经网络

感知机(perceptron),是神经元间的直连感知

来自:https://www.youtube.com/watch?v=3JQ3hYko51Y

其中白色较亮的点是被激活(更兴奋)的神经元。

对于多层感知机,只是层数变多了,依旧是直连加反向传播

来自:https://www.youtube.com/watch?v=3JQ3hYko51Y

轮到现在流行的CNN, 只是比感知机多了卷积层:

来自:https://www.youtube.com/watch?v=3JQ3hYko51Y

到目前为止可以发现,所有连接权重的更新速度是一样的。即所有神经元的连接,在某个时间点的兴奋度低,但在下一个时间点的兴奋度可能很高!(因为反向传播才不管这么多),细想,不符合那句老话:“Neurons that fire together wire together”。此刻兴奋的神经元在下一时刻应该惯性地也比较兴奋才对

这就引出了脉冲神经网络(SNN)的想法,神经元兴奋度不应该是一瞬间更新的,而是慢慢衰减的,衰减的过程中有机会向更深的网络激活兴奋区,最后,激活的兴奋区才是最后的预测判别结果:

来自:https://www.youtube.com/watch?v=3JQ3hYko51Y

事实上,David认为脉冲神经网络(SNN)更是对目前神经网络时间尺度单一的不满。一些神经科学家已经指出,

发布了109 篇原创文章 · 获赞 49 · 访问量 12万+

猜你喜欢

转载自blog.csdn.net/txpp520/article/details/104604505