首先简单介绍一下人工神经网络，也叫ANN。
很多机器学习算法的灵感来自大自然，而最大的灵感来自我们的大脑，我们如何思考、学习和做决定。有趣的是，当我们触摸到热的东西时，我们身体里的神经元将信号传递给大脑的。然后，大脑产生冲动，从热的区域撤退。
神经网络的发展可以追溯到二战时期，那时候先辈们正想着如何用人类的方式去存储和处理信息，于是他们开始构建计算系统。由于当时计算机机器和技术的发展限制，这一技术并没有得到广泛的关注和应用几十年来，神经网络之父Hiton始终坚持计算机能够像人类一样思考，用直觉而非规则。尽管这一观点被无数人质疑过无数次，但随着数据的不断增长和数据挖掘技术的不断进步，神经网络开始在语音和图像等方面超越基于逻辑的人工智能。
几乎是一夜间，神经网络技术从无人相信变成了万人追捧。
什么是人工神经网络
人工神经网络：是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。
这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，并具有自学习和自适应的能力。
简单来说，就是通过大量的样本训练神经网络，得到结论。接着就可以输入新的信息，看最后得出怎样的回应。
例如，周杰伦周末在北京开演唱会，班主任会考虑时间、地点、价格、天气、是否有同伴，这些因素然后根据这些判断因素，做出是否去看演唱会的决定。
从班主任接收到演唱会信息，到做出相应判断，这整个过程就是神经网络运行的过程。
什么是反向传播
把反向传播看作是我们有时从父母、导师、同伴那里得到的反馈机制。反馈帮助我们成为一个更好的人。
反向传播是一种快速的学习算法。它告诉我们，当我们改变权重和偏差时，成本函数会发生怎样的变化。从而改变了神经网络的行为。
不需要深入研究反向传播的详细数学。在反向传播中，我们计算每个训练实例的成本对权重的偏导数和成本对偏差的偏导数。求所有训练样本的偏导数的平均值。
对于我们的单个数据点，我们确定每个权值和偏差对错误的影响程度。基于这些权值对错误的影响程度，我们同时调整所有权值。
对于使用批量梯度下降(GD)的所有训练数据，可以更新一次权值;对于使用随机梯度下降(SGD)的每个训练示例，可以更新一次权值。
对于不同的权重，我们使用GD或SGD重复步骤1到步骤5。
随着权重的调整，某些节点将根据激活函数打开或关闭。
在我们的天气例子中，温度与预测多云的相关性较小，因为夏季的温度可能在70度以上，而冬季仍然是多云的，或者冬季的温度可能在30度或更低，但仍然是多云的。在这种情况下，激活函数可以决定关闭负责温度的隐藏节点，只打开可见度节点，以预测输出不是晴天。
学习神经网络
学习人工智能神经网络，我这有一份最全面的《人工智能自学视频》，足足有60G，分享给你!
整理了很久，非常全面。包括一些人工智能基础入门视频+AI常用框架实战视频、图像识别、OpenCV、NLQ、YOLO、机器学习、Pytorch、Tensorflow、计算机视觉、深度学习与神经网络等视频、课件源码、国内外知名精华资源、AI热门论文、行业报告等。工众号：AI技术星球，回复关键词“289”即可获得一整份全套的AI学习路线。小伙伴也可以私信我分享，希望可以帮助到有需要的人。