什么是神经网络
什么是神经元，其实我们初中学的线性回归方程，就可以看作一个简单的神经元。以房价预测为例，假设房价只和房屋大小有关系，如下图所示，我们已经有了一些样本，这些样本是离散的点，现在我们使用根据现有的数据，去建立一个模型，y = kx，这就是初中的线性回归，利用这些点求出k值，我们就可以认为模型建立完毕；当然，房价肯定不可能为负值，所以前一段我们简单的给它画成与x轴平行。
那么最后建立的这个函数（激活函数），就可以认为是一个简单的神经元，当我们给这个神经元一个值（房屋大小），相应的它就能给我们一个结果值，即该房屋的房价。
很明显，我们上面的说法肯定不合实际，现实生活中的房价远远要复杂的多，什么房屋面积、周围的设施（医院、学校）、卧室数量、城市贫富程度等等，所以我们需要一个更加切合实际的模型来预测房价，当然，相比上面也就变得更加复杂了。我们可以把一个个简单的神经元组合起来，来进行更加复杂的预测任务。
上图就是一个简单的神经网络，这个例子中的x是四个因素，y是预测价格，神经网络的神奇之处在于，你只需要输入x，它会输出y，所有的中间过程，它会自己完成。
神经网络的流行
现在基本上都是使用神经网络进行监督学习，目前深度学习在广告推荐上实现的效果很好，神经网络背后的基础理论早就出现了几十年，但是为什么近几年才逐渐火热呢？一个重要的原因就是因为数据量，随着手机、电脑等设备的普及，产生了大量的数据。在以前数据量小的时候，使用传统机器学习方法和使用神经网络方法表现的效果没有太大的差别，只有当数据量很大的时候，神经网络方法才能比较稳定的优于传统方法。
在使用神经网络实现相关任务时，我们更多的是靠自己的灵感，这是一个不断促进的过程，需要做的是，如果有新的想法，那么就去尝试，然后再验证效果；如此循环，不断优化，现在一些先进算法和计算机硬件的更新换代，也提升了计算速度，所以我们可以更快的尝试新的想法（一般还是很少出现需要训练一个月的情况）。
最后需要做一点约定，以后用m来表示训练集的大小。
说明
这是我学习吴恩达在网易云课堂开设的微专业——深度学习工程师所记录的笔记，笔记包含课堂内容和我个人的理解。为了方便自己理解，有些推导过程是我自己添加的，并不是完全的记录老师内容。因为这个课程是免费提供的，所以我也把笔记分享出来，笔记会持续更新，共同交流。课程地址：http://mooc.study.163.com/course/2001281002#/info
