最近在读老师推荐读的 《神经网络与机器学习》 一书，这本书是 邱锡鹏 教授所著，内容所讲的基于神经网络的深度学习方法是近年来经过大量实践并取得很好成果的一种很通用的方法，也是近年来人工智能领域中最活跃的分支之一。
由于我目前的研究方向主要为语音识别方向，所以就希望能够在锡教授所著的这本书中求得一些科学的研究方法，目前这本书我还没有读完，但是这本书所讲的各部分内容浅显易懂，深入浅出，有很强的数学基础铺垫，讲解也很全面，我也始终相信一句话： 不积跬步无以至千里，所以我就先将目前所学的内容做个总结。一来以便日后自己查阅方便，也希望可以给别人提供一点帮助。
1.机器学习
机器学习 (
)是指从有限的观测数据中学习(或 “猜测”)出具有一般性的规律，并利用这些规律对未知数据进行预测的方法,在实际任务中的机器学习模型一般会包含以下几个步骤：
- 数据预处理： 经过数据的预处理，如去除噪声等。比如在文本分类中，去除
停用词等。- 特征提取： 从原始数据中提取一些有效的特征。比如在图像分类中，提取边
缘、尺度不变特征变换（Scale Invariant Feature Transform，SIFT）特征等。- 特征转换： 对特征进行一定的加工，比如降维和升维。降维包括特征抽取
（Feature Extraction）和特征选择（Feature Selection）两种途径。常用的特
征转换方法有主成分分析（Principal components analysis，PCA）、线性判
很多特征转换方法也都是机别分析（Linear Discriminant Analysis）等。
器学习方法。- 预测： 机器学习的核心部分，学习一个函数进行预测。
实际上，很多的机器学习问题变成了特征工程（Feature Engineering）问题。开发一个机器学习系统的主要工作量都消耗在了预处理、特征提取以及特征转换上。
就拿我目前在研究的语音识别方向来说，其目前的工作难度也主要集中在数据的预处理、特征的提取以及特征转换上。
2.表示学习
如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能，那么这种学习就是可以叫做表示学习（Representation Learning）。在表示学习中，有两个核心问题：
- 一是"什么是一个好的表示"
- 二是"如何学习到好的表示"
当然，这里所说的"好的表示"，是一个很宽泛的概念，没有一个确切的标准，但一般而言，一个好的表示具有以下几个优点：
- 具有很强的表示能力，即同样大小的向量可以表示更多信息。
- 可以使后续的学习任务变得更加简单。
- 具有一般性，是任务或者是领域独立的。
在机器学习中，我们经常使用两种方式来表示特征：局部表示（Local Representation）和分布式表示（Distributed Representation）。
3.深度学习
为了学习一种好的表示，需要构建具有一定"深度"的模型，并通过学习算法让模型自动学习出好的特征表示(从底层特征，到中层特征，再到高层特征)，从而最终提升预测模型的准确率。这里的这个深度模型就是深度学习（Deep Learning,DL）。深度学习是机器学习的一个子问题，其主要目的就是从数据中自动学习到有效的特征表示。
下图给出了深度学习的数据处理流程：
深度学习是将原始的数据特征通过多步的特征转换得到一种特征表示，并进一步输入到预测函数得到最终结果。。从某种意义上讲，深度学习也可以看作是一种强化学习（Reinforcement Learning，RL），每个内部组件并不能直接得到监督信息，需要通过整个模型的最终监督信息得到，并且有一定的延时性。
4.端到端学习
端到端学习（End-to-End Learning），也称端到端训练，是指在学习过程中不进行分模块或分阶段进行训练，直接优化任务的总体目标。在端到端学习中，一般不需要明确地给出不同模块或阶段的功能，中间过程不需要人为干预。端到端学习的训练数据为“输入-输出”对的形式，无需提供其它额外信息。因此，端到端学习和深度学习一样，都是要解决贡献度分配问题。目前，大部分采用神经网络模型的深度学习也可以看作是一种端到端的学习。
5.神经网络
目前，深度学习采用的模型主要是神经网络模型， 其主要原因是神经网络模型可以使用误差反向传播算法，从而可以比较好地解决贡献度分配问题。 只要是超过一层神经网络都会存在贡献度分配问题，因此超过一层的神经网络都可以看作是深度学习模型。随着深度学习的快速发展，模型深度也从早期的5 ∼ 10 层到目前的数百层。随着模型深度的不断增加，其特征表示的能力也越来越强，从而使后续的预测更加容易。
随着神经科学、认知科学的发展，我们逐渐知道人类的智能行为都和大脑活动有关。人类大脑是一个可以产生意识、思想和情感的器官。 受到人脑神经系统的启发，早期的神经科学家构造了一种模仿人脑神经系统的数学模型，称为人工神经网络，简称神经网络。 在机器学习领域，神经网络是指由很多人工神经元构成的网络结构模型，这些人工神经元之间的连接强度是可学习的参数。
从系统观点看，人工神经网络是由大量神经元通过及其丰富和完善的连接构成的自适应非线性动态系统。
