The first chapter depth learning foundation
Nice graphics than words to convey the amount of information
Figure 1-1 help clarify the relationship between artificial intelligence, machine learning and deep learning.
Figure 1-2 illustrates clearly different classic programming paradigms and machine learning a new programming paradigm. Two Paradigms leads to two different teaching methods, one is taught hands-on knowledge and rules, this would be more effective in closed slightly simple situations; when faced with complex problems, such as speech recognition, image recognition and other problems a bit stretched up. The machine learning programming paradigm is adhering to the "Give a man a fish, as delegate to fish" idea, let the machine to explore the discovery rules, rather than given directly rule. It is clear that artificial intelligence machine-learning paradigm enables more flexible and versatile.
Based on symbolism artificial intelligence expert system reached its peak in the 1880s, followed by machine learning methods on stage and become the most popular and successful.
Deep learning is a machine learning method, first look at the "learning" process. Machine learning models the input data into meaningful output, which is a process for "learning" from a known input and output examples. Therefore, the core of machine learning and deep learning that meaningfully transform data that is useful for learning input data representation - This representation allows data to be closer to the expected output. "Depth" refers to a series of consecutive presentation layer, the depth of field is a branch of learning machine learning, which is a new method for learning from data represented, emphasizing learning from a continuous layer, these layers correspond to increasingly the more meaningful representation. In depth study of these hierarchical representation is almost always learn by model called neural networks get. Visible neural network is a stacked-layer structure used in deep learning method.
It can be seen from Figures 1-6 the depth of the neural network to convert the difference into a digital image of the original image represented growing, and wherein the information about the final result is more and more abundant. Information through continuous filter, and the desired output result closer.
There are deep learning for learning from data when two fundamental features: first, increasingly complex formed by progressive representation, layer by layer manner; second, intermediate representation of these progressive joint study, each layer taking into account the need for change requires upper and lower levels. Together, these two features makes the machine learning method more successful than the previous depth study.
要想在如今的应用机器学习中取得成功，你应该熟悉这两种技术:梯度提升机，用于浅层 学习问题;深度学习，用于感知问题。
三种技术力量推动着机器学习的进步：
2016 年，Google 在其年度 I/O 大会上展示了张量处理器(TPU)项目，它是一种新的芯片 设计，其开发目的完全是为了运行深度神经网络。据报道，它的速度比最好的 GPU 还要快 10 倍， 而且能效更高。
摩尔定律（英语：Moore's law）是由英特尔（Intel）创始人之一戈登·摩尔提出的。其内容为：集成电路上可容纳的晶体管数目，约每隔兩年便会增加一倍；经常被引用的“18个月”，是由英特尔首席执行官大衛·豪斯（David House）提出：预计18个月会将芯片的性能提高一倍（即更多的晶体管使其更快），是一種以倍數增長的觀測。[1]
半导体行业大致按照摩尔定律发展了半个多世纪，对二十世纪后半叶的世界经济增长做出了贡献，并驱动了一系列科技创新、社会改革、生产效率的提高和经济增长。个人电脑、因特网、智能手机等技术改善和创新都离不开摩尔定律的延续。
人工智能有时被称为新的工业革命。如果深度学习是这场革命的蒸汽机，那么数据就是煤炭， 即驱动智能机器的原材料，没有煤炭一切皆不可能。就数据而言，除了过去 20 年里存储硬件的 指数级增长(遵循摩尔定律)，最大的变革来自于互联网的兴起，它使得收集与分发用于机器学 习的超大型数据集变得可行。
如果有一个数据集是深度学习兴起的催化剂的话，那么一定是 ImageNet 数据集。它包含 140 万张图像，这些图像已经被人工划分为 1000 个图像类别(每张图像对应 1 个类别)。但 ImageNet 的特殊之处不仅在于其数量之大，还在于与它相关的年度竞赛 a。
除了硬件和数据之外，直到 20 世纪前十年的末期，我们仍没有可靠的方法来训练非常深 的神经网络。因此，神经网络仍然很浅，仅使用一两个表示层，无法超越更为精确的浅层方法， 比如 SVM 和随机森林。关键问题在于通过多层叠加的梯度传播。随着层数的增加，用于训练神 经网络的反馈信号会逐渐消失。
这一情况在 2009—2010 年左右发生了变化，当时出现了几个很简单但很重要的算法改进， 可以实现更好的梯度传播。
- 更好的神经层激活函数(activation function)。
- 更好的权重初始化方案(weight-initialization scheme)，一开始使用逐层预训练的方法， 6
不过这种方法很快就被放弃了。
- 更好的优化方案(optimization scheme)，比如 RMSProp 和 Adam。 只有这些改进可以训练 10 层以上的模型时，深度学习才开始大放异彩。
最后，在 2014 年、2015 年和 2016 年，人们发现了更先进的有助于梯度传播的方法，比如
批标准化、残差连接和深度可分离卷积。今天，我们可以从头开始训练上千层的模型。
深度学习的大众化
Keras 等用 户友好型库则使深度学习变得像操纵乐高积木一样简单。Keras 在 2015 年初发布，并且很快就 成为大量创业公司、研究生和研究人员转向该领域的首选深度学习解决方案。
深度学习有几个重要的性质，证明了它确实是人工智能的革命，并且能长盛不衰。20 年后 我们可能不再使用神经网络，但我们那时所使用的工具都是直接来自于现代深度学习及其核心 概念。这些重要的性质可大致分为以下三类。
- 简单。深度学习不需要特征工程，它将复杂的、不稳定的、工程量很大的流程替换为简 单的、端到端的可训练模型，这些模型通常只用到五六种不同的张量运算。
- 可扩展。深度学习非常适合在 GPU 或 TPU 上并行计算，因此可以充分利用摩尔定律。此外， 深度学习模型通过对小批量数据进行迭代来训练，因此可以在任意大小的数据集上进行 训练。(唯一的瓶颈是可用的并行计算能力，而由于摩尔定律，这一限制会越来越小。)
- 多功能与可复用。与之前的许多机器学习方法不同，深度学习模型无须从头开始就可以 在附加数据上进行训练，因此可用于连续在线学习，这对于大型生产模型而言是非常重 要的特性。此外，训练好的深度学习模型可用于其他用途，因此是可以重复使用的。举 个例子，可以将一个对图像分类进行训练的深度学习模型应用于视频处理流程。这样我 们可以将以前的工作重新投入到日益复杂和强大的模型中。这也使得深度学习可以适用 于较小的数据集。