第一章の深学習基盤
言葉よりも素晴らしいグラフィックは、情報の量を伝えるために
図1-1は、人工知能、機械学習と深い学習との関係を明確に役立ちます。
図1-2は、新しいプログラミングパラダイムを学習明らかに異なる古典的なプログラミングパラダイムや機械を示しています。そのような音声認識、画像認識やその他の問題のような複雑な問題に直面するとき、2つのパラダイムは、一つは、これが閉じて少し簡単な状況で、より効果的であろう、ハンズオン知識とルールを教えられ、二つの異なる教授法につながりますビットはアップ伸ばしました。プログラミングパラダイムを機械学習では、アイデアを発見ルールを探索するためにマシンを聞かせて、直接ではなく、支配与えられた「FISHするデリゲートとして、人に魚を与える」に付着しています。人工知能機械学習のパラダイムをより柔軟で汎用性の高い可能になることは明らかです。
象徴人工知能のエキスパートシステムに基づいて、ステージ上の機械学習方法が続き、最も人気と成功になる、1880年代にピークに達しました。
ディープ学習は機械学習法、「学習」プロセスの最初の外観です。機械学習モデルの入力データ既知の入出力例から「学習」するための処理である意味のある出力に変換します。したがって、意味の入力データ表現を学習するために有用であるデータを変換する機械学習および深い学習のコア - この表現は、データが期待出力に近づけることを可能にします。「深さ」は、連続的なプレゼンテーション層の一連のことをいう、フィールドの深さは、連続的な層から学習表されるデータから学習するための新しい方法であり、機械学習を、学習の枝強調され、これらの層は、ますますに対応より意味のある表現。これらの階層表現の深さの研究では、ニューラルネットワークが得るというモデルで学ぶほとんど常にあります。可視ニューラルネットワークは、深い学習方法で使用される積層構造です。
これは、図1-6原画像のデジタル画像に差を変換するためのニューラルネットワークの深さが成長表され、前記最終的な結果についての情報は、ますます豊富であるから見ることができます。連続的なフィルタを介して情報、及び所望の出力結果により近いです。
これらの進歩的な共同研究の第二、中間表現、各層;進行性表現によって形成された第1の、ますます複雑化、層のようにして層：データのときに、2つの基本的な機能を学習するための深い学習があります考慮して変更の必要性は、上下のレベルが必要です。一緒に、これら2つの機能は、以前の深さの調査よりも成功機械学習方法になります。
要想在如今的应用机器学习中取得成功，你应该熟悉这两种技术:梯度提升机，用于浅层 学习问题;深度学习，用于感知问题。
三种技术力量推动着机器学习的进步：
2016 年，Google 在其年度 I/O 大会上展示了张量处理器(TPU)项目，它是一种新的芯片 设计，其开发目的完全是为了运行深度神经网络。据报道，它的速度比最好的 GPU 还要快 10 倍， 而且能效更高。
摩尔定律（英语：Moore's law）是由英特尔（Intel）创始人之一戈登·摩尔提出的。其内容为：集成电路上可容纳的晶体管数目，约每隔兩年便会增加一倍；经常被引用的“18个月”，是由英特尔首席执行官大衛·豪斯（David House）提出：预计18个月会将芯片的性能提高一倍（即更多的晶体管使其更快），是一種以倍數增長的觀測。[1]
半导体行业大致按照摩尔定律发展了半个多世纪，对二十世纪后半叶的世界经济增长做出了贡献，并驱动了一系列科技创新、社会改革、生产效率的提高和经济增长。个人电脑、因特网、智能手机等技术改善和创新都离不开摩尔定律的延续。
人工智能有时被称为新的工业革命。如果深度学习是这场革命的蒸汽机，那么数据就是煤炭， 即驱动智能机器的原材料，没有煤炭一切皆不可能。就数据而言，除了过去 20 年里存储硬件的 指数级增长(遵循摩尔定律)，最大的变革来自于互联网的兴起，它使得收集与分发用于机器学 习的超大型数据集变得可行。
如果有一个数据集是深度学习兴起的催化剂的话，那么一定是 ImageNet 数据集。它包含 140 万张图像，这些图像已经被人工划分为 1000 个图像类别(每张图像对应 1 个类别)。但 ImageNet 的特殊之处不仅在于其数量之大，还在于与它相关的年度竞赛 a。
除了硬件和数据之外，直到 20 世纪前十年的末期，我们仍没有可靠的方法来训练非常深 的神经网络。因此，神经网络仍然很浅，仅使用一两个表示层，无法超越更为精确的浅层方法， 比如 SVM 和随机森林。关键问题在于通过多层叠加的梯度传播。随着层数的增加，用于训练神 经网络的反馈信号会逐渐消失。
这一情况在 2009—2010 年左右发生了变化，当时出现了几个很简单但很重要的算法改进， 可以实现更好的梯度传播。
- 更好的神经层激活函数(activation function)。
- 更好的权重初始化方案(weight-initialization scheme)，一开始使用逐层预训练的方法， 6
不过这种方法很快就被放弃了。
- 更好的优化方案(optimization scheme)，比如 RMSProp 和 Adam。 只有这些改进可以训练 10 层以上的模型时，深度学习才开始大放异彩。
最后，在 2014 年、2015 年和 2016 年，人们发现了更先进的有助于梯度传播的方法，比如
批标准化、残差连接和深度可分离卷积。今天，我们可以从头开始训练上千层的模型。
深度学习的大众化
Keras 等用 户友好型库则使深度学习变得像操纵乐高积木一样简单。Keras 在 2015 年初发布，并且很快就 成为大量创业公司、研究生和研究人员转向该领域的首选深度学习解决方案。
深度学习有几个重要的性质，证明了它确实是人工智能的革命，并且能长盛不衰。20 年后 我们可能不再使用神经网络，但我们那时所使用的工具都是直接来自于现代深度学习及其核心 概念。这些重要的性质可大致分为以下三类。
- 简单。深度学习不需要特征工程，它将复杂的、不稳定的、工程量很大的流程替换为简 单的、端到端的可训练模型，这些模型通常只用到五六种不同的张量运算。
- 可扩展。深度学习非常适合在 GPU 或 TPU 上并行计算，因此可以充分利用摩尔定律。此外， 深度学习模型通过对小批量数据进行迭代来训练，因此可以在任意大小的数据集上进行 训练。(唯一的瓶颈是可用的并行计算能力，而由于摩尔定律，这一限制会越来越小。)
- 多功能与可复用。与之前的许多机器学习方法不同，深度学习模型无须从头开始就可以 在附加数据上进行训练，因此可用于连续在线学习，这对于大型生产模型而言是非常重 要的特性。此外，训练好的深度学习模型可用于其他用途，因此是可以重复使用的。举 个例子，可以将一个对图像分类进行训练的深度学习模型应用于视频处理流程。这样我 们可以将以前的工作重新投入到日益复杂和强大的模型中。这也使得深度学习可以适用 于较小的数据集。