人工智能、机器学习、深度学习的关系
人工智能（AI，Artificial Intelligence）：人工智能的目标使计算机像人类一样思考学习。如果一台机器通过了“图灵测试”，那么这台机器就具有人工智能。图灵测试：人类与机器通过电传设备进行对话，如果人类无法根据这个对话过程判断对方是人类还是机器，那么就称通过图灵测试。
机器学习（Machine Learning）：机器学习是一种统计学方法计算机利用已有的数据，得出某种模型，再利用此模型预测结果。机器学习是人工智能的分支。机器学习是实现人工智能的一种方法，是人工智能的子集。
深度学习（Deep Learning）：是深层次的神经网络，是机器学习的一种实现方法，是机器学习的子集。
关于机器学习
机器学习的三要素：数据、算法、算力。缺一不可。
机器学习和传统计算机运算的不同
传统的计算机计算：传统的计算机计算是依照的“冯诺依曼原理”，指令和数据都被预先存储，按照指令先后顺序，逐条读取并运行。特点是输出是特定的。
机器学习：先大量读取已有数据，得出模型。在输入新的数据，输出的是概率。
机器学习最主要的应用：预测、分类。
机器学习类型
监督学习（Supervised Learning）：将成对的已经标记好的输入输出经验数据作为一个输入进行学习，用来预测输出结果，是从有正确答案的例子中进行学习。按照任务类型可简单分为：分类问题和回归问题。
无监督学习（Unsupervised Learning）：在数据中发现一些规律。分为：聚类问题和降维问题
半监督学习：介于监督学习和非监督学习之间的学习，一种增强学习，问题可以通过决策来获得反馈，但是反馈与某一决策没有直接的关系。
增强式学习（Reinforcement Learning）：增强式学习借助定义动作、状态、奖励的方式，不断训练机器循序渐进，学会执行某项任务的算法，常用用于动态系统及机器人控制等
深度学习的架构
多层感知机（Multi-Layer Perceptron）：多层全连接层组成；
深度神经网络（Deep Neural Network，DNN）：就是很深层的神经网络
卷积神经网络（Convolutional Neural Network，CNN）：多层卷积层+全连接层
递归神经网络（Recurrent Neural Network，RNN）
真假阴阳
真阳性（True Positive）：正确的识别出目标；预测为正，实际也为正；
假阳性（False Positive）：错误的识别出目标；预测为正，实际为负；
真阴性（True Negative）：正确识别非目标；预测为负，实际为负；
假阴性（False Negative）：错误识别非目标；预测为负，实际为正；
注：预测和实际一致称为“真”，不一致称为“假”；预测结果为“正”，则为“阳”，预测结果为“负”，则为“阴”。
计算机中神经网络的发展
三起两落
迁移学习
深度学习下的迁移学习 旨在利用 源任务数据 辅助 目标任务数据下 的学习。迁移学习适用于 源任务数据 比 目标任务数据多，并且 源任务中 学习得到的 低层特征 可以帮助 目标任务 的学习的情形。
在计算机视觉领域，常用的源任务数据是ImageNet。对ImageNet预训练模型的利用通常有两种方式：（1）固定提取器。用ImageNet预训练模型提取目标任务数据的高层数据。（2）微调（Fine-tuning）。以ImageNet预训练模型 作为目标任务模型的初始化权值，之后在目标任务数据上进行微调。
多任务学习
多任务学习（muiti-task learning）,与其针对每个任务训练一个小网络，深度学习下的多任务学习旨在训练一个大网络以同时完成全部任务。
端到端的学习
端到端的学习（end-to-end learning）,深度学习下的 端到端学习 旨在通过一个深度学习网络直接学习 从 数据的原始形式 数据 的 标记的映射。端到端的学习并不应该作为我们的一个追求目标，是否采用端到端的学习的一个重要的因素是：有没有足够的数据对应端到端的过程，以及我们有没有一些领域知识能够用于整个系统的一些模块。