001 - AI、ML与DL的关系
从涵盖范围上来讲，人工智能（AI）大于机器学习（ML）大于深度学习（DL）
- 人工智能（AI）：能够感知、推理、行动和适应的程序；
- 机器学习（ML）：能够随着数据量的增加不断改进性能的算法；
- 深度学习（DL）：是机器学习的一个子集，利用多层神经网络从大量数据中进行学习；
002 - 深度学习
“深度学习是一种特殊的机器学习，通过学习将世界使用嵌套的概念层次来表示并实现巨大的功能和灵活性，其中每个概念都定义为与简单概念相关联，而更为抽象的表示则以较不抽象的方式来计算。”
003 - ML与DL的主要区别
机器学习(Machine Learning, ML)
- 一个电脑程序要完成任务（Tasks），如果电脑获取的关于T的经验（Experience）越多就表现（Performmance）得越好，那么就可以说这个程序‘学习’了关于T的经验
- 首先人工设置或定义一些重要“指标”和“特征”，就这些“特征”进行编码，然后机器通过分析数据中这些特征，来找到相应的模式（怎样的特征组合会导致怎样的结果）
- 概率论、统计学、逼近论、凸分析、算法复杂度理论等，算法基本固定
深度学习(Deep Learning, DL)
- 深度学习是一种特殊的机器学习，高性能而且灵活
- 概念组成的网状层级结构：底层的特征（Low-level features）组合为中间层特征（Mid-level features），然后进一步组合为高层特征（High-level features）
- 相比机器学习，深度学习试图自己从数据中学习特征，自动找出所需要的重要特征
- 算法更新快，概括为两个方向，图像处理和语音处理，两者分别主要对应卷积神经网络和递归神经网络的应用
机器学习对比深度学习
机器学习 - 数据依赖：当数据规模较小时，传统的机器学习算法使用制定的规则，性能会比较好 - 硬件依赖：一台普通的笔记本即可 - 特征工程：几乎所有的特征都需要通过行业专家确定然后编码为一种数据类型，大多数机器学习算法的性能依赖于所提取的特征的准确度 - 解决问题的方式：通常会将问题分解为多个子问题并逐个子问题解决最后结合所有子问题的结果获得最终结果 - 训练时间：训练消耗的时间相对较少，依据据场景，几秒钟到几小时不等 - 可理解性：算法的特征和规则清晰明确，可以解释决策背后的推理 深度学习 - 数据依赖：随着数据规模的增加其性能也不断增长，更适合数据量大的场景 - 硬件依赖：需要进行大量的矩阵运算，需要有GPU的参与，更依赖安装GPU的高端机器 - 特征工程：尝试从数据中直接获取高等级的特征，削减了对每一个问题设计特征提取器的工作 - 解决问题的方式：一次性地、端到端地解决问题 - 训练时间：参数很多，因此训练算法需要消耗更长的时间，模型一旦训练好，运行预测任务会很快 - 可理解性：深度学习模型复杂，内部的特征和规则难以理解，可能无法解释结果是如何产生的
004 - 特征处理
- 特征处理是将领域知识放入特征提取器里面来减少数据的复杂度并生成使学习算法工作的更好的模式的过程。
- 特征处理过程很耗时而且需要专业知识。
005 - xxx
xxx