学习要点总结
定义
机器学习的形式化定义：假设用P（performance）来评估计算机程序在某个任务类T（task）上的性能，若一个程序通过利用经验E（experience）在T中的任务上获得了性能P的改善，则我们说关于T和P，改程序对E进行了学习。
文献原文：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P, improves with experience E. [1]
具体理解：使用经验，对计算机来说就是使用数据集，对学习算法进行训练，从而得到目标模型，目标模型可以对不止训练数据集内，包括数据集外的数据，完成预测或分类等任务。
基本术语
数据集（dataset）
样本（sample）、示例（instance）：一条数据记录。
属性（attribute）、或特征（feature）： 表示某方面性质或表现的事项。
维数（dimensionality）：特征个数d。称为d维样本空间。
训练、测试中使用的数据集分别称为训练集（training set）、测试集（testing set）。
标签（label）：样本的结果。期望的预测（prediction）值。
学习过程
监督学习（supervised learning）：算法训练过程中使用了训练数据的标签信息。
无监督学习（unsupervised learning）：训练中不使用练数据的标签信息。
归纳（induction）：从特殊性的具体样本中归纳出一般性规律。机器学习是从数据中学得模型，即为归纳性学习（inductive learning）。
演绎（deduction）：从一般性规律推演出具体情况。
任务（task）
分类（classification）：针对离散值的预测任务。包含二分类（binary classification）、多分类（multi-class classification）。
回归（regression）：针对连续值的预测任务。
聚类（clustering）：将训练集中数据分为若干组。（常见于无监督学习）
泛化（generalization）能力：学得的模型适用于新样本的能力。
假设空间
假设空间（hypothesis space）：所有特征的所有特征值的组合空间。对其进行搜索，获得可以正确判断所有训练样本的假设，即为学习结果。
版本空间（version space）：可能存在多个与训练集一致的假设。
假设空间搜索方法：
—自上而下or自下而上
—从一般到特殊or从特殊到一般
—搜索过程不断删除与正例不一致的假设or删除与反例一致的假设
归纳偏好
根据偏好设定，决定选择假设空间的哪一个作为最终假设模型。
奥卡姆剃刀（Occam’s razor）：常用算法偏好原则。若有多个假设与样本一致，则选择最简单的。怎样算最简单？针对具体问题分析。
根据没有免费的午餐定理（No Free Lunch Theorem，NFL定理），没有广泛来说最好的学习算法。学习算法的优劣需要针对具体的情景与问题来比较，归纳偏好与具体问题的匹配会影响算法在该问题中的性能。
发展历程
- 推理期（1950-1970）
赋予机器逻辑推理能力。（逻辑理论家、通用问题求解） - 知识期（1970-1980）
使机器拥有知识。（专家系统） - 从样例中学习（1980-）
符号主义学习（决策树、基于逻辑的学习）
统计学习（支持向量机、核方法）
深度学习（多层神经网络）
重要会议&期刊
- 机器学习领域
会议
国际机器学习会议 ICML
国际神经信息处理系统会议NIPS
欧洲机器学习会议ECML
亚洲机器学习会议ACML
【期刊】Journal of Machine Learning Reserch 链接
【期刊】Machine Learning 链接 - 人工智能领域
国际人工智能联合会议 IJCAI
美国人工智能协会会议AAAI
【期刊】Artificial Intelligence 链接
【期刊】Journal of Artificial Intelligence Reserch 链接 - 计算机视觉与模式识别领域
IEEE国际计算机视觉与模式识别会议 CVPR （http://cvpr年份.thecvf.com/）
【期刊】IEEE Transactions on Pattern Analysis and Machine Intelligence 链接 - 神经网络领域
【期刊】Neural Computing 链接
【期刊】IEEE Transactions on Neural Networks and Learning Systems 链接
[1] Mitchell, T. (1997). Machine Learning. McGraw Hill. p. 2. ISBN 978-0-07-042807-2.
[2] 周志华.(2016). 机器学习. 清华大学出版社