文章目录
机器学习基础
机器学习概念
机器学习能够从无序的数据中提取出有用的信息,那么什么是机器学习呢?以垃圾邮件的检测为例,垃圾邮件的检测是指 能够对邮件做出判断,判断其为垃圾邮件还是正常邮件.
机器学习是从数据中学习和提取有用的信息，不断提升机器的性能。那么，对于一个具体的机器学习的问题，很重要的一部分是对数据的收集，我们称这部分数据为训练数据。机器学习的基本工作是从这些数据中学习规则，利用学习到的规则来预 测新的数据。
机器学习算法的分类
在机器学习中，根据任务的不同，可以分为监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）、半监督学习（Semi-Supervised Learning）和增强学习（Reinforcement Learning）。
- 监督学习（Supervised Learning）的训练数据包含了类别信息，如在垃圾邮件检测中，其训练样本包含了邮件的类别信息：垃圾邮件和非垃圾邮件。在监督学习中，典型的问题是分类（Classification）和回归（Regression），典型的算法有Logistic Regression、BP神经网络算法和线性回归算法。
- 无监督学习（Unsupervised Learning）训练数据中不包含任何类别信息。在无监督学习中，其典型 的问题为聚类（Clustering）问题，代表算法有K-Means算法、DBSCAN算法等。
- 半监督学习（Semi-Supervised Learning）的训练数据中有一部分数据包含类别信息，同时有一部分数据不包含类别信息，是监督学习和无监督学习的融合。在半监督学习中，其算法一般是在监督学习的算法上进行扩展，使之可以对未标注数据建模。
监督学习和无监督学习是使用较多的两种学习方法，而半监督学习是监督学习和无监督学习的融合
监督学习
监督学习重点
在监督学习中，其训练样本中同时包含有特征和标签信息。在监督学习中，分类（Classification）算法和回归（Regression）算法是两类最重要的算法，两者之间最主要的区别是分类算法中的标签是离散的值，如广告点击问题中的标签为{+1，-1}，分别表示广告的点击和未点击，而回归算法中的标签值是连续的值，如通过人的身高、性别、体重等信息预测人的年龄，因为年龄是连续的正整数，因此标签为y∈N+ ，且y∈[1，80]。
监督学习的流程
1. 获取到带有属性值的样本
2. 对样本进行预处理，过滤数据中的杂质，保留其中有用的信息（特征提取或特征处理）
3. 通过监督学习算法习得样本特征到样本标签之间的假设函数
4. 通过假设函数对新的数据进行预测
监督学习算法
分类问题（Classification）
通过训练数据学习一个从观测样本到离散的标签的映射，分类问题是一个监督学习问题。典
型的问题有：①垃圾邮件的分类（Spam Classification）②点击
率预测（Click-through Rate Prediction）；③手写字
识别
回归问题（Regression）
通过训练数据学习一个从观测样本到连续的标签的映射，在回归问题中
的标签是一系列连续的值。典型的回归问题有：①股票价格的预测②房屋价格的预测
无监督学习
概念
无监督学习（Unsupervised Learning）是另一种机器学习算法，与监督学习不同的是，在无监督学习中，其样本中只含有特征，不包含标签信息。与监督学习（Supervised Learning）不同的是，由于无监督学习不包含标签信息，在学习时并不知道其分类结果是否正确。
无监督学习的流程
- 获取到带有特征值的样本
- 对样本进行处理，得到样本中有用的信息（特征处理，特征提取）
- 通过无监督学习算法处理这些样本，如利用聚类算法对这些样本进行聚类
无监督学习算法
聚类算法
聚类算法是无监督学习算法中最典型的一种学习算法。聚类算法利用样本的特征，将具有相似特征的样本划分到同一个类别中，而不关心这个类别具体是什么。
推荐系统和深度学习
在机器学习算法中，除了按照上述的分类将算法分成监督学习和无监督学习外，还有其他的一些分类方法，如按照算法的功能，将算法分成分类算法、回归算法、聚类算法和降维算法等。随着机器学习领域的不断发展，出现了很多新的研究方向，推荐算法和深度学习是近年来研究较多的方向。
推荐系统的意义
随着信息量的急剧扩大，信息过载的问题变得尤为突出，当用户无明确的信息需求时，用户无法从大量的信息中获取到感 兴趣的信息，同时，信息量的急剧上升也导致了大量的信息被埋没，无法触达一些潜在用户。推荐系统（Recommendation System，RS）的出现被称为连接用户与信息的桥梁，一方面帮助用户从海量数据中找到感兴趣的信息，另一方面将有价值的信 息传递给潜在用户。
在推荐系统中，推荐算法起着重要的作用，常用的推荐算法主要有：协同过滤算法、基于矩阵分解的推荐算法和基于图的推荐算法。
深度学习由来
传统的机器学习算法都是利用浅层的结构，这些结构一般包含最多一到两层的非线性特征变换，浅层结构在解决很多简单的问题上效果较为明显，但是在处理一些更加复杂的与自然信号的问题时，就会遇到很多问题。
随着计算机的不断发展，人们尝试使用深层的结构来处理这些更加复杂的问题，但是，同样也遇到了很多的困难，直到2006年，Hinton等人提出了逐层训练的概念，深度学习又一次进入了人们的视野，数据量的不断扩大以及计算机计算能力的增强，使得深度学习技术成为可能。在深度学习中，常用的几种模型包括：①自编码器模型②卷积神经网络模型③循环神经网络
python在机器学习中的优势
- 在机器学习算法中，涉及大量的与线性代数相关的知识，Python中有Numpy函数库可以专门用于处理各种线性代数的问题
- Python社区有庞大的库，几乎可以解决大部分问题；
- Python被称为胶水语言，可以以混合编译的方式使用C/C++/Java等语言的库；
- Python语法简单，同时易于操作。
