分类算法
分类(Classification)是机器学习的主要任务之一，分类算法是一种典型的监督学习算法，是根据样本的特征将样本划分到合适的类别中。具体来说就是利用训练样本来进行训练，从而得到样本特征到样本标签的映射，再利用该映射来得到新样本的标签，最终达到将样本划分到不同类别的目的。简而言之，分类就是通过一组代表物体、事件等的相关属性来判断其类别。
分类问题通常有两种，一种是二元分类问题，另一种是多元分类。对于二元分类问题，通过已有的特征属性来判断事物或者事件的类别，其产生+的结果只有“0”和“1”，即要么就属于该类别，要么就不属于该类别。对于多元分类问题，也是通过已有的特征属性来判断事物或者事件的类别，但其产生的结果可能不止两种，而是多个类别，例如，用0~4表示分别表示属于五个不同的类别。
常见的几种分类模型有：线性模型、决策树模型、朴素贝叶斯模型、BP神经网络模型等。
回归算法
机器学习的另一个重要任务就是回归(Regression)，回归算法同样也是一种监督学习算法。与分类问题不同的是，在分类算法中，样本标签是一些离散的值，每一种标签都代表着一个类别；然而在回归问题中，样本标签是一些连续的值。回归算法也是通过对训练样本的学习，从而得到从样本特征到样本标签的映射。也可以这么说，回归分析的目的是预测连续的数值型的目标值，接受一系列连续数据，寻找一个最适合数据的方程对特定的值进行预测。这个方程被称为回归方程，求解回归方程就是求该方程的系数，求解这些系数的过程就是回归。
分类和回归最主要的区别就是输出的结果不同，定性输出称为分类，即离散变量的预测；定量输出称为回归，即连续变量的预测。例如：预测一个人是小学生、中学生还是大学生，这是一个分类问题；预测一个人的年龄是多少岁，就是一个回归问题。
常见的几种回归模型有：线性回归、广义线性回归、决策树回归、随机森林回归、岭回归、梯度提高树回归、生存回归、保序回归等。需要特别注意的是，逻辑回归算法虽然是叫回归算法，但却不是回归算法，而是一种分类算法。
