常用的分类与预测算法
| 算法名称 | 算法描述 |
|---|---|
| 回归分析 | 回归分析是确定预测属性（数值型）与其它变量间相互依赖的定量关系最常用的统计学方法。 包括：线性回归、非线性回归、Logistic回归、岭回归、主成分回归、偏最小二乘回归等模型。 |
| 决策树 | 决策树采用自顶向下的递归方式，在内部节点进行属性值的比较，并根据不同的属性值从该节点向下分支，最终得到的叶子节点是学习划分的类 |
| 人工神经网络 | 人工神经网络是一种模仿大脑神经网络结构和功能而建立的信息处理系统，表示神经网络的输入与输出变量之间关系的模型 |
| 贝叶斯网络 | 贝叶斯网络又称信度网络，是Bayes方法的扩展，是目前不确定知识表述和推理领域最有效的理论模型之一 |
| 支持向量机 | 支持向量机是一种通过某种非线性映射，把低维的非线性可分转化为高维的线性可分，在高维空间进行线性分析的算法 |
回归分析
主要回归模型分类
| 回归模型名称 | 适用条件 | 算法描述 |
|---|---|---|
| 线性回归 | 因变量与自变量是线性关系 | 对一个或多个自变量和因变量之间的线性关系进行建模，可用最小二乘法求解模型系数 |
| 非线性回归 | 因变量与自变量之间不都是线性关系 | 对一个或多个变量和因变量之间的非线性关系进行建模。如果非线性关系可以通过简单的函数变换转化成线性关系，用线性回归的思想求解；如果不能转化，用非线性最小二乘法求解。 |
| Logistic回归 | 因变量一般有1和0（是否）两种取值 | 是广义线性回归模型的特例，利用Logistic函数将因变量的取值范围控制在0和1之间，表示取值为1的概率 |
| 岭回归 | 参与建模的自变量之间具有多重共线性 | 是一种改进最小二乘估计的方法 |
| 主成分回归 | 参与建模的自变量之间具有多重共线性 | 主成分回归是根据主成分分析的思想提出来的，是对最小二乘法的一种改进，它是参数估计的一种有偏估计。可以消除自变量之间的多重共线性。 |
线性回归模型是相对简单的回归模型，但是通常因变量和自变量之间呈现某种曲线关系，就需要建立非线性回归模型。
当自变量之间出现多重共线性时，用最小二乘估计的回归系数将会不准确，消除多重共线性的参数改进的估计方法主要有岭回归和主成分回归。
