C. 人工智能 --- 监督算法

C. 监督算法
	数据
		离散型
		连续性
	分类算法
		k近邻算法kNN
		贝叶斯
			朴素贝叶斯算法
			拉普拉斯平滑：为了避免属性携带的信息被训练集中未曾出现过的属性值所干扰。
			半朴素贝叶斯分类器
			Bayesian Belief Network（BBN）
		线性分类
			Logistic回归算法
				二分类
				多分类
					一种改进方式是通过多次二分类实现多个类别的标记
					另一种多分类的方式通过直接修改逻辑回归输出的似然概率，使之适应多分类问题，得到的模型就是 Softmax 回归
			支持向量机（最优分界线）
				线性可分支持向量机
				线性支持向量机
				非线性支持向量机
		非线性分类
			核函数(进行空间转换，变成线性的，分界线为超平面空间)
				线性核
				多项式核
				高斯核
				拉普拉斯核
				Sigmoid核
		集成算法
			核心：在多样性和准确定之间做出权衡
			前提
				学习器性能要有一定保证
				学习器的性能要有一定的差异，和而不同才能够取得进步
			学习器是否相同
				同质集成
				异质集成
			算法分类
				boosting(串行)：存在强依赖关系
					AdaBoost：面临的问题
						训练数据权重调整的策略
						弱分类器结果的组合策略
					boosting tree(提升树)
				bagging(并行)：不存在强依赖关系
					随机森林
						一是每个数据子集中的样本是在原始的训练数据集中随机抽取的；
						二是在决策树生成的过程中引入了随机的属性选择。
					自举汇聚法
		决策树算法
			步骤
				特征选择
				决策树生成
					ID3：信息增益
					C4.5：信息增益比
					分类及回归树（CART）：基尼系数
				决策树剪枝
					预剪枝
					后剪枝
	预测算法
		线性回归
			最小二乘法
			惩罚性线性回归
				岭回归
				LASSO回归
		集成方法
			Bagging算法
			梯度提升法
			随机森林