数据分析学习总结笔记07：回归分析概述
1 什么是回归分析
1.1 回归分析概述
回归是用一条有代表性的直线或曲线（在高维空间中，则为超平面或一般曲面）来拟合输入输出数据的一种方法。
拟合的直线或函数刻画了变量之间的相互联系，基于这种联系我们可以对新获得的输入数据的输出结果进行预测。
回归分析：主要研究变量间的统计联系，通过建立统计模型研究变量间相互关系的密切程度、结构状态及进行预测。
1.2 “回归”的由来
- 回归的古典意义：
- 高尔顿（Galton）遗传学的回归概念。
- 父母身高与子女身高的关系：无论高个子或低个子的子女都有向人的平均身高回归的趋势。
- 高尔登把这种孩子的身高向平均值靠近的趋势称为一种回归效应，而他发展的研究两个数值变量的方法称为回归分析。
- 回归的现代意义：
- 一个因变量对若干解释变量依存关系的研究，用恰当的数学模型近似地表达或估计变量之间的变化关系。
- 实质：由已知的或固定的自变量的数值，去估计因变量的总体平均值。
1.3 回归分析归纳
1.3.1 回归分析的主要内容
1.3.2 回归分析的一般模型
2 统计学中的回归模型
2.1 相关分析与回归分析
（1）相关分析
- 用一个指标（相关系数）来表明现象间相互依存关系的密切程度。
- 广义的相关分析包括相关关系的分析（狭义的相关分析）和回归分析
（2）回归分析
- 指对具有相关关系的现象，根据其相关关系的具体形态，选择一个合适的数据模型（称为回归方程式），用来近似地表达变量间的平均变化关系的一种统计分析方法。
（3）两者的关系
- 相关分析是回归分析的基础和前提。
- 回归分析是相关分析的深入和继续。
2.2 回归模型的具体化
2.3 回归类型的判断
2.4 回归分析中的统计问题
3 机器学习角度看回归
3.1 数据分析问题的不同视角
- 统计视角
- 以数学模型为基础；
- 基于人类的既有经验和理论推导；
- 需要对问题场景和数据特征做出种种假设；
- 大数据时代的挑战：模型与现实存在一定鸿沟；大数据提供了直接从数据本身进行探索的可能。
- 机器学习视角
- 以算法为中心 ，算法就是处理数据的步骤和规则；
- 假设数据背后的理论结构是复杂和未知的，因而不太关注模型假设和统计检验；
- 致力于从算法结构上模拟数据的产生过程；
- 达到较好的预测效果；
- 缺陷：难以对模型背后的理论机制进行解释。
3.2 机器学习分类
- 有监督学习
- 训练集数据有标签
- 回归（输出变量连续）
- 分类（输出变量离散）
- 无监督学习
- 训练集数据无标签（只有输入变量）
- 聚类
- 降维
3.3 机器学习的流程
（1）定义问题
- 判断是否有人脸（目标检测，分类问题）
- 判断性别（分类，输出变量离散）
- 判断年龄（回归，输出变量连续）
（2）收集数据
- 大量数据
- 标注信息（是否为人脸/性别/年龄）
（3）特征设计
（4）训练模型
- 对象：训练集
- 任务：通常是调整拟合模型的参数
- 目标：拟合的总体偏差最小（通常需定义各种损失函数）
- 技术：基于梳理统计（传统）；基于数值计算和优化技术（现代）
（5）测试模型
- 对象：测试集
- 实现：交叉验证、自助法等
本文主要根据个人学习（应用回归分析MOOC），并搜集部分网络上的优质资源总结而成，如有不足之处敬请谅解，欢迎批评指正、交流学习！
