什么是深度学习
深度学习（Deep learning ）是一种实现机器学习的技术, 是机器学习重要的分支。其源于人工神经网络的研究。深度学习的模型结构是一种含多隐层的神经网络。通过组合低层特征形成更加抽象的高层特征。
数据集及其拆分
有监督学习中数据通常分成训练集、测试集两部分。
训练集(training set)用来训练模型，即被用来学习得到系统的参数取值。
测试集(testing set) 用于最终报告模型的评价结果，因此在训练阶段测试集中的样本应该是unseen 的。
训练集测试集拆分—留出法
留出法（Hold‐Out Method ）数据拆分步骤：
- 将数据随机分为两组，一组做为训练集，一组做为测试集
- 利用训练集训练分类器，然后利用测试集评估模型，记录最后的分类准确率为此分类器的性能指标
K 折交叉验证
- 数据集被分成K份（K通常取5或者10）
- 不重复地每次取其中一份做测试集，用其他K‐1份做训练集训练，样会得到K个评价模型
- 将上述步骤2中的K次评价的性能均值作为最后评价结果
分层抽样策略（Stratified k‐fold）
将数据集划分成k份，特点在于，划分的k份中，每一份内各个类别数据的比例和原始数据集中各个类别的比例相同。
什么是超参数？
指在学习过程之前需要设置其值的一些变量，而不是通过训练得到的参数数据。如深度学习中的学习速率等就是超参数。
什么是网格搜索?
假设模型中有2个超参数：A 和B。如果使用网格搜索，就是尝试各种可能的(A, B)对值，找到能使的模型取、得最高性能的(A, B)值对。
网格搜索与K折交叉验证结合调整超参数的具体步骤：
- 确定评价指标；
- 对于超参数取值的每种组合，在训练集上使用交叉验证的方法求得其K次评价的性能均值；
- 最后，比较哪种超参数取值组合的性能最好，从而得到最优超参数的取值组合。
分类及其性能度量
分类问题是有监督学习的一个核心问题。分类解决的是要预测样本属于哪个或者哪些预定义的类别。此时输出变量通常取有限个离散值。
分类的机器学习的两大阶段：1）从训练数据中学习得到一个分类决策函数或分类模型，称为分类器（classifier）；2）利用学习得到的分类器对新的输入样本进行类别预测。
两类分类问题与多类分类问题。多类分类问题也可以转化为两类分类问题解决，如采用一对其余(One-vs-Rest)的方法：将其中一个类标记为正类，然后将剩余的其它类都标记成负类。
假设只有两类样本，即正例(positive) 和负例(negative)。通常以关注
的类为正类，其他类为负类。
表中AB模式：第二个符号表示预测的类别，第一个表示预测结果对了(True) 还是错了(False)
分类准确率（accuracy ）：分类器正确分类的样本数与总样本数之比:
精确率(precision) 和召回率(recall) ：是二类分类问题常用的评价指标。
精确率反映了模型判定的正例中真正正例的比重。在垃圾短信分类器中，是指预测出的垃圾短信中真正垃圾短信的比例。
召回率反映了总正例中被模型正确判定正例的比重。医学领域也叫做灵敏度（sensitivity）。在垃圾短信分类器中，指所有真的垃圾短信被分类器正确找出来的比例。
Area的定义（p-r曲线下的面积）
如何绘制P‐R曲线
要得到P‐R曲线，需要一系列Precision 和Recall的值。这些系列值是通过阈值来形成的。对于每个测试样本，分类器一般都会给了“Score”值，表示该样本多大概率上属于正例。
步骤：
- 从高到低将“Score” 值排序并依此作为阈值threshold ；
- 对于每个阈值，“Score” 值大于或等于这个threshold 的测试样本被认为正例，其它为负例。从而形成一组预测数据。
F值 是精确率和召回率的调和平均:
beta 一般大于0。当beta =1时，退化为F1 ：
分类性能度量‐‐ROC
要得到一个曲线，需要一系列fp rate和tp rate的值。这些系列值是通过阈值来形成的。对于每个测试样本，分类器一般都会给了
“Score” 值，表示该样本多大概率上属于正例（或负例）。
步骤：
- 从高到低将“Score” 值排序并依此作为阈值threshold ；
- 对于每个阈值，“Score” 值大于或等于这个threshold 的测试样本被认为正例，其它为负例。从而形成一组预测数据。
分类性能度量—ROC‐AUC计算
回归问题
回归分析（regression analysis) 是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。
和分类问题不同，回归通常输出为一个实数数值。而分类的输
出通常为若干指定的类别标签。
常用的评价回归问题的方法:
平均绝对误差MAE(mean_absolute_error)
均方误差MSE (mean_squared_error)及均方根差RMSE
Log loss，或称交叉熵loss(cross‐entropy loss)
R方值，确定系数(r2_score)
一致性评价
一致性评价，是指对两个或多个相关的变量进行分析，从而衡量其相关性的密切程度。
一致性评价‐‐ 皮尔森相关系数法
皮尔森相关系数(Pearson coefficient)的应用背景：
用来衡量两个用户之间兴趣的一致性
用来衡量预测值与真实值之间的相关性
既适用于离散的、也适用于连续变量的相关分析
X和Y之间的皮尔森相关系数计算公式：
Cohen‘s kappa相关系数也可用于衡量两个评价者之间的一致性。其特
点在于：
与pearson相关系数的区别：Cohen‘skappa 相关系数通常用于离散的分类的一致性评价。
其通常被认为比两人之间的简单一致百分比更强壮，因为Cohen‘skappa 考虑到了二人之间的随机一致的可能性。
未完待续
