第七天
1、使用k=1的knn算法, 下图二类分类问题, “+” 和 “o” 分别代表两个类, 那么, 用仅拿出一个测试样本的交叉验证方法, 交叉验证的错误率是多少：
A
0%
B
100%
C
0%到100
D
以上都不是
正确答案是： B
knn算法就是, 在样本周围看k个样本, 其中大多数样本的分类是A类, 我们就把这个样本分成A类. 显然, k=1 的knn在上图不是一个好选择, 分类的错误率始终是100%。
2、我们想在大数据集上训练决策树, 为了使用较少时间, 我们可以
A
增加树的深度
B
增加学习率 (learning rate)
C
减少树的深度
D
减少树的数量
正确答案是：C
增加树的深度, 会导致所有节点不断分裂, 直到叶子节点是纯的为止. 所以, 增加深度, 会延长训练时间.
决策树没有学习率参数可以调. (不像集成学习和其它有步长的学习方法)
决策树只有一棵树, 不是随机森林。
3、假如我们使用非线性可分的SVM目标函数作为最优化对象, 我们怎么保证模型线性可分？
A
设C=1
B
设C=0
C
设C=无穷大
D
以上都不对
正确答案是：C
C无穷大保证了所有的线性不可分都是可以忍受的.
4、以下哪些算法, 可以用神经网络去构造:
- KNN
- 线性回归
- 对数几率回归
A 1和 2
B 2 和 3
C 1, 2 和 3
D 以上都不是
正确答案是： B
- KNN算法不需要训练参数, 而所有神经网络都需要训练参数, 因此神经网络帮不上忙
- 最简单的神经网络, 感知器, 其实就是线性回归的训练
- 我们可以用一层的神经网络构造对数几率回归
5、请选择下面可以应用隐马尔科夫(HMM)模型的选项
A
基因序列数据集
B
电影浏览数据集
C
股票市场数据集
D
所有以上
正确答案是：D
只要是和时间序列问题有关的 , 都可以试试HMM
6、我们建立一个5000个特征, 100万数据的机器学习模型. 我们怎么有效地应对这样的大数据训练 :
A
我们随机抽取一些样本, 在这些少量样本之上训练
B
我们可以试用在线机器学习算法
C
我们应用PCA算法降维, 减少特征数
D
B 和 C
E
A 和 B
F
以上所有
正确答案是：F
样本数过多, 或者特征数过多, 而不能单机完成训练, 可以用小批量样本训练, 或者在线累计式训练, 或者主成分PCA降维方式减少特征数量再进行训练.
7、我们想要减少数据集中的特征数, 即降维. 选择以下适合的方案 :
- 使用前向特征选择方法
- 使用后向特征排除方法
- 我们先把所有特征都使用, 去训练一个模型, 得到测试集上的表现. 然后我们去掉一个特征, 再去训练, 用交叉验证看看测试集上的表现. 如果表现比原来还要好, 我们可以去除这个特征.
- 查看相关性表, 去除相关性最高的一些特征
A
1 和 2
B
2, 3和4
C
1, 2和4
D
All
正确答案是：D
1.前向特征选择方法和后向特征排除方法是我们特征选择的常用方法
2.如果前向特征选择方法和后向特征排除方法在大数据上不适用, 可以用这里第三种方法.
3.用相关性的度量去删除多余特征, 也是一个好方法
8、对于随机森林和GradientBoosting Trees, 下面说法正确的是:
1 在随机森林的单个树中, 树和树之间是有依赖的, 而GradientBoosting Trees中的单个树之间是没有依赖的
2 这两个模型都使用随机特征子集, 来生成许多单个的树
3 我们可以并行地生成GradientBoosting Trees单个树, 因为它们之间是没有依赖的
4 GradientBoosting Trees训练模型的表现总是比随机森林好
A
2
B
1 and 2
C
1, 3 and 4
D
2 and 4
正确答案是：A
1 随机森林是基于bagging的, 在随机森林的单个树中, 树和树之间是没有依赖的。
2 Gradient Boosting trees是基于boosting的，且GradientBoosting Trees中的单个树之间是有依赖关系。
3 这两个模型都使用随机特征子集, 来生成许多单个的树。
所以题干中只有第二点是正确的，选A。
9、对于PCA(主成分分析)转化过的特征 , 朴素贝叶斯的”不依赖假设”总是成立, 因为所有主要成分是正交的, 这个说法是 :
A
正确的
B
错误的
正确答案是： B
这个说法是错误的, 首先, “不依赖”和”不相关”是两回事, 其次, 转化过的特征, 也可能是相关的
10、对于PCA说法正确的是 :
- 我们必须在使用PCA前规范化数据
- 我们应该选择使得模型有最大variance的主成分
- 我们应该选择使得模型有最小variance的主成分
- 我们可以使用PCA在低维度上做数据可视化
A
1, 2 and 4
B
2 and 4
C
3 and 4
D
1 and 3
E
1, 3 and 4
正确答案是：A
1）PCA对数据尺度很敏感, 打个比方, 如果单位是从km变为cm, 这样的数据尺度对PCA最后的结果可能很有影响(从不怎么重要的成分变为很重要的成分).
2）我们总是应该选择使得模型有最大variance的主成分
3）有时在低维度上左图是需要PCA的降维帮助的