点击获取书籍提取码：adv5
内容提要
在学习和研究机器学习的时候，面临令人眼花缭乱的算法，机器学习新手往往会不知 所措。本书从算法和Python语言实现的角度，帮助读者认识机器学习。
本书专注于两类核心的“算法族"，即惩罚线性回归和集成方法，并通过代码实例来 展示所讨论的算法的使用原则。全书共分为7章，详细讨论了预测模型的两类核心算法、 预测模型的构建、惩罚线性回归和集成方法的具体应用和实现。
本书主要针对想提高机器学习技能的Python开发人员，帮助他们解决某-特定的项 目或是提升相关的技能。
作者简介
Michael Bowles 拥有机械工程学土和硕士学位、仪器仪表博士学位以及MBA学位。 他的履历涉及学术界、工业界以及商业界。他目前在一家初创公司工作，其中机器学习技 术至关重要。他是多个管理团队的成员、咨询师以及顾问。他也曾经在加州山景城的黑客 道场、创业公司孵化器和办公场所教授机器学习课程。
他出生于俄克拉荷马州并在那里获得学土和硕士学位。在东南亚待了- .段时间后，他 前往剑桥攻读博士学位，毕业后任职于MIT的Charles Stark Draper实验室”。之后他离开 波士顿前往南加州的休斯飞机公司开发通信卫星。在UCLA获得MBA学位后，他前往 旧金山的湾区工作。作为创始人以及CEO,他目前经营两家公司,这两家公司都已获风 险投资。
他目前仍然积极参与技术以及创业相关的工作。近期项目包括使用机器学习技术进行 自动交易，基于基因信息进行生物预测，使用自然语言处理技术进行网站优化，利用人 口统计学及实验室数据预测医疗效果，在机器学习和大数据相关领域的公司里尽心尽责。 可以通过www. mbowles.com联系到他。
目录
第1章关于预测的两类核心
算法...............1.1为什 么这两类算法如此有用....
1.2什么是惩罚回归方.-.......
1.3什么 是集成方法.-........
1.4算法的选择
1.5构建预测模型的.程-.....
1.5.1构造一个机器 学习问题--.122
1.5.2特征提取和特 征工程....
1.5.3确定训练后模型的性能 ---1.6各章内容及其依赖关系......
小结...................
第2章通过理解数据来了解问题
2.1“解剖" 一个新问题--.....9.
2.1.1属性和标签的不同类型
决定模型的选择.......2.1.2新数据集的注意事项...2..
2.2分类 问题:用声纳发现未
爆炸的水雷...............
2.2.1。岩石 vs.水雷”数据集的
物理...........2.22.“岩石 vs. 水雷”数据集统计
特_.---------.--...2.23用分位数图展示异常点-.
2.2.4类 别属性的统计特征.....
2.25利用Python Pandas对“岩石
vs.水雷”数据集进行统计
分...............
2.3对“岩石vs.水雷”数据集属性的
可视化展示..............
2.3.1利用平行坐标图进行可视化
展示----------.2.3.2属性 和标签的关系可视化-372.3.3用热图 (heat map)展示
属性和标签的相关性---.42.3.4对“岩石vs.水雷”数据集
探究过程..------.
2.4基于因素变量的实 数值预测:
鮑鱼的年龄..-.........45
2.4.1回归问题的平行坐标图: 鲍鱼
问题的变量关系可视化--..2.4.2回归问题如何使 用关联热
图一鲍鱼问题的属性对关
系的可視..--------..
2.5用实数值属性预测 实数值目标:
评估红酒口感...........2.6多类别分类问题:它属于哪种
玻璃..............._.63...-................68 参考.献................ 69
第3章预测模型的构建:平衡性
能、复杂性以及大数据--.13.1基本问题: 理解函数逼近...71
3.1.1使用 训练数...-......
3.1.2评估预测模型的性能 ..... 733.2影响算法选择及 性能的因素一
复杂度以及数据..........74
3.2.1简单问题和复杂问题的
3.2.2 - 个简单模型与复杂模型的
对..-.............3.2.3影响预测算 法性能的因素-80
3.2.4选择一个算法: 线性或者
非线---------.-
3.3度量预测模型性能 .......81
3.3.1不同类型问题的性能评 价
指标..-----.----. 823.3.2部署 模型的性能模拟---...
3.4模型与 数据的均衡
3.4.1通过权衡问题复杂度、 模型
复杂度以及数据集规模来选
择...--------...3.4.2使用 前向逐步回归来控制过
抑..............3.4.3评估并理解你的预测模--101
3.4.4通过 惩罚回归系数来控制
过拟合一岭回归 .....
..--...-.........-.. 112
参考文献 ...112
第4章惩罚线性回归模型....
4.1为什么惩 罚线性回归方法如此
有效
4.1.1足够快速地估计系数 -..1
4.1.2变量的重要 ...----1
4.1.3部署时的预测足 够快速--11
4.1.4性能 可靠----
4.1.5稀疏解---.
4.1.6问题本身可能需要线性
模.--..-----1-..4.1.7什么时候使 用集成方法--111
4.2惩罚线性回归: 对线性回归进行
正则化以获得最优性能--..1.
4.2.1训练线性模型: 最小化错误
以及更...-.......14.2.2向OLS公式中添加一个
系数惩.---------14.2.3其他有用的系数惩罚项:
Manattn以及ElaticNt... 1184.2.4为什么套索惩罚会导致稀疏的
系数向量-.--.--......19
4.2.5 ElastieNet 惩罚项包含套索
惩罚项以及岭惩罚项--.20-
4.3求解惩 罚线性回归问题..... 121
4.3.1理解最小角度回归 与前向逐步
回归的关系--.----.14.3.2 LARS 如何生成数百个不同
复杂度的模型---...24.3.3从数百个 LARS生成结果中
选择最佳模型-......2.4.3.4使用 Glmnet :非常快速
并且通用-
4.4输入为数值 型数据的线性回归
方法的扩展.............140
4.4.1使用 惩罚回归求解分类
.题..........-.4.4.2求解超过 2种输出的分类
.题.----.--.-.-.4.4.3理解基扩展: 使用线性方法来
解决非线性问题----.-4.4.4向线 性方法中引人非数值
属.............
参考文献....
第5章使用惩罚线性方法来
构建预测模型.....1.
5.1惩罚线性回 归的Python包--. 155
5.2多变量回归: 预测红酒口感..156
5.2.1构建并测试模型以预测红酒
--.-..--..---..5.2.2部署前在整个数据集 上进行
训练-.......-.-..5.2.3基扩展: 基于原始属性扩展
新属性来改进性能---.8-
5.3 二分类:使用惩罚线性回归来
检测未爆炸的水雷........172
构建部署用的岩石水雷
分类器................
5.4 多类别分类 - 分类犯罪现场的
玻璃样本 ...................................... 196
小结 .......................................................... 201
参考文献 ................................................. 202
第 6 章 集成方法 .................................203
6.1 二元决策树 .................................. 204
6.1.1 如何利用二元决策树进行
预测 ....................................205
6.1.2 如何训练一个二元决策树....207
6.1.3 决策树的训练等同于
分割点的选择 ....................211
6.1.4 二元决策树的过拟合 ........214
6.1.5 针对分类问题和类别特征
所做的修改 ........................218
6.2 自举集成：Bagging 算法 ......... 219
6.2.1 Bagging 算法是如何
工作的 ................................219
6.2.2 Bagging 算法小结 .............230
6.3 梯度提升法（Gradient
Boosting） ..................................... 230
6.3.1 梯度提升法的基本原理 ....230
6.3.2 获取梯度提升法的最佳
性能 ....................................234
6.3.3 针对多变量问题的梯度
提升法 ................................237
6.3.4 梯度提升方法的小结 ........241
6.4 随机森林 ...................................... 241
6.4.1 随机森林：Bagging 加上随机
选择的属性子集 ................246
6.4.2 随机森林的性能 ................246
6.4.3 随机森林小结 ....................247
小结 .......................................................... 248
参考文献 ................................................. 248
第 7 章 用 Python 构建集成
模型 ............................................251
7.1 用 Python 集成方法工具包解决
回归问题 ...................................... 251
7.1.1 构建随机森林模型来预测
红酒口感 ............................251
7.1.2 用梯度提升法预测红酒
品质 ...............................................258
7.2 用 Bagging 来预测红酒口感 .... 266
7.3 Python 集成方法引入非数值
属性 ............................................... 271
7.3.1 对鲍鱼性别属性编码引入
Python 随机森林回归方法 ...271
7.3.2 评估性能以及变量编码的
重要性 ................................274
7.3.3 在梯度提升回归方法中引入
鲍鱼性别属性 ....................276
7.3.4 梯度提升法的性能评价以及
变量编码的重要性 ............279
7.4 用 Python 集成方法解决二分类
问题 ............................................... 282
7.4.1 用 Python 随机森林方法探测
未爆炸的水雷 ....................282
7.4.2 构建随机森林模型探测未
爆炸水雷 ............................283
7.4.3 随机森林分类器的性能 ....288
7.4.4 用 Python 梯度提升法探测
未爆炸水雷 ........................289
7.4.5 梯度提升法分类器的性能....296
7.5 用 Python 集成方法解决多类别
分类问题 ...................................... 300
7.5.1 用随机森林对玻璃进行
分类 ....................................300
7.5.2 处理类不均衡问题 ............304
7.5.3 用梯度提升法对玻璃进行
分类 ....................................306
7.5.4 评估在梯度提升法中使用随机
森林基学习器的好处 ........311
7.6 算法比较 ...................................... 313
小结 .......................................................... 315
参考文献 ................................................. 315