Download link: https://pan.baidu.com/s/1p6KAPZpYUH9is2cFBBhbcA Password: vxjv
- Publisher: Electronics Industry Press; 2nd Edition (February 1, 2018)
- Series Title: Bowen Viewpoint AI Series
- Paperback: 364 pages
- Language: Simplified Chinese
- Format: 16
- ISBN: 9787121330667, 7121330660
- Barcode: 9787121330667
- Product size: 23.4 x 18 x 1.6 cm
- Item weight: 621 g
- Brand: Electronic Industry Press
- ASIN: B0794MC7JH
Editor's Choice
"TensorFlow: Practical Google Deep Learning Framework (Second Edition)" Editor's recommendation
√ Former Google experts and current Tensorflow entrepreneurial upstarts, the new version invites current Google experts to join us to discuss the core technologies and cutting-edge cases of the new version.
√ The previous edition of this book, as the first in the industry, has been popular all over the world with Tensorflow, aiming at production|commercial scenarios, and thoroughly through the principle|practice.
√ In-depth principles|Visit the main creators|Combined with real projects, AI and ML teams are highly praised and recommended, and together with Tensorflow, they have become the de facto standard.
√ The code is fully upgraded to version 1.4+, focusing on the new version functions, and adding special topics on TF high-level packaging and deep learning natural language applications.
Media recommendation
Finally waited for the upgrade of this TensorFlow technical book. This book is different from other books that introduce technical frameworks. It starts with an introduction to deep learning and goes deep into the use of TensorFlow bit by bit. At the same time, it combines the use of algorithms and frameworks, allowing readers to understand the framework while also understanding the framework. Be able to gain a deeper understanding of the principles of deep learning algorithms. The example code is well commented, the language style is easy to understand, and the algorithm introduction is from the simple to the deep. It can be said to be a rare good book.
——Feng Bo TalkingData Data Scientist
This book introduces the application and practice of TensorFlow in typical scenarios, provides a large number of examples such as distributed training, and is the preferred reference material for TensorFlow developers and deep learning enthusiasts.
——Chen Dihao Fourth Paradigm Prophet Platform Architect
Google's every technology release will become the focus of attention. From open source to the present, TensorFlow has attracted many developers, machine learning enthusiasts, scientific research and enterprise users to contribute code, and new functions have sprung up like mushrooms after a spring rain. Its unique way of constructing algorithm models with tensors and graphs is refreshing, giving model designers greater freedom. The introductory learning resources of TensorFlow are also dazzling, making it impossible to choose. The book "TensorFlow: Practical Google Deep Learning Framework (2nd Edition)" covers images, texts, from basic concepts to complete models, from abstract theory to engineering implementation. Common methods in the field, as well as advanced topics such as visualization and distributed computing, I believe it will be of great benefit after opening the book, helping developers to complete product-level applications.
——Zhao Yongke, senior R&D engineer of Alibaba Cloud,
Google's deep learning open source solution TensorFlow has been widely used in the field of artificial intelligence in recent years and has made great achievements. This book not only explains the underlying technologies of deep neural networks, but also provides practical cases of TensorFlow in image processing, semantic understanding, performance acceleration, data visualization, etc., condensing a lot of development knowledge and practical experience. It is a very useful book. Reference value of TensorFlow Chinese works.
Chen Yunwen, Chairman and CEO of Daguan Data,
as a mainstream deep learning framework, TensorFlow has been actively used in various commercial products and has become a must-know knowledge for machine learning engineers. This book not only introduces the development and application of deep learning, but also provides environment construction tutorials and practical problem-solving skills. This book avoids the burden of obscure mathematical formulas and is easy to understand. It is recommended for friends who want to get started and understand the theory and application of deep learning to read!
——Zhao Yue, Senior Data Scientist of PricewaterhouseCoopers
The author of this book systematically explains the knowledge of deep learning and the very popular deep learning framework TensorFlow from 0 to 1 with the knowledge of graduate school in a famous American university and the experience of Google's full-time algorithm expert. , which provides application examples in a variety of scenarios, and is a representative work in the field of deep learning applications.
——Xiangguang Founder and CEO of Beijing Shuwen Technology Co., Ltd., Ph.D. in Computer from Carnegie Mellon University
This is a book about the actual combat of TensorFlow.
——Tang Jian, Assistant Professor, Center for Deep Learning Algorithms, University of Montreal
About the Author
Zheng Zeyu, received a bachelor's degree in computer science from Peking University in 2011 and a master's degree in computer science from Carnegie Mellon University in 2013. He is a former Google senior engineer and is now the co-founder and big data scientist of Caicloud.io. For distributed TensorFlow, it is difficult to get started, difficult to manage, difficult to monitor, and difficult to launch. He led the team to successfully develop the first mature distributed TensorFlow deep learning platform in China, and has rich experience in machine learning and artificial intelligence.
Bowen Liang, Google engineer. He received a bachelor's degree in computer science from Peking University in 2011 and a master's degree in computer science from Columbia University in 2013. He joined the Google Translate team in the same year, participated in and led a number of projects, and was responsible for the research and development of translation models for three languages. Rich experience, in-depth research in statistical translation models, neural network translation models, corpus data cleaning, etc.
content
第1章 深度学习简介 1
1.1 人工智能、机器学习与深度学习 2
1.2 深度学习的发展历程 6
1.3 深度学习的应用 10
1.3.1 计算机视觉 10
1.3.2 语音识别 13
1.3.3 自然语言处理 14
1.3.4 人机博弈 17
1.4 深度学习工具介绍和对比 19
小结 23
第2章 TensorFlow环境搭建 25
2.1 TensorFlow的主要依赖包 25
2.1.1 Protocol Buffer 25
2.1.2 Bazel 27
2.2 TensorFlow安装 29
2.2.1 使用Docker安装 30
2.2.2 使用pip安装 31
2.2.3 从源代码编译安装 32
2.3 TensorFlow测试样例 37
小结 38
第3章 TensorFlow入门 39
3.1 TensorFlow计算模型——计算图 39
3.1.1 计算图的概念 39
3.1.2 计算图的使用 40
3.2 TensorFlow数据模型——张量 42
3.2.1 张量的概念 42
3.2.2 张量的使用 44
3.3 TensorFlow运行模型——会话 45
3.4 TensorFlow实现神经网络 47
3.4.1 TensorFlow游乐场及神经网络简介 47
3.4.2 前向传播算法简介 50
3.4.3 神经网络参数与TensorFlow变量 54
3.4.4 通过TensorFlow训练神经网络模型 58
3.4.5 完整神经网络样例程序 62
小结 64
第4章 深层神经网络 66
4.1 深度学习与深层神经网络 66
4.1.1 线性模型的局限性 67
4.1.2 激活函数实现去线性化 70
4.1.3 多层网络解决异或运算 73
4.2 损失函数定义 74
4.2.1 经典损失函数 75
4.2.2 自定义损失函数 79
4.3 神经网络优化算法 81
4.4 神经网络进一步优化 85
4.4.1 学习率的设置 85
4.4.2 过拟合问题 87
4.4.3 滑动平均模型 91
小结 92
第5章 MNIST数字识别问题 94
5.1 MNIST数据处理 94
5.2 神经网络模型训练及不同模型结果对比 97
5.2.1 TensorFlow训练神经网络 97
5.2.2 使用验证数据集判断模型效果 102
5.2.3 不同模型效果比较 103
5.3 变量管理 107
5.4 TensorFlow模型持久化 112
5.4.1 持久化代码实现 112
5.4.2 持久化原理及数据格式 117
5.5 TensorFlow最佳实践样例程序 126
小结 132
第6章 图像识别与卷积神经网络 134
6.1 图像识别问题简介及经典数据集 135
6.2 卷积神经网络简介 139
6.3 卷积神经网络常用结构 142
6.3.1 卷积层 142
6.3.2 池化层 147
6.4 经典卷积网络模型 149
6.4.1 LeNet-5模型 150
6.4.2 Inception-v3模型 156
6.5 卷积神经网络迁移学习 160
6.5.1 迁移学习介绍 160
6.5.2 TensorFlow实现迁移学习 161
小结 168
第7章 图像数据处理 170
7.1 TFRecord输入数据格式 170
7.1.1 TFRecord格式介绍 171
7.1.2 TFRecord样例程序 171
7.2 图像数据处理 173
7.2.1 TensorFlow图像处理函数 174
7.2.2 图像预处理完整样例 183
7.3 多线程输入数据处理框架 185
7.3.1 队列与多线程 186
7.3.2 输入文件队列 190
7.3.3 组合训练数据（batching） 193
7.3.4 输入数据处理框架 196
7.4 数据集（Dataset） 199
7.4.1 数据集的基本使用方法 199
7.4.2 数据集的高层操作 202
小结 207
第8章 循环神经网络 208
8.1 循环神经网络简介 208
8.2 长短时记忆网络（LSTM）结构 214
8.3 循环神经网络的变种 218
8.3.1 双向循环神经网络和深层循环神经网络 218
8.3.2 循环神经网络的dropout 221
8.4 循环神经网络样例应用 222
小结 226
第9章 自然语言处理 227
9.1 语言模型的背景知识 227
9.1.1 语言模型简介 227
9.1.2 语言模型的评价方法 229
9.2 神经语言模型 232
9.2.1 PTB数据集的预处理 233
9.2.2 PTB数据的batching方法 236
9.2.3 基于循环神经网络的神经语言模型 238
9.3 神经网络机器翻译 244
9.3.1 机器翻译背景与Seq2Seq模型介绍 245
9.3.2 机器翻译文本数据的预处理 246
9.3.3 Seq2Seq模型的代码实现 250
9.3.4 注意力机制 257
小结 261
第10章 TensorFlow高层封装 262
10.1 TensorFlow高层封装总览 262
10.2 Keras介绍 267
10.2.1 Keras基本用法 267
10.2.2 Keras高级用法 272
10.3 Estimator介绍 277
10.3.1 Estimator基本用法 278
10.3.2 Estimator自定义模型 280
10.3.3 使用数据集（Dataset）作为Estimator输入 284
小结 286
第11章 TensorBoard可视化 287
11.1 TensorBoard简介 287
11.2 TensorFlow计算图可视化 289
11.2.1 命名空间与TensorBoard图上节点 290
11.2.2 节点信息 297
11.3 监控指标可视化 301
11.4 高维向量可视化 309
小结 317
第12章 TensorFlow计算加速 318
12.1 TensorFlow使用GPU 318
12.2 深度学习训练并行模式 324
12.3 多GPU并行 327
12.4 分布式TensorFlow 334
12.4.1 分布式TensorFlow原理 334
12.4.2 分布式TensorFlow模型训练 338
小结 348
序言
序
2017年初，我曾为本书第1版写过一篇“推荐序”。后来郑泽宇邀请我共同完成第2版的写作，我从读者变成了作者，又有了许多新的感受。因此我想借着重新写序的机会，跟读者分享一下写作第2版的心路点滴。我在自然语言处理领域工作多年，这次负责撰写第9章自然语言处理的相关内容，本以为会是得心应手，然而事实上，写作的过程远比我想象中困难得多。最困难的地方在于，写作进行的时候无法及时得到读者的反馈，不能把握读者的心声——理论部分介绍多少比较合适？关于语料预处理的内容会不会令读者感到枯燥？模型的实现应该使用基本模块来搭建还是直接调用TensorFlow中的库？注意力机制有那么多变体，到底应该介绍哪一个才符合读者的期望？这些都是我在写作过程中反复思考的问题。最后书中呈现的内容，大致是我认真揣测读者的心思后，想到的在特定领域搭建应用时所要用到的最精简的知识。希望这些知识能为读者进一步学习和实践打下良好的基础。
TensorFlow的库非常丰富。除了基础的网络结构之外，很多最新的研究成果都会被迅速提交到TensorFlow的库中。而为了提供最大的灵活度，每一个结构又常常提供许多配置参数。如果将这些库、参数都一一列出，那么本书无异于一本枯燥的API说明文档，这是我们不希望看到的。因此我们本着只介绍API中最实用、最核心部分的原则，希望能帮助读者快速上手。同时我们鼓励读者多多查阅官方文档，也许你想实现的某个功能已经包含在TensorFlow官方库中了。
在这里，我想感谢郑泽宇的邀请，让我全心投入，感受到了写书的乐趣与不易，于我自己也是一个巨大的提升。还要感谢我的同事高勤和江鹏在写作过程中为我提供的宝贵意见。同时，衷心感谢在本书第1版的官方网站上留言的热心读者们，你们的建议成就了更好的第2版内容。希望读者们继续多提建议，包括希望看到哪些内容可以更详细、更深入，哪些内容可以精简，以及未来版本可以加入哪些内容等。读者们的支持永远是我们持续改进的动力！
梁博文
2017年12月
前言
“深度学习”这个词在过去的一年之中已经轰炸了媒体、技术博客甚至朋友圈。这也许正是你会读到本书的原因之一。数十年来，人工智能技术虽不断发展，但像深度学习这样在学术界和工业界皆具颠覆性的技术实在是十年难遇。可惜的是，理解和灵活运用深度学习并不容易，尤其是其复杂的数学模型，让不少感兴趣的同学很快“从入门到放弃”。在本书第1版前，很难找到从实战出发的深度学习和TensorFlow参考书，这也是笔者在工作之余熬夜撰写这本书的动力。笔者本人作为一枚标准码农、创业党，希望这本书能够帮助码农和准码农们绕过深度学习复杂的数据公式，快速上手深度学习，解决工作、学习中的实际问题。
2016年初，笔者和小伙伴们从美国谷歌辞职，回到祖国并在杭州联合创办了才云科技（Caicloud.io），为企业提供人工智能平台和解决方案。回国之初，很多企业对于TensorFlow都显示出了浓厚的兴趣，然而在深度交流之后，发现TensorFlow虽然是一款非常容易上手的工具，但是深度学习的技术并不是每一家企业都能掌握的。为了让更多的人和企业可以享受到深度学习技术带来的福利，笔者与电子工业出版社的张春雨编辑一拍即合，开始了本书的撰写工作。
使用TensorFlow实现深度学习是本书介绍的重点。本书将从TensorFlow的安装开始，依次介绍TensorFlow的基本概念、使用TensorFlow实现全连接深层神经网络、卷积神经网络和循环神经网络等深度学习算法，以及TensorFlow并行化输入数据处理流程、TensorBoard可视化工具、TensorFlow高层封装、带GPU的分布式TensorFlow使用方法。在介绍使用TensorFlow实现不同深度学习算法的同时，也介绍了这些算法背后的理论，并列举了这些算法可以解决的具体问题。本书避开了枯燥复杂的数学公式，从实际问题出发，在实践中介绍深度学习的概念和TensorFlow的用法。
本书第1版出版之后，笔者收到了广大读者的踊跃来信。信中既充分肯定了第1版对他们学习TensorFlow和深度学习的帮助，又提出了对更新TensorFlow版本和其他新内容的期待，这正是笔者开始撰写第2版的强大动力。第1版中大部分示例都是与计算机视觉相关的，为了更好地介绍与自然语言处理相关的内容，笔者特别邀请了在Google翻译组工作了5年的梁博文来撰写这部分内容。第2版中将有专门的一个章节介绍语言模型、Seq2Seq模型、注意力（attention）模型等自然语言应用。
TensorFlow是一个飞速发展的工具。第1版在写作时的最新版本为0.9.0，然而到第1版出版时，谷歌已经推出了TensorFlow的第一个正式版1.0.0。相比第1版中使用的TensorFlow 0.9.0，TensorFlow 1.0.0以后的版本对API也进行了大量调整，之前的大量示例代码已经无法正常运行。第2版在更新示例API版本的同时，对TensorFlow 0.9.0之后推出的重要新功能也进行了详细介绍，希望能够帮助读者更好地使用TensorFlow。
为了让广大读者更好地理解和使用书中的示例代码，我们为大家提供了一个完全公开的GitHub代码库来维护TensorFlow不同版本的示例程序。……
读者也可以登录博文视点官网 ，下载本书代码或提交勘误信息。一旦勘误信息被作者或编辑确认，即可获得博文视点奖励积分，用于兑换电子书。读者可以随时浏览图书页面，查看已发布的勘误信息。
致谢
在此我要特别感谢为此书做出贡献的每一个人。
首先，我要感谢所有的读者。在第1版出版之后，我收到了大量的读者来信。这些信中表达了对本书内容的喜爱，同时也给出了非常多的宝贵建议。广大读者的支持和鼓励正是我完成第2版的最大动力。在此，我再次感谢每一位读者，希望第2版中更多的干货值得大家投入宝贵的精力去阅读。
其次，我要感谢加入第2版写作的作者梁博文。在繁重的Google日常工作的同时，梁博文经常深夜撰写自然语言处理的相关内容并调试示例代码，非常辛苦。正是因为梁博文的辛勤付出，才让第2版中的内容更加全面。
最后，我要再次感谢在第1版写作过程中给予过我大力支持的所有人。没有他们的支持也就没有这本书的诞生——
在紧张的创业之余，才云科技CEO张鑫给了我极大的支持和鼓励，让我有足够的时间投入到此书第1版的撰写工作中。
我也要感谢我的妻子温苗苗以及我的父母、岳父岳母，没有他们一直以来的支持和帮助，我不可能完成此书的写作。每当遇到困难的时候，长辈们的鼓励是我前进的最大动力。
最后，我还要感谢所有为本书付出心血的电子工业出版社的编辑们。无论在本书的定位，还是在具体的文字推敲、编辑加工、版式设计上，张春雨、刘佳禾和孙奇俏都给予了巨大的帮助。
郑泽宇
2017年12月
文摘
推 荐 序 1
“互联网+”的大潮催生了诸如“互联网+外卖”、“互联网+打车”、“互联网+家政”等众多商业模式的创新和创业佳话。而当“互联网+”已被写入教科书并成为传统行业都在积极践行的发展道路时，过去一年科技界的聚光灯却被人工智能和深度学习所创造的一个个奇迹所占据。从AlphaGo肆虐围棋界，到人工智能创业大军的崛起，都预示着我们即将步入“AI+”的时代：“AI+教育”、“AI+媒体”、“AI+医学”、“AI+配送”、“AI+农业”，等等，将会层出不穷。
AI在近期的爆发离不开数据“质”和“量”的提升，离不开高性能计算平台的发展，更离不开算法的进步，而深度学习则成为了推动算法进步中的一个主力军。TensorFlow作为谷歌开源的深度学习框架，包含了谷歌过去10年间对于人工智能的探索和成功的商业应用。谷歌的自动驾驶、搜索、购物、广告、云计算等产品，都无时无刻不在利用类似TensorFlow的深度学习算法将数据的价值最大化，从而创造巨大的商业价值。
TensorFlow作为一个开源框架，在极短时间内迅速圈粉并已成为github.com上耀眼的明星。然而，掌握深度学习需要较强的理论功底，用好TensorFlow又需要足够的实践和解析。开源项目和代码本身固然重要，但更重要的是使用者的经验和领域知识，以及如何将底层技术或工具采用好的实践和模式来解决现实问题。我与作者共事多年，浏览本书后深深体会到该作品是作者在谷歌多年分布式深度学习实践经验和其理论才学的浓缩，也相信这本从入门到高级实践的读物能够为每个读者带来一个精神盛宴，并帮助计算机技术从业者在各自的业务领域打开新的思路、插上新的翅膀。
张鑫
杭州才云科技有限公司联合创始人CEO、美国卡耐基梅隆大学计算机博士
推 荐 序 2
深度学习带来的技术革命波及甚广，学术界同样早已从中受益，将深度学习广泛应用到各个学科领域。深度学习源自“古老”的神经网络技术，既标志着传统神经网络的卷土重来，也借由AlphaGo碾压人类围棋一役，开启了AI爆炸式发展的大幕。机器学习为人工智能指明道路，而深度学习则让机器学习真正落地。作为高等教育工作者，让学生了解和跟上新技术发展的意义不言而喻。而深度学习的重要性，从近来国内外互联网巨擘对未来的展望中可见端倪——在深度学习照耀下的人工智能技术，毫无疑问是下一个时代的主角和支柱。
然而，目前深度学习的相关资料，尤其是像TensorFlow这种引领未来趋势的新技术的学习资料，普遍存在明显缺憾。
其一，中文资料非常少，而且信息零散、不成系统。这篇文章里讲一个算法，那个博客里介绍一个应用，很难让学生形成一个完整的、全局的概念体系。
其二，已有的深度学习资料大多偏重理论，对概率、统计等数学功底有很高的要求，不易激发学生的兴趣。
而这些现存问题，也正是我对泽宇这部著作寄予厚望的原因——这是一本非常适合高校学生走近深度学习的入门读物。因为它从实际问题出发，可以激发读者的兴趣，让读者可以快速而直观地享受到解决问题的成就感。同时，此书理论与实践并重，既介绍了深度学习的基本概念，为更加深入地研究深度学习奠定基础；又给出了具体的TensorFlow样例代码，让读者可以将学习成果直接运用到实践中。
我非常相信也衷心希望，有志参与深度学习未来大潮的莘莘学子，能凭借此书更快速、更扎实地开启深度学习之旅，并通过TensorFlow来实现深度学习常用算法，从而登堂入室，最终成为AI的真正驾驭者。
张铭
北京大学信息科学技术学院教授