Keras快速上手：基于Python的深度学习实战

　　《Keras快速上手：基于Python的深度学习实战》系统地讲解了深度学习的基本知识、建模过程和应用，并以深度学习在推荐系统、图像识别、自然语言处理、文字生成和时间序列中的具体应用为案例，详细介绍了从工具准备、数据获取和处理到针对问题进行建模的整个过程和实践经验，是一本非常好的深度学习入门书。

　　不同于许多讲解深度学习的书籍，《Keras快速上手：基于Python的深度学习实战》以实用为导向，选择了 Keras 作为编程框架，强调简单、快速地设计模型，而不去纠缠底层代码，使得内容相当易于理解，读者可以在 CNTK、 TensorFlow 和 Theano 的后台之间随意切换，非常灵活。并且本书能帮助读者从高度抽象的角度去审视业务问题，达到事半功倍的效果。

　　谢梁

　　现任微软云计算核心存储部门首席数据科学家，主持运用机器学习和人工智能方法优化大规模高可用性并行存储系统的运行效率和改进其运维方式。具有十余年机器学习应用经验，熟悉各种业务场景下机器学习和数据挖掘产品的需求分析、架构设计、算法开发和集成部署，涉及金融、能源和高科技等领域。曾经担任美国道琼斯工业平均指数独有保险业成分股的旅行家保险公司分析部门总监，负责运用现代统计学习方法优化精算定价业务和保险运营管理，推动精准个性化定价解决方案。在包括JournalofStatisticalSoftware等专业期刊上发表过多篇论文，担任JournalofStatisticalComputationandSimulation期刊以及DataMiningApplicationswithR一书的审稿人。本科毕业于西南财经大学经济学专业，博士毕业于纽约州立大学计量经济学专业。

　　鲁颖

　　现任谷歌硅谷总部数据科学家，为谷歌应用商城提供核心数据决策分析，利用机器学习和深度学习技术建立用户行为预测模型，为产品优化提供核心数据支持。曾在亚ma逊、微软和迪士尼美国总部担任机器学习研究科学家，有着多年使用机器学习和深度学习算法研发为业务提供解决方案的经验。热衷于帮助中国社区的人工智能方面的研究和落地，活跃于各个大型会议并发表主题演讲。本科毕业于复旦大学数学专业，博士毕业于明尼苏达大学统计专业。

　　劳虹岚

　　现任微软研究院研究工程师，是早期智能硬件项目上视觉和语音研发的核心团队成员，对企业用户和消费者需求体验与AI技术的结合有深刻的理解和丰富的经验。曾在Azure和Office365负责处理大流量高并发的后台云端研究和开发，精通一系列系统架构设计和性能优化方面的解决方案。拥有从前端到后端的丰富经验：包括客户需求判断、产品开发以及最终在云端架构设计和部署。本科毕业于浙江大学电子系，硕士毕业于美国南加州大学（USC）电子和计算机系。

　　《Keras快速上手：基于Python的深度学习实战》从如何准备深度学习的环境开始，手把手地教读者如何采集数据，如何运用一些常用，也是目前被认为有效的一些深度学习算法来解决实际问题。覆盖的领域包括推荐系统、图像识别、自然语言情感分析、文字生成、时间序列、智能物联网等。不同于许多同类的书籍，《Keras快速上手：基于Python的深度学习实战》选择了Keras作为编程软件，强调简单、快速的模型设计，而不去纠缠底层代码，使得内容相当易于理解。读者可以在CNTK、TensorFlow和Theano的后台之间随意切换，非常灵活。即使你有朝一日需要用更低层的建模环境来解决更复杂的问题，相信也会保留从Keras中学来的高度抽象的角度审视你要解决的问题，让你事半功倍。

　　《Keras快速上手：基于Python的深度学习实战》以实际应用为导向，强调概念的认知和实用性，对理论的介绍深入浅出，对读者的数学水平要求较低，读者在学习完毕后能使用案例程序举一反三地应用到其具体场景中。《Keras快速上手：基于Python的深度学习实战》覆盖当前热门的传统数据挖掘场景和四个深度学习应用场景，根据我们市场调研，是目前罕有以应用为导向的介绍机器学习和深度学习的专业书籍，具备很高的参考价值和学术价值。

　　序一

　　在最近的几年里，深度学习无疑是一个发展最快的机器学习子领域。在许多机器学习竞赛中，最后胜出的系统或多或少都使用了深度学习技术。2016年，基于深度学习、强化学习和蒙特卡洛树搜索的围棋程序AlphaGo甚至战胜了人类冠军。人工智能的这一胜利比预想的要早了10年，而其中起关键作用的就是深度学习。

　　深度学习已经广泛应用于我们的生活中，比如市场上可以见到的语音转写、智能音箱、语言翻译、图像识别和图像艺术化系统等，其中深度学习都是关键技术。同时，由于学术界和工业界的大量投入，深度学习的新模型和新算法层出不穷，要充分掌握深度学习的各种模型和算法并实现它们无疑是一件困难的事情。

　　幸运的是，基于各行各业对深度学习技术的需求，许多公司和学校开源了深度学习工具包，其中大家比较熟悉的有CNTK、TensorFlow、Theano、Caffe、mxNet和Torch。这些工具包都提供了非常灵活而强大的建模能力，极大地降低了使用深度学习技术的门槛，进一步加速了深度学习技术的研究和应用。但是，这些工具包各有所长、接口不同，而且对于很多初学者这些工具包过于灵活，难以掌握。

　　由于这些原因，Keras应运而生。Keras可以被看作一个更易于使用、在更高层次上进行抽象、兼具兼容性和灵活性的深度学习框架，它的底层可以在CNTK、TensorFlow和Theano中自由切换。Keras的出现使很多初学者可以很快地体验深度学习的一些基本技术和模型，并且将这些技术和模型应用到实际问题中。

　　本书也正是在这样的背景下产生的。它的目标读者正是那些刚刚进入深度学习领域、还没有太多经验的学生和工程师。本书的作者谢梁、鲁颖和劳虹岚分别在微软和谷歌这样的走在深度学习前沿的公司里做大数据和深度学习技术的研发，积累了很多把商业和工程问题转化成合适的模型并分析模型好坏以及解释模型结果的经验。在这本书里，他们把这些经验传授给大家，使更多的人能够快速掌握深度学习，并有效应用到商业和工程实践中。

　　这本书比较系统地讲解了深度学习的基本知识、建模过程和应用，并以深度学习在推荐系统、图像识别、自然语言处理、文字生成和时间序列的具体应用作为案例，详细介绍了从工具准备、数据获取和处理到针对问题进行建模的整个过程和实践经验，是一本非常好的深度学习入门书。

　　俞栋博士

　　腾讯AILab副主任，杰出科学家

　　西雅图人工智能研究室负责人

　　2017年6月22日于美国西雅图

　　序二

　　随着大数据的普及以及硬件计算能力的飞速提升，深度学习在过去的5~6年有了日新月异的发展。在一个又一个领域，深度学习展示了极其强大甚至连人类都难以企及的能力，这包括语音识别、机器翻译、自然语言识别、推荐系统、人脸识别、图像识别、目标检测、三维重建、情感分析、棋类运动、德州扑克、自动驾驶等。伴随着人工智能广阔的应用前景，科技巨擎诸如谷歌、微软、亚马逊、百度、腾讯、阿里巴巴等纷纷投入巨资，从而进一步推动了这个领域的进步。如今，已经很少有人还对人工智能能达到的高度有任何怀疑态度，取而代之的是对人类如何与机器共存的畅想和机器终有一天取代人类的担忧。

　　当然，如果我们现在就开始担心机器将毁灭人类，那么还是有一些杞人忧天。深度学习现在还只停留在感知（Perception）的阶段，即从原始数据进行简单的感觉和分析，但是远没有达到认知（Cognition）的阶段，即对事件进行逻辑推理和认识。深度学习的很多原理，还处在研究阶段。即使是各领域的专家，对于深度学习为什么如此有效，依然是一知半解。幸运的是，在解决很多实际问题时，其实并不需要我们那么深刻理解它。谢梁、鲁颖和劳红岚的这本书，就是从非常实用的角度来分享深度学习的一些基本知识，值得一读。

　　这本书从如何准备深度学习的环境开始，手把手地教读者如何采集数据，如何运用一些最常用，也是目前为止被认为最有效的一些深度学习算法来解决实际问题。覆盖的领域包括推荐系统、图像识别、自然语言情感分析、文字生成、时间序列、智能物联网等。不同于许多同类的书籍，这本书选择了Keras作为编程软件，强调简单、快速的模型设计，而不去纠缠底层代码，使得内容相当易于理解。读者可以在CNTK、TensorFlow和Theano的后台之间随意切换，非常灵活。即使你有朝一日需要用更低层的建模环境来解决更复杂的问题，相信也会保留从Keras中学来的高度抽象的角度审视你要解决的问题，让你事半功倍。

　　这一波深度学习的大潮，必将带来一个新的信息革命。每一次如此巨大的变革，都将淘汰很多效率低下的工作，并发展出新兴的职业。在一个如此激动人心的年代，愿这本书带着读者启航！

　　张察博士

　　CNTK主要作者之一，美国微软总部首席研究员

　　2017年6月于美国西雅图

　　前言

　　2006年，机器学习领域迎来了重要的转折点。加拿大多伦多大学教授、机器学习领域泰斗GeoffreyHinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇关于深度置信网络(DeepBeliefNetworks)的论文。从这篇论文的发表开始至今，深度学习有着迅猛的发展。2009年，微软研究院语音识别专家俞栋和邓力博士与深度学习专家GeofferyHinton合作。2010年，美国国防部DARPA和斯坦福大学、纽约大学和NEC美国研究院合作深度学习项目。2011年微软宣布基于深度神经网络的识别系统取得成果并推出产品，彻底改变了语音识别原有的技术框架。从2012到2015年，深度学习技术在图像识别领域取得惊人的效果，在ImageNet评测上将错误率从26%一路降到5%以下，几乎接近甚至超过人类的水平。这些都直接促进了一系列围绕深度学习技术的智能产品在市场上的出现，比如微软的认知服务（CognitiveServices）平台，谷歌的智能邮件应答和谷歌助手等。

　　在中国，我们同样欣喜地看到，基于大数据的机器学习和深度学习算法的大规模应用给互联网行业带来的巨大变革：淘宝的推荐算法、微软的小冰聊天机器人、百度的度秘、滴滴的预估时间和车费、饿了么的智能调度等都应运而生。我们有理由相信，未来的物联网、无人驾驶等也会挖掘出更多深度学习的实用场景。

　　深度学习对很多科技行业的从业者来说仍有一些神秘感。虽然像谷歌、微软等互联网巨头开源了诸如TensorFlow、CNTK等深度学习平台，大幅降低了从业者的门槛，但是如何举一反三，根据实际问题选择合适的算法和模型，并不容易。作为本书的作者，我们三位在美国谷歌、微软等顶尖互联网科技公司从事多年以机器学习和深度学习为基础的人工智能项目研发，有着丰富的实践经验，深感有必要撰写一本深入浅出的深度学习书籍，分享我们对深度学习的理解和想法，并帮助同行和感兴趣的朋友们快速上手，建立属于自己的端到端的深度学习模型，从而在大数据、深度学习的浪潮中有着更好的职业发展。我们希望本书能起到抛砖引玉的作用，使读者对深度学习产生更多的兴趣，并把深度学习作为一个必备的分析技能。

　　在本书中，我们选择Keras这个流行的深度学习建模框架来讲解深度学习话题。这主要从三方面的考虑。首先，Keras包括了各种常用的深度学习模块，可以应用于绝大部分业务环境。其次，从原理上讲，它是高度抽象的深度学习编程环境，简单易学。Keras底层是调用CNTK、TensorFlow或Theano执行计算的。最后，作为应用领域的从业者，我们需要关注的是如何把一个商业或者工程问题转化成合适的模型，如何准备数据和分析模型的好坏以及如何解释模型的结果。Keras非常适合这样的场景，让使用者脱离具体的矩阵计算和求导，而将重心转移到业务逻辑上。

　　本书是目前国内不多的系统讲解使用Keras这个深度学习框架进行神经网络建模的实用书籍，非常适合数据科学家、机器学习工程师、人工智能应用工程师和工作中需要进行预测建模以及进行回归分析的从业者。本书也适合对深度学习有兴趣的不同背景的从业者、学生和老师。

　　本书分成10章，系统性地讲解深度学习基本知识、使用Keras建模过程和应用，并提供详细代码，使读者可以花最少的时间把核心建模知识学到手。其中第1章介绍搭建深度学习环境，是整本书的基础。第2章介绍如何用网络爬虫技术收集数据并使用ElasticSearch存储数据。因为在很多应用中，数据需要读者自行从网上爬取和并加以处理和存储。第3章介绍深度学习模型的基本概念。第4章介绍深度学习框架Keras的用法。第5~9章，是5个深度学习的经典应用。我们会依次介绍深度学习在推荐系统、图像识别、自然语言处理、文字生成和时间序列的具体应用。在介绍这些应用的过程中会穿插各种深度学习模型和代码，并和读者分享我们对于这些模型的原理和应用场景的体会。最后，我们抛砖引玉地把物联网的概念提出来。我们相信，物联网和深度学习的结合会爆发出巨大的能量和价值。

　　限于篇幅，我们无法涉及深度学习的方方面面，只能尽自己所能，和大家分享尽可能多的体会、经验和易于上手的代码。

　　在写书的过程中，我们得到了大量的帮助和指导。微软CNTK的作者、国际顶尖深度学习专家俞栋博士和张察博士为本书作序，并给予我们许多支持和鼓励。微软研究院的研究员郭彦东博士和高级工程师汤成对本书的部分章节提出了审阅意见。电子工业出版社的张慧敏、葛娜和王静老师，对书籍的出版和编辑付出了极大努力，才使这本书得以如期问世。在此一并感谢。

　　最后，我们三位作者希望本书能为中国的深度学习和人工智能的普及，为广大从业者提供有价值的实践经验和快速上手贡献我们的微薄之力。

　　谢梁，美国微软总部首席数据科学家

　　鲁颖，谷歌总部数据科学技术专家

　　劳虹岚，美国微软总部微软研究院研究工程师

　　2017年6月于美国西雅图和硅谷

1 准备深度学习的环境 1

1.1 硬件环境的搭建和配置选择 1

1.1.1 通用图形处理单元 3

1.1.2 你需要什么样的 GPU 加速卡 6

1.1.3 你的 GPU 需要多少内存 6

1.1.4 是否应该用多个 GPU 10

1.2 安装软件环境 12

1.2.1 所需软件列表 12

1.2.2 CUDA 的安装 13

1.2.3 Python 计算环境的安装 13

1.2.4 深度学习建模环境介绍 15

1.2.5 安装 CNTK 及对应的 Keras 17

1.2.6 安装 Theano 计算环境 23

1.2.7 安装 TensorFlow 计算环境 25

1.2.8 安装 cuDNN 和 CNMeM 27

2 数据收集与处理 28

2.1 网络爬虫 28

2.1.1 网络爬虫技术 29

2.1.2 构造自己的 Scrapy 爬虫 30

2.1.3 构造可接受参数的 Scrapy 爬虫 35

2.1.4 运行 Scrapy 爬虫 36

2.1.5 运行 Scrapy 爬虫的一些要点 38

2.2 大规模非结构化数据的存储和分析 40

2.2.1 ElasticSearch 介绍 42

2.2.2 ElasticSearch 应用实例 44

3 深度学习简介 57

3.1 概述 57

3.2 深度学习的统计学入门 58

3.3 一些基本概念的解释 61

3.3.1 深度学习中的函数类型 62

3.3.2 深度学习中的其他常见概念 65

3.4 梯度递减算法 67

3.5 后向传播算法 70

4 Keras 入门 72

4.1 Keras 简介 72

4.2 Keras 中的数据处理 73

4.2.1 文字预处理 74

4.2.2 序列数据预处理 82

4.2.3 图片数据输入 83

4.3 Keras 中的模型 83

4.4 Keras 中的重要对象 86

4.5 Keras 中的网络层构造 90

4.6 使用 Keras 进行奇异值矩阵分解 102

5 推荐系统 105

5.1 推荐系统简介 105

5.2 矩阵分解模型 108

5.3 深度神经网络模型 114

5.4 其他常用算法 117

5.5 评判模型指标 119

6 图像识别 121

6.1 图像识别入门 121

6.2 卷积神经网络的介绍 122

6.3 端到端的 MNIST 训练数字识别 127

6.4 利用 VGG16 网络进行字体识别 131

6.5 总结 135

7 自然语言情感分析 136

7.1 自然语言情感分析简介 136

7.2 文字情感分析建模 139

7.2.1 词嵌入技术 139

7.2.2 多层全连接神经网络训练情感分析 140

7.2.3 卷积神经网络训练情感分析 143

7.2.4 循环神经网络训练情感分析 144

7.3 总结 146

8 文字生成 147

8.1 文字生成和聊天机器人 147

8.2 基于检索的对话系统 148

8.3 基于深度学习的检索式对话系统 159

8.3.1 对话数据的构造 159

8.3.2 构造深度学习索引模型 162

8.4 基于文字生成的对话系统 166

8.5 总结 172

9 时间序列 173

9.1 时间序列简介 173

9.2 基本概念 174

9.3 时间序列模型预测准确度的衡量 178

9.4 时间序列数据示例 179

9.5 简要回顾 ARIMA 时间序列模型 181

9.6 循环神经网络与时间序列模型 186

9.7 应用案例 188

9.7.1 长江汉口月度流量时间序列模型 190

9.7.2 国际航空月度乘客数时间序列模型 203

9.8 总结 209

10 智能物联网 210

10.1 Azure 和 IoT 210

10.2 Azure IoT Hub 服务 213

10.3 使用 IoT Hub 管理设备概述 215

10.4 使用.NET 将模拟设备连接到 IoT 中心 218

10.5 机器学习应用实例 237