深度学习算法实践

《深度学习算法实践》以一位软件工程师在工作中遇到的问题为主线，阐述了如何从软件工程思维向算法思维转变、如何将任务分解成算法问题，并结合程序员在工作中经常面临的产品需求，详细阐述了应该怎样从算法的角度看待、分解需求，并结合经典的任务对深度学习算法做了清晰的分析。

《深度学习算法实践》在表达上深入浅出，让有志于学习深度学习的读者，能够快速地理解核心所在，并顺利上手实践。

吴岸城

致力于深度学习在文本、图像领域的应用。曾中兴通讯、亚信联创担任研发经理、技术经理等职务，现任菱歌科技首席算法科学家一职。

《深度学习算法实践》以一位软件工程师在工作遇到的问题为主线，阐述了如何从软件工程的思维向算法思维转变，以及深度学习算法的概念与实践：比如在哪些场景下需要运用深度学习算法、如何将深度学习算法应用到任务中、提高工作效率？不仅如此，作者还结合程序员在工作中经常面临的产品需求，详细阐述了应该怎样从算法的角度来看待、分解需求，并结合经典的任务对深度学习算法做了清晰的分析：如何用RNN和CNN结合来提取深度文本特征？如何开始写一个Chatbot？如何在Chatbot中应用深度学习？强化学习为什么这么强大，它是万能的吗？强化学习可以用在什么地方？对于图形领域的深度网络来说，是否有通用的提高模型精度的方法？如何利用深度学习来预测股票的趋势？YouTube是如何推荐影片的，我们如何将YouTube的深度学习经验应用在推荐系统中……这些经典的应用案例，能让有志于学习深度学习的读者，快速地理解核心所在，并顺利地上手实践。

随着机器智能的进步，人类预测技能的价值将会降低。原因在于机器预测比人工预测更为低价和优质，正如机器算数肯定比人力算数更为迅速准确。然而，这却并不像许多专家预言的意味着人类工作的末日，因为人类判断技能的价值将得以凸显。用经济学语言表述就是，判断是预测的互补品，因此当预测的成本降低，对判断的需求就会增大。

——The Simple Economics of Machine Intelligence，《哈佛商业评论》

当年互联网的大潮席卷一切时，数字通信技术被认为将颠覆商业、改变一切。之后的移动互联网也在某种程度上被认为将颠覆商业。经济学家总体上并没有被当时的互联网泡沫所忽悠。

现如今，有关人工智能的报道铺天盖地，有昔日“新经济”泡沫之势。这一次，基本的经济学原理和框架就足以帮助我们理解和预测这一技术形态对商业产生的影响。技术革命往往会使某些重要活动的成本降低，比如说通信或搜索信息等活动。究其实质，人工智能或者机器智能（Machine Intelligence）是一项预测技术，因此它的经济影响将围绕降低预测成本这个中心来展开。

对于已经身处这个大潮中的开发者、架构师、数据分析人员等，只能去拥抱这项技术。深度学习并不是一项凭空冒出来的技术，它在机器学习之上做了很多优化。本质上所有的有监督学习都是在探讨怎样无限地逼近目标函数（强化学习另外讨论），而深度网络就是让机器代替人类提取特征的工作变得更有可能真正实现。在经济学家的眼里，现阶段人工智能的本质是从预测（或分类问题）开始，我想通过几个实际的例子来和大家聊聊这个话题；另一方面，我的团队在工作中积累了一些实际经验，我们也希望能将这些经验贡献出来，如果能在某种程度上对读者有所帮助那就最好不过了。以上两点，促成了本书的诞生。

我写的前一本书（《神经网络与深度学习》，电子工业出版社出版）偏向于概念讲解，因为写的时候深度学习并不普及，让大众了解深度学习的基本概念是最急迫的目标。本书大部分内容则偏向于应用，因为无论是降低社会成本，还是发明创造出新算法，都离不开实践；如果还能从实践中思考一些东西，那就是举一反三的能力了——这是我们人类独特的价值。所以在本书后面的强化学习、股票预测等章节，我们都会留一些问题，读者可以亲自实践，用深度学习这个工具创造出更多的价值，更长远地说，为推动强人工智能贡献自己的一份力量。

我一直相信，创造具有意识的AI，对所有的科技人员都是一种诱惑，尽管有可能造出来就意味着人类的边缘化，但仍然要憋着劲儿去研究如何把它造出来——这简直就不像人类的自由意志，更像背后有一只手在推动着，我想上帝在造人时的心情也不过如此吧。

本书面向有一定基础、在工作中对深度学习有一定实际需求的读者；也面向那些有志于从传统的软件工程领域转型的工程师们。

本书一共分为6章。

第1章，主要讲从工程思维到算法思维的转变，对于有基础的读者来说稍显啰唆，但很重要，希望读者能仔细阅读。

第2章，阐述文本分析、文本深度特征等内容，已有基础的读者可以根据自己的需求部分略过。

第3章，主要介绍对话机器人的相关技术和发展。

第4章，主要介绍视觉，以人脸检测为例，从传统的OpenCV模式识别做人脸检测到用CNN网络做人脸表情识别。勾勒CNN的传承发展，讲述做图像分类、目标识别等其他应用。

第5章，主要讲区别于一般的有监督学习的另一个问题：强化学习和DQN网络实践。

第6章，主要讲预测与推荐，以股票为例，并同时讨论了深度学习在推荐领域的应用。

本书的完成得到了团队的大力支持：张帅、郭晓璐提供了图像方面的支持；周维提供了强化学习内容上的支持，在此衷心地感谢他们。

下面是本书用到的环境说明。

为保持一致性，本书所有的代码如无特殊说明都基于Python 2.7版本，系统环境为Ubuntu 16.04，以及所用到的Keras、TensorFlow、MXNet、Caffe、Openface、openAI、OpenCV、Dlib、NumPy、SciPy、Gensim、Theano等均为2016年9月的最新版本。

本书的部分源代码整理在：https://github.com/wac81/Book_DeepLearning_ Practice，仅供研究使用，使用时请注明来源，如需用作商业或其他用途，请联系作者取得授权。

1 开始 1

1.1 从传统的软件工程思维转型 1

1.2 建立算法思维 2

1.2.1 算法的开发流程 3

1.2.2 做算法的步骤 4

1.2.3 英特的总结 8

1.3 观察！观察！观察！重要的事情说三遍 11

2 文本分析实战 15

2.1 第一个文本问题 15

2.1.1 邮件标题的预处理 15

2.1.2 选用算法 18

2.1.3 用CNN做文本分类 21

2.2 情感分类 24

2.2.1 先分析需求 24

2.2.2 词法分析 25

2.2.3 机器学习 28

2.2.4 试试LSTM模型 30

2.3 文本深度特征提取 31

2.3.1 词特征表示 31

2.3.2 句子特征表示 42

2.3.3 深度语义模型 51

3 做一个对话机器人 53

3.1 理解人类提问 56

3.2 答案的抽取和选择 57

3.3 蕴含关系 62

3.4 生成式对话模型（Generative Model） 63

3.5 判断机器人说话的准确性 69

3.6 智能对话的总结和思考 70

4 视觉识别 73

4.1 从人脸识别开始 74

4.1.1 OpenCV能做什么 74

4.1.2 检测精度的进化：Dlib 79

4.1.3 表情识别：Openface 83

4.2 深度卷积网络 87

4.2.1 CNN的演化过程 87

4.2.2 深度卷积和更深的卷积 96

4.2.3 实现更深的卷积网络 103

4.2.4 残差网络的实现 108

4.2.5 十全大补药：通用的提高精度的方法 111

4.2.6 图像训练需要注意的地方 116

4.3 目标检测 125

4.3.1 用SSD来实现目标检测应用 133

4.3.2 SSD训练源码提示 136

4.4 视觉领域的应用 138

4.4.1 艺术风格画 138

4.4.2 看图说话：用文字描述一幅图像（BiRNN+CNN） 140

4.4.3 CNN的有趣应用：语音识别 142

5 强化学习实践 145

5.1 吃豆子和强化学习 145

5.2 马尔科夫决策过程 147

5.3 理解Q网络 150

5.4 模拟物理世界：OpenAI 152

5.5 实现一个DQN 154

5.5.1 DQN代码实现 154

5.5.2 DQN过程的图表化 160

5.6 关于强化学习的思考 163

5.6.1 强化学习的特殊性 163

5.6.2 知识的形成要素：记忆 165

5.6.3 终极理想：终身学习 170

6 预测与推荐 173

6.1 从Google的感冒预测说起 173

6.2 股票预测（一） 175

6.2.1 股票业务整理 176

6.2.2 数据获取和准备 179

6.2.3 模型搭建 183

6.2.4 优化 186

6.2.5 后续 187

6.3 股票预测（二） 189

6.4 深度学习在推荐领域的应用：Lookalike算法 197

6.4.1 调研 198

6.4.2 实现 201

6.4.3 结果 205

6.4.4 总结探讨 205

参考文献