深入浅出：工业机器学习算法详解与实战

实用性是本书的基本出发点，书中介绍了近年来在工业界被广泛应用的机器学习算法，这些算法经受了时间的考验，不但效果好而且使用方便。此外，本书也十分注重理论的深度和完整性，内容编排力求由浅入深、推理完整、前后连贯、自成体系，先讲统计学、矩阵、优化方法这些基础知识，再介绍线性模型、概率图模型、文本向量化算法、树模型和深度学习。与大多数机器学习图书不同，本书还介绍了算法周边的一些工程架构及实现原理，比如如何实时地收集训练样本和监控算法指标、参数服务器的架构设计、做A/B 测试的注意事项等。
本书理论体系完整，公式推导清晰，可作为机器学习初学者的自学用书。读者无需深厚的专业知识, 本科毕业的理工科学生都能看懂。另外由于本书与工业实践结合得很紧密，所以也非常适合于从事算法相关工作的工程技术人员阅读。

张朝阳，毕业于华中科技大学工业工程系，获硕士学位。曾就职于58同城、字节跳动，现任脉脉高级算法研究员，从事过反作弊、推荐、搜索等业务的算法研究和系统开发工作，擅长自然语言处理、点击率预估和特征工程。多年坚持写博客，总能以浅显易懂的文字将算法原理讲清楚，在博客园上吸引了众多粉丝。

适读人群 ：希望学习机器学习算法的本科毕业生以及从事算法相关
本书收录了近年来在工业界被广泛应用的机器学习算法，这些算法经受了时间的考验，不但效果好而且使用方便。本书另一特色是介绍了算法周边的一些工程架构及实现原理。
本书理论体系完整，公式推导清晰，可作为机器学习初学者的自学用书，本科毕业的理工科学生都能看懂。

我曾经在字节跳动工作过一段时间，那是一家企业文化让我感到很舒适的公司，我说的舒适指的是平等和开放，公司很有野心，员工也都十分优秀，每年校招总能吸引一大批优秀的毕业生前来面试。在面试算法岗的同学里有很大一部分人面临这样的困境：他们很勤奋，也上过数据挖掘、机器学习的相关课程，但是对算法的思想、特点把握得不准，也看不到各个算法之间的通性和联系，有些同学直接问我有什么书可以推荐。我深深地感到对于那些有一定机器学习基础而经验尚不丰富的同学来说，一本从实际应用出发、深挖算法原理的图书是多么的重要。不久之后我就开始了本书的编写，没想到这一写就是一年半的时间，在整理知识的过程中我也得到了进一步的提升，希望在今后的日子里能和读者一起进步。
本书更是写给进入职场的算法工程师的，我确定这里需要一个“更”字。直到今天我一直都是一线码农，我写的都是实际工作中效果好、见效快的算法，如果你是一名算法工程师，在读本书的过程中相信会引起更多的共鸣。我刚参加工作那几年买了不少机器学习方面的书，现在想想当初是多么的焦虑，如果那时我就拥有本书会是多么的开心。因此写书时心里一直有个美好的愿望，希望我能写出一本工业界的算法宝典，帮广大读者省去四处求索的时间。当然算法工程师还有另一个重要的学习途径 || 看论文，论文是关于算法的第一手资料，里面有原作者创作的心路历程。但是看论文对读者的知识技能要求比较高，因为写论文的人一般都会对算法的优点大书特书，而对劣势轻描淡写，道行浅的人难以辨别其中的水分有多少。
相比之下写书的人会比较客观，他会把不同的算法放在一起对比，而且被写进书里面的算法都经过了时间的考验，所以读书对于初级选手来说是一种更友好的学习方式。
在难易程度上，我对本书的定位是深入浅出。“深入浅出”这个词已经被大家用滥了，看到这个词读者心目中想到的可能只有“浅出”，默认忽略了“深入”。而我一直在提醒自己写书一定要深入，不能为了简单易懂而故意避讳冗长的公式推 深入浅出：工业机器学习算法详解与实战导，深入才是对读者的负责。对于每一位想成为算法工程师的同学而言，你们都选择了一条注定艰辛的道路，不要幻想着通过轻轻松松看完一本书就能够领会各大主流算法的精髓。然而如果写书只顾着深入，那就成了作者一个人的自嗨，同样是对读者的不负责。为了帮助读者加速理解、减少疑惑，我会尽量从实际应用出发，多举一些工程实践中的例子，详细列出公式的推导过程，给出核心算法的代码实现，道破不同算法的内在联系。
张朝阳

前 言
第 1 章 概述
1.1 机器学习基本流程 /1
1.2 业界常用算法 /2
1.3 构建机器学习系统 /3
第 2 章 统计学
2.1 概率分布 /5
2.1.1 期望与方差 /5
2.1.2 概率密度函数 /7
2.1.3 累积分布函数 /10
2.2 极大似然估计与贝叶斯估计 /11
2.2.1 极大似然估计 /11
2.2.2 贝叶斯估计 /13
2.2.3 共轭先验与平滑的关系 /15
2.3 置信区间 /15
2.3.1 t 分布 /16
2.3.2 区间估计 /17
2.3.3 Wilson 置信区间 /19
2.4 相关性 /20
2.4.1 数值变量的相关性 /20
2.4.2 分类变量的相关性 /22
2.4.3 顺序变量的相关性 /27
2.4.4 分布之间的距离 /28
第 3 章 矩阵
3.1 矩阵的物理意义 /30
3.1.1 矩阵是什么 /30
3.1.2 矩阵的行列式 /31
3.1.3 矩阵的逆 /32
3.1.4 特征值和特征向量 /32
3.2 矩阵的数值稳定性 /33
3.2.1 矩阵数值稳定性的度量 /33
3.2.2 基于列主元的高斯{约当消元法 /33
3.2.3 岭回归 /38
3.3 矩阵分解 /38
3.3.1 特征值分解与奇异值分解 /39
3.3.2 高维稀疏矩阵的特征值分解 /40
3.3.3 基于矩阵分解的推荐算法 /45
3.4 矩阵编程实践 /46
3.4.1 numpy 数组运算 /46
3.4.2 稀疏矩阵的压缩方法 /50
3.4.3 用 MapReduce 实现矩阵乘法 /52
第 4 章 优化方法
4.1 无约束优化方法 /54
4.1.1 梯度下降法 /54
4.1.2 拟牛顿法 /56
4.2 带约束优化方法 /58
4.3 在线学习方法 /61
4.3.1 随机梯度下降法 /61
4.3.2 FTRL 算法 /63
4.4 深度学习中的优化方法 /70
4.4.1 动量法 /70
4.4.2 AdaGrad /71
4.4.3 RMSprop /71
4.4.4 Adadelta /71
4.4.5 Adam /72
4.5 期望最大化算法 /72
4.5.1 Jensen 不等式 /73
4.5.2 期望最大化算法分析 /73
4.5.3 高斯混合模型 /77
第 5 章 线性模型
5.1 广义线性模型 /79
5.1.1 指数族分布 /79
5.1.2 广义线性模型的特例 /80
5.2 逻辑回归模型 /83
5.3 分解机制模型 /84
5.3.1 特征组合 /84
5.3.2 分解机制 /86
5.3.3 分解机制模型构造新特征的思路 /87
5.4 基于域感知的分解机制模型 /88
5.5 算法实验对比 /95
第 6 章 概率图模型
6.1 隐马尔可夫模型 /98
6.1.1 模型介绍 /98
6.1.2 模型训练 /101
6.1.3 模型预测 /102
6.2 条件随机场模型 /103
6.2.1 条件随机场模型及特征函数 /103
6.2.2 向前变量和向后变量 /107
6.2.3 模型训练 /110
6.2.4 模型预测 /111
6.2.5 条件随机场模型与隐马尔可夫模型的对比 /112
第 7 章 文本向量化
7.1 词向量 /113
7.1.1 word2vec /113
7.1.2 fastText /117
7.1.3 GloVe /118
7.1.4 算法实验对比 /120
7.2 文档向量 /121
7.2.1 Paragraph Vector /121
7.2.2 LDA /123
第 8 章 树模型
8.1 决策树 /130
8.1.1 分类树 /131
8.1.2 回归树 /134
8.1.3 剪枝 /137
8.2 随机森林 /139
8.3 AdaBoost /140
8.4 XGBoost /141
8.5 LightGBM /146
8.5.1 基于梯度的单边采样算法 /147
8.5.2 互斥特征捆绑 /147
8.5.3 Leaf-Wise 生长策略 /148
8.5.4 DART /149
8.6 算法实验对比 /150
第 9 章 深度学习
9.1 神经网络概述 /154
9.1.1 网络模型 /154
9.1.2 反向传播 /157
9.1.3 损失函数 /158
9.1.4 过拟合问题 /159
9.1.5 梯度消失 /161
9.1.6 参数初始化 /161
9.2 卷积神经网络 /162
9.2.1 卷积 /162
9.2.2 池化 /165
9.2.3 CNN 网络结构 /165
9.2.4 textCNN /167
9.3 循环神经网络 /168
9.3.1 RNN 通用架构 /168
9.3.2 RNN 的学习问题 /170
9.3.3 门控循环单元 /172
9.3.4 LSTM /174
9.3.5 seq2seq /177
9.4 注意力机制 /179
第 10 章 Keras 编程
10.1 快速上手 /182
10.2 Keras 层 /184
10.2.1 Keras 内置层 /184
10.2.2 自定义层 /191
10.3 调试技巧 /194
10.3.1 查看中间层的输出 /194
10.3.2 回调函数 /195
10.4 CNN 和 RNN 的实现 /198
第 11 章 推荐系统实战
11.1 问题建模 /203
11.2 数据预处理 /206
11.2.1 归一化 /206
11.2.2 特征哈希 /208
11.3 模型探索 /210
11.3.1 基于共现的模型 /210
11.3.2 图模型 /211
11.3.3 DeepFM /214
11.3.4 DCN /219
11.4 推荐服务 /221
11.4.1 远程过程调用简介 /221
11.4.2 gRPC 的使用 /223
11.4.3 服务发现与负载均衡 /226
第 12 章 收集训练数据
12.1 日志的设计 /229
12.2 日志的传输 /231
12.3 日志的合并 /238
12.4 样本的存储 /248
第 13 章 分布式训练
13.1 参数服务器 /250
13.2 基于 PS 的优化算法 /256
13.3 在线学习 /259
第 14 章 A/B 测试
14.1 实验分组 /261
14.2 指标监控 /266
14.2.1 指标的计算 /266
14.2.2 指标的上报与存储 /267
14.2.3 指标的展现与监控 /269
14.3 实验结果分析 /272