机器学习的算法分析和实践

本书是一本全面介绍机器学习方法特别是算法的新书，适合初学者和有一定基础的读者。

机器学习可以分成三大类别，监督式学习、非监督式学习和强化学习。三大类别背后的算法也各有不同。监督式学习使用了数学分析中函数逼近方法、概率统计中的极大似然方法。非监督式学习使用了聚类和贝叶斯算法。强化学习使用了马尔可夫决策过程算法。

机器学习背后的数学部分来自概率、统计、数学分析以及线性代数等领域。虽然用到的数学较多，但是最快捷的办法还是带着机器学习的具体问题来掌握背后的数学原理。因为线性代数和概率理论使用较多，本书在最后两章集中把重要的一些概率论和线性代数的内容加以介绍，如果有需要的同学可以参考。另外，学习任何知识，动手练习加深理解的最好方法，所以本书的每一章都配备了习题供大家实践和练习。

复旦大学数学学院教授、 金融研究院量化中心主任。北京大学数学系毕业， 2000年美国芝加哥大学博士毕业。曾担任摩根士丹利固定收益部执行总经理，从事股票类、固定收益类、大宗商品类等衍生品的定价、交易和风险对冲工作。某量化私募基金管理公司创始人和投委会主席。

前言

以机器学习为核心的人工智能已经渗入人们生活和工作中的各个部分，不但在传统的计算机领域产生了影响，而且正在经济和金融方面产生深远的影响。本书正是笔者在复旦大学经济学院开设的“机器学习”课程中编写的讲义。

很多高校都开设了“机器学习”课程，有些教师把重点放在了代码上，在课程中逐行教学生如何调取函数库中的机器学习代码。而笔者在教学中发现代码虽然重要，但更为重要的是解释清楚机器学习代码背后的算法。一旦从算法上掌握了机器学习，理解代码相对就变得简单和容易了。

笔者编写本书的初衷就是试图用最精炼的篇幅为读者介绍机器学习算法。机器学习可以分成三大类别，即监督式学习、非监督式学习和强化学习。三大类别背后的数学原理各有不同。监督式学习使用了数学分析中的函数逼近方法和概率统计中的极大似然方法；非监督式学习使用了聚类和 EM算法；强化学习使用了马尔可夫决策过程的想法。这些方法都比较明确地体现在本书中。

本书第 1章先从多项式逼近的角度引出“什么是机器学习”这个问题。很有意思的是，看似它们之间没有什么关系，但是多项式逼近里面已经包含了很多机器学习中的基本思路和重要特点。接下来介绍了传统的线性回归、逻辑回归、决策树和贝叶斯模型。

在理解了传统的模型以后，开始从理论上介绍了一般优化的方法，为接下来的支持向量机和神经网络模型做好准备。在完成了这些监督式学习的内容以后，介绍了机器学习的一般理论，即 VC维度的理论。

在非监督式学习中，从主成分分析开始，随后重点介绍了 EM算法和隐马尔可夫模型。主成分分析模型的核心是线性代数的奇异值分解，而隐马尔可夫模型和概率理论有更大的关联。

在模型的最后一章介绍了强化学习。在理论上，介绍了马尔可夫决策过程、动态规划和随机优化；在实践上，把重点放在了时序差分方法上。

机器学习背后的数学原理包括概率、统计、数学分析以及线性代数等领域。虽然用到的数学原理较多，但是掌握机器学习最快捷的办法还是带着机器学习的具体问题来分析其背后的数学原理。因为线性代数和概率理论使用较多，所以本书在最后两章集中介绍了一些重要的概率论和线性代数的内容，以供读者参考。另外，学习任何知识，动手练习都是最好的加深理解的方法，因此本书的大部分章节都尽量配备了习题供读者进行编程练习。

最后，衷心感谢在本书编写过程中提供帮助的许晓曦、蔡雨清、汤咏仪和杨磊，特别是许晓曦对全书进行了通读和润色。也感谢责任编辑杨迪娜一直对我的鼓励和她对书稿做的耐心细致的编辑修改工作。

孙健

2023年 10月

目录

第 1章引论 1

11什么是机器学习 1

12多项式逼近函数 3

13多项式 Remez算法6

习题 10

第 2章感知机模型 11

21分类问题的刻画 11

22线性规划 15

习题 21

第 3章线性回归 23

31最小二乘法原理 23

32多元高斯分布模型 25

33误差和方差 26

34岭回归和 Lasso回归 28

习题 30

第 4章逻辑回归 31

41逻辑回归概述 31

42多重分类线性模型和非线性模型 34

习题 35

第 5章决策树模型 37

51离散型数据 37

52熵和决策树的建立 39

53剪枝 41

54连续型数据 42

55 CART树 43

习题 46

第 6章生成模型和判别模型 48

61极大似然估计 48

62贝叶斯估计 50

63线性判别模型 51

64多元正态分布 53

65 LDA和 LQA 54

第 7章优化方法 57

71数值解方程 57

72光滑函数的极值点 58

73带约束条件的极值问题 59

74梯度下降法 61

75凸函数 62

76对偶问题 65

77 Minimax问题 66

78 L1过滤 68

第 8章支持向量机 70

81点到平面的距离 70

82支持向量机的原理 71

83对偶问题 73

84核函数的方法 75

85软性支持向量机 77

86支持向量机回归 79

习题 80

第 9章神经网络 81

91简单函数逼近复杂函数 81

92神经网络结构 83

习题 85

第 10章机器学习理论问题 87

101问题的提出 87

102概率不等式 90

103有限假设空间 92

目录 V

104 No Free Lunch定理 95

105 VC维度 96

习题 104

第 11章集成和提升 105

111方差偏度分解 105

112随机森林 107

113梯度提升决策树模型 108

114 AdaBoost方法 111

习题 114

第 12章主成分分析 115

121对称矩阵特征值和特征向量 115

122矩阵的奇异值分解 118

123主成分分析 119

第 13章 EM算法 121

131一个概率问题 121

132混合高斯分布的 EM算法 123

133一般形式推导 126

习题 127

第 14章隐马尔可夫模型 129

141第一个问题 130

142第二个问题 133

143第三个问题 134

144连续型隐马尔可夫模型 136

习题 138

第 15章强化学习 140

151马尔可夫价值系统 140

152马尔可夫价值蒙特卡罗数值解 141

153马尔可夫决策系统 142

154马尔可夫决策系统最优策略 143

155时序差分方法 144

156资格迹 146

157值函数逼近方法 147

习题 149

第 16章概率论基础 150

161古典概率论内容 150

162连续分布 151

163期望 154

164信息和熵 155

165大数定律证明 157

166中心极限定理证明 159

第 17章线性代数基础 161

171行列式 161

172 Cramer法则 166

173矩阵初等性质 168

174矩阵的逆 171

175矩阵的初等变换 172

176伴随矩阵 174

177对于矩阵运算求导数 175