动手学机器学习

本书系统介绍了机器学习的基本内容及其代码实现，是一本着眼于机器学习教学实践的图书。

本书包含4个部分：第一部分为机器学习基础，介绍了机器学习的概念、数学基础、思想方法和简单的机器学习算法；第二部分为参数化模型，讲解线性模型、神经网络等算法；第三部分为非参数化模型，主要讨论支持向量机和决策树模型及其变种；第四部分为无监督模型，涉及聚类、降维、概率图模型等多个方面。本书将机器学习理论和实践相结合，以大量示例和代码带领读者走进机器学习的世界，让读者对机器学习的研究内容、基本原理有基本认识，为后续进一步涉足深度学习打下基础。

本书适合对机器学习感兴趣的专业技术人员和研究人员阅读，同时适合作为人工智能相关专业机器学习课程的教材。

张伟楠，上海交通大学副教授，博士生导师，ACM班机器学习、强化学习课程授课教师。主要研究强化学习、数据挖掘、知识图谱、深度学习以及这些技术在推荐系统、游戏智能、机器人控制等场景中的应用，累计发表国际期刊和会议论文180余篇。

赵寒烨，上海交通大学 APEX数据与知识管理实验室博士生，师从张伟楠副教授，研究方向为强化学习、机器学习。以一作身份在人工智能国际会议 NeurIPS上发表论文，并参与多本机器学习相关教材的编写。

俞勇，上海交通大学ACM班创办人，上海交通大学特聘教授。2018年创办伯禹人工智能学院，在上海交通大学ACM班人工智能专业课程体系的基础上，对人工智能课程体系进行创新，致力于培养人工智能算法工程师和研究员。

适读人群 ：本书适合高校学生、教师及相关行业的开发和研究人员阅读。

1.名家作品。上海交通大学ACM班创办人俞勇教授、博士生导师张伟楠副教授、APEX实验室博士生赵寒烨编写。

2.周志华、朱军、李文新、黄萱菁、刘铁岩、陈天奇等多位业内大咖力荐，内容丰富实用。

3.基于上交大ACM 班的机器学习课程构建机器学习的学习体系，理论扎实，放心学习。

4.配套资源丰富，理论解读视频+在线代码+习题+配套PPT课件+学习社群，有效提升学习效率。

第 一部分 机器学习基础

第 1 章 初探机器学习 2

1 1 人工智能的“两只手和四条腿” 2

1 2 机器学习是什么 2

1 3 时代造就机器学习的盛行 4

1 4 泛化能力：机器学习奏效的本质 5

1 5 归纳偏置：机器学习模型的“天赋” 6

1 6 机器学习的限制 7

1 7 小结 7

第 2 章 机器学习的数学基础 8

2 1 向量 8

2 2 矩阵 10

2 2 1 矩阵的基本概念 10

2 2 2 矩阵运算 11

2 2 3 矩阵与线性方程组12

2 2 4 矩阵范数 13

2 3 梯度 14

2 4 凸函数 17

2 5 小结 19

第 3 章 k近邻算法 20

3 1 KNN算法的原理 20

3 2 用KNN算法完成分类任务 21

3 3 使用scikit-learn实现KNN算法 24

3 4 用KNN算法完成回归任务--色彩风格迁移 25

3 4 1 RGB空间与LAB空间 27

3 4 2 算法设计 27

3 5 小结 30

第 4 章 线性回归 33

4 1 线性回归的映射形式和学习目标 33

4 2 线性回归的解析方法 35

4 3 动手实现线性回归的解析方法 35

4 4 使用sklearn中的线性回归模型 37

4 5 梯度下降算法 38

4 6 学习率对迭代的影响 42

4 7 小结 44

第 5 章 机器学习的基本思想 46

5 1 欠拟合与过拟合 46

5 2 正则化约束 49

5 3 输入特征与相似度 52

5 4 参数与超参数 55

5 5 数据集划分与交叉验证 56

5 6 小结 57

5 7 扩展阅读：贯穿恒等式的证明 58

5 8 参考文献 58

第二部分 参数化模型

第 6 章 逻辑斯谛回归 60

6 1 逻辑斯谛函数下的线性模型 61

6 2 最大似然估计 62

6 3 分类问题的评价指标 64

6 4 动手实现逻辑斯谛回归 69

6 5 使用sklearn中的逻辑斯谛回归模型 73

6 6 交叉熵与最大似然估计 74

6 7 小结 76

6 8 扩展阅读：广义线性模型 78

6 9 参考文献 79

第 7 章 双线性模型 80

7 1 矩阵分解 81

7 2 动手实现矩阵分解模型 83

7 3 因子分解机 86

7 4 动手实现因子分解机模型 89

7 5 小结 92

7 6 扩展阅读：概率矩阵分解 93

7 7 参考文献 95

第 8 章 神经网络与多层感知机 96

8 1 人工神经网络 96

8 2 感知机 97

8 3 隐含层与多层感知机 99

8 4 反向传播 102

8 5 动手实现多层感知机 104

8 6 用PyTorch库实现多层感知机 110

8 7 小结 113

8 8 参考文献 114

第 9 章 卷积神经网络 115

9 1 卷积 115

9 2 神经网络中的卷积 117

9 3 用卷积神经网络完成图像分类任务 119

9 4 用预训练的卷积神经网络完成色彩风格迁移 126

9 4 1 VGG网络 126

9 4 2 内容表示与风格表示 127

9 5 小结 134

9 6 扩展阅读：数据增强 134

9 7 参考文献 136

第 10 章 循环神经网络 137

10 1 循环神经网络的基本原理 137

10 2 门控循环单元 139

10 3 动手实现GRU 141

10 4 小结 146

10 5 参考文献 147

第三部分 非参数化模型

第 11 章 支持向量机 150

11 1 支持向量机的数学描述 150

11 2 序列最小优化 153

11 3 动手实现SMO求解SVM 156

11 4 核函数 158

11 5 sklearn中的SVM工具 162

11 6 小结 163

11 7 扩展阅读：SVM对偶问题的推导 164

第 12 章 决策树 167

12 1 决策树的构造 168

12 2 ID3算法与C4 5算法 171

12 3 CART算法 172

12 4 动手实现C4 5算法的决策树 175

12 4 1 数据集处理 175

12 4 2 C4 5算法的实现 178

12 5 sklearn中的决策树 182

12 6 小结 183

12 7 参考文献 184

第 13 章 集成学习与梯度提升决策树 185

13 1 自举聚合与随机森林 186

13 2 集成学习器 191

13 3 提升算法 194

13 3 1 适应提升 195

13 3 2 梯度提升 200

13 4 小结 205

13 5 参考文献 206

第四部分 无监督模型

第 14 章 k均值聚类 208

14 1 k均值聚类算法的原理 208

14 2 动手实现k均值算法 209

14 3 k-means++算法 212

14 4 小结 214

14 5 参考文献 215

第 15 章主成分分析 216

15 1 主成分与方差 216

15 2 利用特征分解进行PCA 218

15 3 动手实现PCA算法 221

15 4 用sklearn实现PCA算法222

15 5 小结 223

第 16 章 概率图模型 225

16 1 贝叶斯网络 226

16 2 最大后验估计 228

16 3 用朴素贝叶斯模型完成文本分类 231

16 4 马尔可夫网络 234

16 5 用马尔可夫网络完成图像去噪 236

16 6 小结 240

16 7 参考文献 241

第 17 章 EM算法 242

17 1 高斯混合模型的EM算法 243

17 2 动手求解GMM来拟合数据分布 245

17 3 一般情况下的EM算法 251

17 4 EM算法的收敛性 253

17 5 小结 254

第 18 章 自编码器 255

18 1 自编码器的结构 256

18 2 动手实现自编码器 257

18 3 小结 262

18 4 参考文献 262

总结与展望264

总结 264

展望 264

中英文术语对照表 267