机器学习

◎ 编辑推荐

☆ 完备的公式推导，解决机器学习中的数学难题

书中详细的数学推导、用NumPy从零开始的编程实现，不仅让读者知其然，还知其所以然，对机器学习模型有更深刻的认识。

☆ 基于NumPy与sklearn，介绍26个主流机器学习算法的实现

本书几乎涵盖了全部主流的 机器学习算法，而且使用Python代码进行算法的实现。

☆ “机器学习实验室”公众号主理人倾力打造，获得40000读者好评

◎ 内容简介

作为一门应用型学科，机器学习植根于数学理论，落地于代码实现。

这就意味着，掌握公式推导和代码编写，方能更加深入地理解机器学习算法的内在逻辑和运行机制。

本书在对全部机器学习算法进行分类梳理的基础之上，分别对监督学习单模型、监督学习集成模型、无监督学习模型、概率模型四个大类共26个经典算法进行了细致的公式推导和代码实现，旨在帮助机器学习学习者和研究者完整地掌握算法细节、实现方法以及内在逻辑。

◎ 名人推荐

对于机器学习相关专业的研究者和从业者而言，运用机器学习处理数据要有两大基本功，一个是理论功底，另一个是算法实现能力。这本书正好契合这两大主题：以公式推导为代表的机器学习理论体系和以NumPy算法实现为代表的编程能力。全书体现了两个非常有特色的对应关系：公式推导与NumPy代码实现之间的对应关系，NumPy代码实现与sklearn机器学习库之间的对应关系。此书编排新颖，非常值得一读！

——汤银才，华东师范大学统计学院教授

很多人初学机器学习时，只是调个包跑个结果，这种方式很容易忽略各类机器学习算法的底层原理，不是最佳的学习方式。这本书在手推公式和基本不调用机器学习算法库的前提下，“手撕”各大机器学习算法，给大家提供了学习机器学习最硬核的方式，有助于加深对各大机器学习算法底层原理的理解。整本书全面又细致，非常适合初学者打基础，强烈推荐给大家！

——张金雷，北京交通大学交通运输学院讲师，公众号“当交通遇上机器学习”主理人

很早就关注鲁伟老师公众号的“数学推导+纯Python实现机器学习算法”系列文章，这给了我很大启发。市面上的机器学习图书很多，但很少有结合数学原理和代码实现的。这本书几乎涵盖了全部主流的机器学习算法，而且使用Python代码进行算法的实现。这本书对初学者相当友好，理论、代码齐备，值得推荐。

——黄海广，温州大学副教授、人工智能系主任

在机器学习流行的这些年，很多人停留在使用sklearn调包的阶段，对模型背后的数学原理和算法实现一知半解，因而很难提升到更高的水平。书中详细的数学推导、用NumPy从零开始的编程实现，一定会让读者知其然，还知其所以然，对机器学习模型会有更深刻的认识。

——王圣元，新加坡某金融咨询公司总监，公众号“王的机器”主理人

Datawhale出版过一本“南瓜书”，作为“西瓜书”的伴侣书，聚焦于机器学习公式的详细推导，旨在解决初学者入门机器学习中的数学难题。而这本书在公式推导的基础上，进一步给出了包含算法内在逻辑的代码实现，是初学者动手实践算法不可或缺的材料，推荐给大家！

——范晶晶，开源组织Datawhale创始人

这本书既有复杂的公式推导，可以帮助读者掌握算法的数学原理；也有NumPy库版本的算法代码，可以帮助读者更好地理解其中的数学原理，提高算法实现能力；还有sklearn库版本的算法调用函数，可以帮助读者快速、简单地实现算法。这本书由浅入深，适合新手快速入门，也适合老手夯实基础，在此极力推荐给诸位！

——张杰，公众号“EasyShu”联合主创，《Python数据可视化之美》作者

鲁伟

贝叶斯统计方向硕士毕业，深度学习算法工程师，主要从事医疗数据分析、医学图像处理和深度学习应用相关研究与工作。

著有《深度学习笔记》一书，也是公众号“机器学习实验室”的主理人。

·完备的公式推导，解决机器学习中的数学难题
·基于NumPy与sklearn，介绍26个主流机器学习算法的实现
·"机器学习实验室"主理人倾力打造，近40000读者已验证

序
前言
第 1章 机器学习预备知识 2
1．1 引言 2
1．2 关键术语与任务类型 2
1．3 机器学习三要素 3
1．4 机器学习核心 4
1．5 机器学习流程 5
1．6 NumPy必学必会 7
1．6．1 创建数组 7
1．6．2 数组的索引与切片 9
1．6．3 数组的基础运算 10
1．6．4 数组维度变换 11
1．6．5 数组合并与切分 12
1．7 sklearn简介 13
1．8章节安排 14
1．9 小结 16
第 2章 线性回归 18
2．1 杭州的二手房房价 18
2．2 线性回归的原理推导 19
2．3 线性回归的代码实现 22
2．3．1 编写思路 22
2．3．2 基于NumPy的代码实现 23
2．3．3 基于sklearn的模型实现 28
2．4 小结 29
第3章 逻辑回归 30
3．1 App开屏广告 30
3．2 逻辑回归的原理推导 31
3．3 逻辑回归的代码实现 33
3．3．1 编写思路 33
3．3．2 基于NumPy的逻辑回归实现 34
3．3．3 基于sklearn的逻辑回归实现 41
3．4 小结 41
第4章 回归模型拓展 42
4．1 回到杭州二手房房价 42
4．2 LASSO回归的原理推导 42
4．3 LASSO回归的代码实现 44
4．3．1 编写思路 44
4．3．2 基于NumPy的LASSO回归实现 45
4．3．3 基于sklearn的LASSO回归实现 49
4．4 Ridge回归的原理推导 49
4．5 Ridge回归的代码实现 50
4．6 小结 54
第5章 线性判别分析 55
5．1 LDA基本思想 55
5．2 LDA数学推导 56
5．3 LDA算法实现 57
5．3．1 基于NumPy的LDA算法实现 57
5．3．2 基于sklearn的LDA算法实现 60
5．4 小结 61
第6章 k近邻算法 62
6．1 “猜你喜欢”的推荐逻辑 62
6．2 距离度量方式 63
6．3 k 近邻算法的基本原理 64
6．4 k 近邻算法的代码实现 64
6．4．1 编写思路 64
6．4．2 基于NumPy的k近邻算法实现 65
6．4．3 基于sklearn的k近邻算法实现 71
6．5 小结 71
第7章 决策树 72
7．1 “今天是否要打高尔夫” 72
7．2 决策树 73
7．3 特征选择：从信息增益到基尼指数 75
7．3．1 什么是特征选择 75
7．3．2 信息增益 75
7．3．3 信息增益比 78
7．3．4 基尼指数 79
7．4 决策树模型：从ID3到CART 81
7．4．1 ID3 81
7．4．2 C4．5 85
7．4．3 CART分类树 86
7．4．4 CART回归树 86
7．4．5 CART算法实现 88
7．5 决策树剪枝 95
7．6 小结 96
第8章 神经网络 97
8．1 无处不在的图像识别 97
8．2 从感知机说起 98
8．2．1 感知机推导 98
8．2．2 基于NumPy的感知机实现 100
8．3 从单层到多层 103
8．3．1 神经网络与反向传播 103
8．3．2 基于NumPy的神经网络搭建 105
8．4 神经网络的广阔天地 114
8．5 小结 114
第9章 支持向量机 115
9．1 重新从感知机出发 115
9．2 线性可分支持向量机 116
9．2．1 线性可分支持向量机的原理推导 116
9．2．2 线性可分支持向量机的算法实现 120
9．3 近似线性可分支持向量机 125
9．3．1 近似线性可分支持向量机的原理推导 125
9．3．2 近似线性可分支持向量机的算法实现 128
9．4 线性不可分支持向量机 132
9．4．1 线性不可分与核技巧 132
9．4．2 SMO算法 135
9．4．3 线性不可分支持向量机的算法实现 137
9．5 小结 142
第 10章 AdaBoost 144
10．1 什么是Boosting 144
10．2 AdaBoost算法的原理推导 144
10．2．1 AdaBoost基本原理 144
10．2．2 AdaBoost与前向分步算法 146
10．3 AdaBoost算法实现 147
10．3．1 基于NumPy的AdaBoost算法实现 147
10．3．2 基于sklearn的AdaBoost算法实现 153
10．4 小结 153
第 11章 GBDT 154
11．1 从提升树到梯度提升树 154
11．2 GBDT算法的原理推导 154
11．3 GBDT算法实现 157
11．3．1 从零开始实现一个GBDT算法系统 157
11．3．2 基于sklearn的GBDT实现 161
11．4 小结 162
第 12章 XGBoost 163
12．1 XGBoost：极度梯度提升树 163
12．2 XGBoost算法的原理推导 164
12．3 XGBoost算法实现 168
12．3．1 XGBoost实现：基于GBDT的改进 168
12．3．2 原生库XGBoost示例 172
12．4 小结 174
第 13章 LightGBM 175
13．1 XGBoost可优化的地方 175
13．2 LightGBM基本原理 175
13．2．1 直方图算法 175
13．2．2 单边梯度抽样 176
13．2．3 互斥特征捆绑算法 177
13．2．4 leaf-wise生长策略 178
13．3 LightGBM算法实现 179
13．4 小结 181
第 14章 CatBoost 182
14．1 机器学习中类别特征的处理方法 182
14．2 CatBoost理论基础 183
14．2．1 目标变量统计 183
14．2．2 特征组合 184
14．2．3 排序提升算法 184
14．3 CatBoost算法实现 186
14．4 小结 188
第 15章 随机森林 189
15．1 Bagging：另一种集成学习框架 189
15．2 随机森林的基本原理 190
15．3 随机森林的算法实现 191
15．3．1 基于NumPy的随机森林算法实现 191
15．3．2 基于sklearn的随机森林算法实现 195
15．4 小结 196
第 16章 集成学习：对比与调参 197
16．1 三大Boosting算法对比 197
16．2 常用的超参数调优方法 201
16．2．1 网格搜索法 201
16．2．2 随机搜索 202
16．2．3 贝叶斯调参 203
16．3 小结 205
第 17章 聚类分析与k均值聚类算法 208
17．1 距离度量和相似度度量方式 208
17．2 聚类算法一览 209
17．3 k均值聚类算法的原理推导 211
17．4 k均值聚类算法实现 212
17．4．1 基于NumPy的k均值聚类算法实现 212
17．4．2 基于sklearn的k均值聚类算法实现 217
17．5 小结 217
第 18章 主成分分析 218
18．1 PCA算法的原理推导 218
18．2 PCA算法实现 220
18．2．1 基于NumPy的PCA算法实现 220
18．2．2 基于sklearn的PCA算法实现 222
18．3 小结 223
第 19章 奇异值分解 224
19．1 特征向量与矩阵分解 224
19．2 SVD算法的原理推导 225
19．3 SVD算法实现与应用 226
19．3．1 SVD算法实现 226
19．3．2 基于SVD的图像去噪 227
19．4 小结 231
第 20章 最大信息熵模型 234
20．1 最大信息熵原理 234
20．2 最大信息熵模型的推导 234
20．3 小结 237
第 21章 贝叶斯概率模型 238
21．1 贝叶斯定理简介 238
21．2 朴素贝叶斯 239
21．2．1 朴素贝叶斯的原理推导 239
21．2．2 基于NumPy的朴素贝叶斯实现 240
21．2．3 基于sklearn的朴素贝叶斯实现 243
21．3 贝叶斯网络 244
21．3．1 贝叶斯网络的原理推导 244
21．3．2 借助于pgmpy的贝叶斯网络实现 246
21．4 小结 249
第 22章 EM算法 250
22．1 极大似然估计 250
22．2 EM算法的原理推导 251
22．3 EM算法实现 253
22．4 小结 255
第 23章 隐马尔可夫模型 256
23．1 什么是概率图模型 256
23．2 HMM的定义与相关概念 257
23．3 HMM的三个经典问题 262
23．3．1 概率计算问题与前向 后向算法 262
23．3．2 参数估计问题与Baum-Welch算法 266
23．3．3 序列标注问题与维特比算法 269
23．4 小结 271
第 24章 条件随机场 272
24．1 从生活画像到词性标注问题 272
24．2 概率无向图 273
24．3 CRF的定义与形式 275
24．4 CRF的三大问题 277
24．4．1 CRF的概率计算问题 277
24．4．2 CRF的参数估计问题 278
24．4．3 CRF的序列标注问题 279
24．4．4 基于sklearn_crfsuite的CRF代码实现 281
24．5 小结 281
第 25章 马尔可夫链蒙特卡洛方法 283
25．1 前置知识与相关概念 283
25．1．1 马尔可夫链 283
25．1．2 蒙特卡洛算法 285
25．2 MCMC的原理推导 287
25．2．1 MCMC采样 287
25．2．2 Metropolis-Hasting采样算法 289
25．2．3 Gibbs采样算法 291
25．3 MCMC与贝叶斯推断 296
25．4 小结 296
第 26章 机器学习模型总结 298
26．1 机器学习模型的归纳与分类 298
26．1．1 单模型与集成模型 300
26．1．2 监督模型与无监督模型 301
26．1．3 生成式模型与判别式模型 301
26．1．4 概率模型与非概率模型 302
26．2 本书的不足和未来展望 303
参考文献 305

机器学习,算法,计算机,Python,代码,CS