机器学习公式详解

周志华老师的《机器学习》（俗称“西瓜书”）是机器学习领域的经典入门教材之一。本书（俗称“南瓜书”）基于Datawhale 成员自学“西瓜书”时记下的笔记编著而成，旨在对“西瓜书”中重难点公式加以解析，以及对部分公式补充具体的推导细节。

全书共16 章，与“西瓜书”章节、公式对应，每个公式的推导和解析都以本科数学基础的视角进行讲解，希望能够帮助读者达到“理工科数学基础扎实点的大二下学期学生”水平。每章都附有相关阅读材料，以便有兴趣的读者进一步钻研探索。

本书思路清晰，视角独特，结构合理，可作为高等院校计算机及相关专业的本科生或研究生教材，也可供对机器学习感兴趣的研究人员和工程技术人员阅读参考。

谢文睿

北京工业大学硕士， 开源组织Datawhale 核心成员兼开源项目负责人，主要研究方向为机器学习与自然语言处理。

秦州

康奈尔大学计算机硕士，Datawhale重要贡献成员。阿里巴巴算法工程师，主要研究方向为图神经网络的研发和应用。CIKM 2019最佳应用论文作者，开源图神经网络框架graph-learn核心开发者。

适读人群 ：（1）高等院校人工智能、计算机、自动化等相关专业机器学习方向的学生； （2）学术界机器学习领域的研究人员和教师； （3）工业界对机器学习感兴趣的专业人员和工程师。

1.周志华教授“西瓜书”《机器学习》公式完全解析指南！

“南瓜书”系Datawhale成员自学笔记，对“西瓜书”中250个重难点公式做了详细解析和推导（重难点公式覆盖率达99%），旨在解决机器学习中的数学难题。

2.机器学习初学小白提升数学基础能力的必备练习册！

以本科数学基础视角对“西瓜书”里比较难理解的公式加以解析和推导细节，补充大量重、难点数学知识和参考材料，分享在学习中遇到的“坑”以及跳过这个“坑”的方法，对于初学机器学习的小白也能上手练习！

3.俞勇、王斌、李沐、程明明、陈光（博主@爱可可-爱生活）、徐亦达等人工智能领域大咖亲笔推荐

序（王斌 小米AI 实验室主任、NLP 首席科学家）

前言

主要符号表

第 1章 绪论

式(1.1)

式(1.2)

第 2章 模型评估与选择

式(2.20)

式(2.21)

式(2.27)

式(2.41)

附注

参考文献

第3章 线性模型

式(3.5)

式(3.6)

式(3.7)

式(3.10)

式(3.27)

式(3.30)

式(3.32)

式(3.37)

式(3.38)

式(3.39)

式(3.43)

式(3.44)

式(3.45)

第4章 决策树

式(4.1)

式(4.2)

式(4.6)

式(4.7)

式(4.8)

附注

参考文献

第5章 神经网络

式(5.2)

式(5.10)

式(5.12)

式(5.13)

式(5.14)

式(5.15)

ii j 目录

式(5.20)

式(5.22)

式(5.23)

式(5.24)

附注

参考文献

第6章 支持向量机

式(6.9)

式(6.10)

式(6.11)

式(6.13)

式(6.35)

式(6.37)

式(6.38)

式(6.39)

式(6.40)

式(6.41)

式(6.52)

式(6.60)

式(6.62)

式(6.63)

式(6.65)

式(6.66)

式(6.67)

式(6.70)

附注

参考文献

第7章 贝叶斯分类器

式(7.5)

式(7.6)

式(7.12)

式(7.13)

式(7.19)

式(7.20)

式(7.24)

式(7.25)

式(7.27)

式(7.34)

附注

参考文献

第8章 集成学习

式(8.1)

式(8.2)

式(8.3)

式(8.4)

式(8.5)

式(8.6)

式(8.7)

式(8.8)

式(8.9)

式(8.10)

式(8.11)

式(8.12)

式(8.13)

式(8.14)

式(8.16)

式(8.17)

式(8.18)

式(8.19)

式(8.20)

式(8.21)

式(8.22)

式(8.23)

式(8.24)

式(8.25)

式(8.26)

式(8.27)

式(8.28)

式(8.29)

式(8.30)

式(8.31)

式(8.32)

式(8.33)

式(8.34)

式(8.35)

式(8.36)

第9章 聚类

式(9.5)

式(9.6)

式(9.7)

式(9.8)

式(9.33)

式(9.34)

式(9.35)

式(9.38)

第 10章 降维与度量学习

式(10.1)

式(10.2)

式(10.3)

式(10.4)

式(10.5)

式(10.6)

式(10.10)

式(10.14)

式(10.17)

式(10.24)

式(10.28)

式(10.31)

第 11章 特征选择与稀疏学习

式(11.1)

式(11.2)

式(11.5)

式(11.6)

式(11.7)

式(11.10)

式(11.11)

式(11.12)

式(11.13)

式(11.14)

式(11.15)

式(11.16)

式(11.17)

式(11.18)

第 12章 计算学习理论

式(12.1)

式(12.2)

式(12.3)

式(12.4)

式(12.5)

式(12.7)

式(12.9)

式(12.10)

式(12.11)

式(12.12)

式(12.13)

式(12.14)

式(12.15)

式(12.16)

式(12.17)

式(12.18)

式(12.19)

式(12.20)

式(12.21)

式(12.22)

式(12.23)

式(12.24)

式(12.25)

式(12.26)

式(12.27)

式(12.28)

式(12.29)

式(12.30)

式(12.31)

式(12.32)

式(12.34)

式(12.36)

式(12.37)

式(12.38)

式(12.39)

式(12.40)

式(12.41)

式(12.42)

式(12.43)

式(12.44)

式(12.45)

式(12.46)

式(12.52)

式(12.53)

式(12.57)

式(12.58)

式(12.59)

式(12.60)

参考文献

第 13章 半监督学习

式(13.1)

式(13.2)

式(13.3)

式(13.4)

式(13.5)

式(13.6)

式(13.7)

式(13.8)

式(13.9)

式(13.12)

式(13.13)

式(13.14)

式(13.15)

式(13.16)

式(13.17)

式(13.20)

第 14章 概率图模型

式(14.1)

式(14.2)

式(14.3)

式(14.4)

式(14.7)

式(14.8)

式(14.9)

式(14.10)

式(14.14)

式(14.15)

式(14.16)

式(14.17)

式(14.18)

式(14.19)

式(14.20)

式(14.22)

式(14.26)

式(14.27)

式(14.28)

式(14.29)

式(14.30)

式(14.31)

式(14.32)

式(14.33)

式(14.34)

式(14.35)

式(14.36)

式(14.37)

式(14.38)

式(14.39)

式(14.40)

式(14.41)

式(14.42)

式(14.43)

式(14.44)

第 15章 规则学习

式(15.2)

式(15.3)

式(15.6)

式(15.7)

式(15.9)

式(15.10)

式(15.11)

式(15.12)

式(15.13)

式(15.14)

式(15.16)

第 16章 强化学习

式(16.2)

式(16.3)

式(16.4)

式(16.7)

式(16.8)

式(16.10)

式(16.14)

式(16.16)

式(16.31)

机器学习