机器学习入门

作为机器学习的核心，《机器学入门》介绍了基于贝叶斯推论的机器学习，其基本思想是将数据及数据产生的过程视为随机事件，从数据的固有特征开始，通过一系列假设来进行数据的描述，进而构建出与机器学习任务相适应的随机模型，然后通过模型的解析求解或近似求解得出未知事件的预测模型。通过贝叶斯学习，我们可以了解到更多关于数据的信息，进而可以大致清楚进行学习的神经网络的规模和复杂程度。更重要的是，当神经网络学习中出现问题时，通过贝叶斯学习可以找到解决问题的方向和途径。因此，可以说贝叶斯学习是深度神经网络学习的理论基础，也是进行神经网络学习的必修课。本书在内容安排上，尽可能对概率统计和随机过程的基础进行了较为完整的介绍，并对常用的概率分布进行了详尽的分析。在此基础上重点介绍了单一模型及混合模型的贝叶斯推论方法，并结合具体应用进行了扩展和分析。在注重理论介绍的同时也考虑到了实际的应用扩展，从而保证了读者学习的完整性。其所给出的随机模型分析、构建及求解方法力图详尽，对读者进行贝叶斯方法的学习和实际应用具有较高的指导和参考价值。

原书前言

近年来，随着计算机和通信技术的飞速发展，能够处理前所未有的大量多维数据的环境正在变得越来越完善。随之而来的是，通过对安装在汽车和工厂等处的各种传感器获得的数据进行分析，即能实现机器异常的检查;将网络上存储的文本数据的内容进行归纳，就能有效地将其利用到市场营销策略上，这些应用对相关实际数据分析的要求也变得越来越高。而这些数据，实际上只是整齐的数值罗列，因此，如果不进行技术处理的话，则无法进行有效的分析。正是在这样的背景下，机器学习作为一种对数据进行语义提取的技术发展起来了，并作为对未观测到的现象进行预测的方法。

但现状却是，尽管对如此大量数据的分析提出了很高的应用要求，并且在技术上也取得了惊人的进步，但能够运用机器学习很好地解决现实问题的技术人员并不是很多。之所以出现这样的局面，是因为在机器学习的基础研究以迅猛势态发展的同时，应用领域的技术掌握却难以跟上发展的步伐。另外，机器学习技术领域本身也存在着诸多的工具群或算法群，因此会认为这些多种多样的各个技术构成，也必须通过一项一项的学习来理解，这也是其中的原因之一。再有，在国际学会和产业界，每年都会开发出新的算法和新的方法，因此，技术与人员始终把大量的时间花费在每一个算法的学习上，很难全面把握运用数据解决问题的本质性原理和原则。

正是意识到以上问题的存在，我特地编写了这本书来进行数据分析方法的讲解。从历史的角度来看，数据分析领域存在几个流派。就当前的面向问题的研究来说，大体可以分为统计学和机器学习两个大类。具体到通过数据进行推定和预测的方法则可分为频度主义和贝叶斯主义。本书将对这些流派中近年来倍受瞩目的贝叶斯主义机器学习（贝叶斯学习）的实践性数据分析方法进行讲解。除此之外，现有的机器学习书籍大多以某一个工具或者某一种算法的工作原理和使用方法为焦点展开论述，而本书的独特之处在于，把重点放在了技术人员亲手进行的算法设计上。就像作曲家将头脑中构建的美妙旋律能够融入乐谱中一样，优秀的设计者能够将自己想要实现的功能合乎逻辑地写入到源代码中。机器学习算法的开发也是完全如此。如果运用数据能够一定程度地把握想要实现的目标和数据特征的话，那么后面就可以根据通常的方法，无论采用随机模型构建还是采用推论算法均能导出问题的解决方案。对于正在解决的课题来说，如果对已有的算法再稍下些功夫，则能进一步提高预测精度和计算速度;或者通过模型的灵活拓展，使得同一模型能够同时实现多个应用要求等。

本书面向以下的读者:

在今后的研究中想要利用机器学习和贝叶斯学习的学生。

从事数据相关业务和基础科学研究，想要灵活运用最新的机器学习技术的技术员以及研究者。

已经掌握了一些机器学习技术，但还想根据问题自由地进行算法构建和改进的技术人员和研究人员。

本书的学习需要具备线性代数、微积分、统计学和程序设计等理工科大学一、二年级的数学和计算机知识。但也不一定是在完全掌握这些知识的基础上才可以开始学习，在内容理解中出现障碍时，适当地参考相关的教科书即可。本书中的数学公式看起来似乎很多，但其实是因为在进行算法推导时，不厌其烦地、逐一详细地给出了其计算过程。另外，本书根据贝叶斯学习的基本原理，采用一致的“模型的构建→推论的推导”这一顺序来进行算法的给出。尽管在擅长计算的人看来，这么做似乎显得有些重复，但详细的展开式可以使算法推导的基本步骤保持连贯性。

原 书 序

当前，我们正处于人工智能的热潮当中。信息及网络企业的情况自不必说，即使与信息技术没有直接关系的各类企业也对人工智能极具兴趣，网络新闻和报纸每天都充斥着人工智能的文字。在学术界，不仅是信息科学，理学、工学、医学、农学、药学等各个自然科学领域也在进行人工智能的研究。此外，法学、伦理学、经济学等社会科学领域，也在积极进行人工智能的探讨。受到如此高涨的人工智能热潮的影响，我作为这个领域的一名研究者，每一天都无比地兴奋。

但是，我们所看到的许多关于人工智能的信息大多是关于人工智能能做什么，人工智能对我们生活会有什么影响这类非技术性的内容。而对本书充满好奇的读者，我想一定会对人工智能是如何实现的这一技术领域充满兴趣。本书的目的就是为满足大家的求知探索欲而编写的，同时也希望为大家提供实用性的技术帮助。

目前，最尖端的人工智能是由被称为机器学习的技术来支撑的，从而使得计算机能够像人一样具有学习能力。近20年来，机器学习的研究处于飞跃式的发展时期，相继出现了内核法、贝叶斯推论以及深度学习等实用的人工智能技术。近几年也陆续出版了许多详细讲解这些技术信息的书籍，但这些专业书籍通常都含有许多高深的数学内容，从而为进入这一领域的学习带来了障碍。

本书是一本关于贝叶斯推论的入门书，对从机器学习的基础到尖端的贝叶斯推论算法的详细内容进行了通俗易懂的介绍。只要具备大学水平的数学知识，就可以逐一地从数学角度推导出高级的机器学习的方法，并能理解其原理。我想，如果自己在学生时代有这样一本教科书该有多好。

日本理化学研究所创新智能综合研究中心CEO

东京大学新领域创新科学研究科 教授

杉山将

译者序

原书序

原书前言

第1章 机器学习与贝叶斯学习 1

1.1 什么是机器学习? 1

1.2 机器学习的典型任务 2

1.2.1 回归 2

1.2.2 分类 3

1.2.3 聚类 4

1.2.4 降维 4

1.2.5 其他典型任务 6

1.3 机器学习的两类方法 6

1.3.1 基于工具箱的机器学习 6

1.3.2 基于建模的机器学习 7

1.4 概率的基本计算 8

1.4.1 概率分布 8

1.4.2 概率分布的推定 9

1.4.3 红球和白球问题 11

1.4.4 多个观测数据 13

1.4.5 逐次推论 15

1.4.6 参数未知的情况 15

1.5 图模型 16

1.5.1 有向图 17

1.5.2 节点的附加条件 18

1.5.3 马尔可夫覆盖 20

1.6 贝叶斯学习方法 20

1.6.1 模型的构建和推论 20

1.6.2 各类任务中的贝叶斯推论 21

1.6.3 复杂后验分布的近似 24

1.6.4 基于不确定性的决策 25

1.6.5 贝叶斯学习的优点与缺点 26

第2章 基本的概率分布 30

2.1 期望值30

2.1.1 期望值的定义 30

2.1.2 基本的期望值 30

2.1.3 熵 31

2.1.4 KL散度 32

2.1.5 抽样的期望值近似计算 32

2.2 离散概率分布33

2.2.1 伯努利分布 33

2.2.2 二项分布 35

2.2.3 类分布 36

2.2.4 多项分布 37

2.2.5 泊松分布 38

2.3 连续概率分布40

2.3.1 Beta分布 40

2.3.2 Dirichlet分布 41

2.3.3 Gamma分布 43

2.3.4 一维高斯分布 44

2.3.5 多维高斯分布 45

2.3.6 Wishart分布 48

第3章 基于贝叶斯推论的学习和预测 51

3.1 学习和预测51

3.1.1 参数的后验分布 51

3.1.2 预测分布 523.1.3 共轭先验分布 53

3.1.4 非共轭先验分布的运用 54

3.2 离散概率分布的学习和预测55

3.2.1 伯努利分布的学习和预测 55

3.2.2 类分布的学习和预测 59

3.2.3 泊松分布的学习和预测 61

3.3 一维高斯分布的学习和预测63

3.3.1 均值未知的情况 63

3.3.2 精度未知的情况 66

3.3.3 均值和精度均未知的情况 68

3.4 多维高斯分布的学习和预测71

3.4.1 均值未知的情况 71

3.4.2 精度未知的情况 73

3.4.3 均值和精度均未知的情况 75

3.5 线性回归的例子77

3.5.1 模型的构建 77

3.5.2 后验分布和预测分布的计算 78

3.5.3 模型的比较 80

第4章 混合模型和近似推论 84

4.1 混合模型和后验分布的推论84

4.1.1 使用混合模型的理由 84

4.1.2 混合模型的数据生成过程 85

4.1.3 混合模型的后验分布 87

4.2 概率分布的近似方法88

4.2.1 吉布斯采样 88

4.2.2 变分推论 90

4.3 泊松混合模型的推论93

4.3.1 泊松混合模型 93

4.3.2 吉布斯采样 94

4.3.3 变分推论 97

4.3.4 折叠式吉布斯采样 100

4.3.5 简易实验 105

4.4 高斯混合模型中的推论106

4.4.1 高斯混合模型 106

4.4.2 吉布斯采样 107

4.4.3 变分推论 110

4.4.4 折叠式吉布斯采样 113

4.4.5 简易实验 115

第5章 应用模型的构建和推论 119

5.1 线性降维119

5.1.1 模型 120

5.1.2 变分推论 120

5.1.3 数据的不可逆压缩 123

5.1.4 缺失值内插 124

5.2 非负值矩阵因子分解126

5.2.1 模型 127

5.2.2 变分推论 129

5.3 隐马尔可夫模型132

5.3.1 模型 133

5.3.2 完全分解变分推论 135

5.3.3 结构化变分推论 139

5.4 主题模型143

5.4.1 模型 143

5.4.2 变分推论 146

5.4.3 折叠式吉布斯采样 148

5.4.4LDA模型的应用与扩展 151

5.5 张量分解151

5.5.1 协同过滤 1525.5.2 模型 154

5.5.3 变分推论 155

5.5.4 缺失值的内插 160

5.6 logistic回归161

5.6.1 模型 161

5.6.2 变分推论 162

5.6.3 离散值的预测 165

5.7 神经网络166

5.7.1 模型 167

5.7.2 变分推论 168

5.7.3 连续值的预测 169

附录A 相关计算的补充 171

A.1 基本的矩阵计算171

A.1.1 转置 171

A.1.2 逆矩阵 171

A.1.3 矩阵的迹 172

A.1.4 方阵的行列式 172

A.1.5 正定值矩阵 172

A.2 特殊函数173

A.2.1gamma函数和digamma函数 173

A.2.2sigmoid函数和softmax函数 173

A.3 梯度法174

A.3.1 函数的梯度 174

A.3.2 最速下降法 175

A.3.3 坐标下降法 175

A.4 边缘似然度下限176

A.4.1 边缘似然度和ELBO 176

A.4.2 泊松混合分布的例子 177

参考文献 178