因果推理：基础与学习算法

《因果推理：基础与学习算法》从概率统计的角度入手，分析了因果推理的假设，揭示这些假设所暗示的因果推理和学习的目的。本书分别论述了两个变量和多变量情况下的因果模型、学习因果模型及其与机器学习的关系，讨论了因果推理隐藏变量有关的问题、时间系列的因果分析。

《因果推理：基础与学习算法》可作为高等院校人工智能和计算机科学等相关专业高年级本科生和硕士研究生的教材，也可供研究机器学习、因果推理的技术人员参考。

1.世上万事万物，有因就有果，有果必有因。事物为什么会发生，为什么会得到某种结果？根源就在于因果关系。

2.本书是世界知名学者十年来研究因果关系的总结，在因果推理和通用机器学习之间建立了牢固的联系，使得我们和机器可以用数据更清晰地理解世界。

3.哥伦比亚大学David Blei教授、艾伦61图灵研究所Ricardo Silva研究员倾情推荐。

4.本书提供了一个独立且简明的因果关系模型介绍，以及如何从数据中学习因果模型。

因果关系是一个有吸引力的研究领域。它的数学化才刚刚起步，许多概念问题仍然存在争论——通常争论比较激烈。

《因果推理：基础与学习算法》总结了作者十年来分析因果关系所得到的结果，虽然有些人研究这一问题的时间比作者更长，也存在一些关于因果关系方面的图书，包括Pearl（2009）、Spirtes等人（2000）以及Imbens和Rubin（2015）的综述，但是作者希望本书能从两方面补充现有的工作。

首先，《因果推理：基础与学习算法》倾向于因果关系的子问题，认为因果关系是最基本的，也是最不现实的。这就是因果效应问题，在这个问题上，被分析的系统只包含两个可观测变量。在过去的十年里，作者对这个问题进行了较为详细的研究。作者报告了这项工作的大部分内容，并试图将其纳入作者认为对因果关系问题有选择性但深刻理解的基础背景中。虽然按照章节顺序先研究二元情况可能有一定的指导意义，但也可以直接开始阅读多变量章节。

其次，《因果推理：基础与学习算法》中的方法受到机器学习和计算统计领域的激励和影响。本书感兴趣的是这些方法如何帮助推断因果结构，更感兴趣的是因果推理是否能告诉人们机器学习的方式。事实上，作者认为，如果不把概率分布描述的随机实验作为出发点，而是考虑概率分布背后的因果结构，那么能很好理解机器学习的一些最深刻的开放性问题。

《因果推理：基础与学习算法》试图为具有概率论、统计和机器学习基础的读者提供一个系统的主题介绍（为了完整起见，附录A.1和A.2给出了最重要的概念）。

虽然《因果推理：基础与学习算法》建立在Pearl（2009）和 Spirtes等人（2000）的工作所代表的因果关系图解的基础上，但作者的个人品味影响了主题的选择。为了保持本书的可读性，并将注意力集中在概念性问题上，令人遗憾的是，不得不在因果关系的一些重大问题上投入较少的篇幅，无论是对特定背景的理论见解，还是对各种具有实际重要性的方法的深入了解。作者试图为一些明显的遗漏引用文献，但可能忽略了一些重要的主题。

《因果推理：基础与学习算法》也有一些缺点，其中一些内容是从该领域继承而来的，例如理论结果往往局限于有无穷多的数据的情况。虽然本书提供了有限数据情况的算法和方法，但是没有讨论这些方法的统计性质。此外，在一些地方，本书忽略了测度理论问题，往往假设密度的存在。作者发现所有这些问题都是相关的和有趣的，但作者做出了这些选择，以保持本书的简洁和易读性。

再一个是免责声明。计算因果关系的方法仍处于起步阶段，只是在有限的情况下，从数据中学习因果结构是可行的。《因果推理：基础与学习算法》试图在可能的情况下包括具体的算法，但作者清楚地意识到，因果推理的许多问题比典型的机器学习问题更困难，因此无法保证这些算法都能解决读者的问题。请不要对这句话感到气馁，因果学习是一个有趣的话题，作者希望阅读本书可以说服读者开始研究它。

如果没有大家的支持，作者就无法完成《因果推理：基础与学习算法》这本书。

作者非常感谢德国奥博沃尔法赫数学研究所对三位作者的支持，在该研究所工作期间，三位作者完成了《因果推理：基础与学习算法》的大部分内容。

感谢Michel Besserve、Peter Bühlmann、Rune Christiansen、Frederick Eberhardt、Jan Ernest、 Philipp Geiger、Niels Richard Hansen、Alain Hauser、Biwei Huang、Marek Kaluba、Hansruedi Künsch、Steffen Lauritzen、Jan Lemeire、David Lopez-Paz、Marloes Maathuis、Nicolai Meinshausen、S.ren Wengel Mogensen、Joris Mooij、Krikamol Muandet、Judea Pearl、Niklas Pfister、Thomas Richardson、Mateo Rojas-Carulla、Eleni Sgouritsa、Carl Johann Simon-Gabriel、Xiaohai Sun、Ilya Tolstikhin、Kun Zhang和 Jakob Zscheischler，在作者写《因果推理：基础与学习算法》的过程中，提供了许多有用的评论和有趣的讨论。特别是Joris和Kun参与了本书介绍的大部分研究。69

感谢德国卡尔斯鲁厄理工学院、瑞士苏黎世联邦理工学院和德国图宾根大学多位学生对《因果推理：基础与学习算法》初稿的阅读及校对，并提出许多令人鼓舞的问题。

最后，感谢来自Westchester出版服务公司的匿名评审专家和编辑团队的有益建议，以及麻省理工学院出版社的工作人员，特别是Marie Lufkin Lee和Christine Bridget Savage，感谢他们在整个写作过程中提供了良好的支持。

Jonas Peters、Dominik Janzing和 Bernhard Schölkopf

哥本哈根和图宾根　　　　　　　　

69

自从1956年首次提出“人工智能”（AI）概念，AI一直处于争议之中。AI或被称作人类文明耀眼未来的预言，或被当成技术疯子的狂想扔到垃圾堆里。直到2012年之前，这两种声音还同时存在。2012年以后，得益于数据量的上涨、运算力的提升和深度学习的出现，AI在理论研究及应用领域开始了大的爆发。

世上万事万物，有因就有果，有果必有因。事物为什么会发生、为什么会得到某种结果，都是通过论述事物的因果关系来完成的。然而，因果推理一直被视为机器学习理论中缺失的部分，除了执果索因的贝叶斯定理，很少有方法能对因果关系进行建模。目前，因果关系是一个极具吸引力的研究领域。其理论研究和应用试探才刚刚起步，许多概念问题仍然存在争论。

因果推理是探讨利用数据确定因果关系、度量因果效应的方法。近年来，包括哲学、统计学、计算机科学、社会学、医学和公共卫生等领域的研究者对因果及其推理方法进行了广泛的探讨和研究。因果图模型提供了一种用概率图进行因果推理的框架。因为它能直观表示因果知识，有效地对因果效应进行概率推断，所以使得与它相关的方法成为统计学、机器学习、生物信息等领域的一个研究热点。然而，利用数据，特别是观察数据进行因果的学习和推理的方法还不完善，大多基于实际数据的因果分析很难得到理想的效果。

《因果推理：基础与学习算法》的第1章从概率论与统计学入手，介绍了因果模型和因果学习。第2章分析了因果推理的假设，揭示这些假设所暗含的因果推理和学习的目的。第3～5章针对两个变量的情况介绍结构因果模型、干预和反事实等概念，然后论述了学习因果模型，以及因果模型与机器学习之间的关系。第6～8章将第3～5章的概念和理论推广到多变量情况。第9章分析因果推理中隐藏变量的相关问题。最后，第10章讨论时间序列的因果推断。

《因果推理：基础与学习算法》的翻译出版得到了机械工业出版社的大力支持，在此特致感谢。我们的研究生在全书的初稿形成、图表编辑等诸多方面给予了帮助，在此一并致谢。

《因果推理：基础与学习算法》第1～5章以及附录部分由卢胜男博士翻译，第6～10章由李小和博士翻译，程国建教授对全书进行了通稿和校对并参与了部分内容的翻译。在翻译过程中，译者力求忠实、准确地把握原著，同时保留原著风格。但由于译者水平有限，书中难免有错误和不准确之处，恳请广大读者批评指正。

译 者　　

译者序

原书前言

符号和术语

第 1章　统计和因果模型

1.1　概率论与统计学

1.2　学习理论

1.3　因果建模和学习

1.4　两个实例

1.4.1　模式识别

1.4.2　基因干扰

第 2章　因果推断假设

2.1　独立机制原则

2.2　历史记录

2.3　因果模型的物理结构

2.3.1　时间的作用

2.3.2　物理定律

2.3.3　循环赋值

2.3.4　干预的可行性

2.3.5　原因和机制的独立性以及时间的热力学之箭

第3章 原因-效果模型

3.1　结构因果模型

3.2　干预

3.3　反事实

3.4　结构因果模型的标准表示

3.5　问题

第 4章　学习原因-效果模型

4.1　结构可识别性

4.1.1　为什么需要额外的假设

4.1.2　假设类型的概述

4.1.3　非高斯加性噪声的线性模型

4.1.4　非线性加性噪声模型

4.1.5　离散加性噪声模型

4.1.6　后非线性模型

4.1.7　信息-几何因果推断

4.1.8　Trace方法

4.1.9　以算法信息理论为可能的基础

4.2　结构识别方法

4.2.1　加性噪声模型

4.2.2　信息几何因果推断

4.2.3　Trace方法

4.2.4　监督学习方法

4.3　问题

第5章　与机器学习的联系1

5.1　半监督学习

5.1.1　半监督学习和因果方向

5.1.2　关于半监督学习在因果方向上的注释

5.2　协变量偏移

5.3　问题

第6章　多变量因果模型…

6.1　图的术语

6.2　结构因果模型

6.3　干预

6.4　反事实

6.5　马尔可夫性、忠实性和因果最小性

6.5.1　马尔可夫性

6.5.2　因果图模型

6.5.3　忠实性和因果最小性

6.6　通过协变量调整计算干预分布

6.7　do-calculus

6.8　因果模型的等价性和可证伪性

6.9　潜在的结果

6.9.1　定义与实例

6.9.2　潜在的结果与结构因果模型之间的关系

6.10　单一对象的广义结构因果模型

6.11　条件算法独立性

6.12　问题

第7章　学习多变量因果模型

7.1　结构可识别性

7.1.1　忠实性

7.1.2　加性噪声模型

7.1.3　具有等误差方差的线性高斯模型

7.1.4　线性非高斯无环模型

7.1.5　非线性高斯加性噪声模型

7.1.6　观测数据和实验数据

7.2　结构识别方法

7.2.1　基于独立的方法

7.2.2　基于分数的方法

7.2.3　加性噪声模型

7.2.4　已知因果次序

7.2.5　观测数据与实验数据

7.3　问题

第8章　与机器学习的联系2

8.1　半同胞回归

8.2　因果推断与场景强化学习

8.2.1　逆概率加权

8.2.2　场景强化学习

8.2.3　21点（Blackjack）中的状态简化

8.2.4　改进广告布置的加权

8.3　域适应

8.4　问题

第9章　隐藏变量

9.1　干预充分性

9.2　Simpson悖论

9.3　工具变量

9.4　条件独立性和图表示

9.4.1　图

9.4.2　快速因果推断

9.5　条件独立性之外的约束

9.5.1　Verma约束

9.5.2　不等式约束

9.5.3　基于协方差的约束

9.5.4　附加噪声模型

9.5.5　检测低复杂度混杂因子

9.5.6　不同的环境

9.6　问题

第10章　时间序列

10.1　基础和术语

10.2　结构因果模型和干预

10.2.1　下采样

10.3　学习因果时间序列模型

10.3.1　马尔可夫条件和忠实性

10.3.2　一些不要求忠实性的因果结论

10.3.3　Granger因果关系

10.3.4　具有受限函数类的模型

10.3.5　频谱独立准则

10.4　动态因果建模

10.5　问题

附录

附录A　一些概率与统计学基础知识

A.1　基本定义

A.2　独立性以及条件独立性测试

A.3　函数类的容量

附录B　因果次序和邻接矩阵

附录C　证明

C.1　定理4.2的证明

C.2　命题6.3的证明

C.3　备注6.6的证明

C.4　命题6.13的证明

C.5　命题6.14的证明

C.6　命题6.36的证明

C.7　命题6.48的证明

C.8　命题6.49的证明

C.9　命题7.1的证明

C.10 命题7.4的证明

C.11　命题8.1的证明

C.12　命题8.2的证明

C.13　命题9.3的证明

C.14　命题10.3的证明

C.15　定理10.4的证明

参考文献