因果推断：基于图模型分析

本书对因果推断相关知识进行了系统、全面的介绍，为便于学习，对大多数知识点都进行了详细的推导说明。

近年来，人工智能技术取得了长足的进步，DeepMind公司的AlphaGo横扫世界围棋顶尖高手，AlphaFold能够精确地基于氨基酸序列来预测蛋白质结构，其准确性可以与使用冷冻电子显微镜（CryoEM）、核磁共振或X单晶衍射等方法解析蛋白质结构的准确性相媲美。人工智能技术在许多领域取得了不可思议的进步，语音翻译、图像场景识别等曾是科幻小说中梦想的成就，现在已经成为现实。在技术突破和市场需求的多方驱动下，人工智能技术已经从学术走向实践，正加速向各个产业渗透，改造各行各业。如同蒸汽时代的蒸汽机、电气时代的发电机、信息时代的计算机和互联网，人工智能正成为推动人类进入智能时代的决定性力量。
但是，现有的人工智能技术几乎都是基于统计学或黑箱的形式，主要关注变量之间的相关性而非因果性，这使其性能有严重的理论局限性。它在动物擅长的一些技能方面表现并不好，特别是将解决问题的能力迁移至新问题，以及进行任意形式的泛化时。一些常识问题对于人类而言很简单，但对于现在的人工智能技术而言并不简单。因此，2011年图灵奖得主、贝叶斯网络之父朱迪亚·珀尔（Judea Pearl）教授认为，现在人工智能技术的发展进入了新的瓶颈期，“所有令人印象深刻的深度学习成果加起来不过是曲线拟合罢了”(All the impressive achievements of deep learning amount to just curve fitting)，而且“深度学习技术是一种非常通用和强大的曲线拟合技术，它可以识别以前隐藏的模式，推断出趋势，并预测出各种问题的结果，但它仅仅停留在相关性这个层次上，也就是曲线拟合，而曲线拟合方法在表示给定数据集方面的一个风险是过度拟合，即算法不能识别出数据中的正常波动，最终会被干扰所迷惑”。珀尔认为，除非算法及其控制的机器能够推理因果关系，或者至少概念化差异，否则算法的效用和通用性永远不会接近于人类。麻省理工学院(MIT)的研究人员发表的一篇论文也指出，要创建类人的学习和思考的机器，需要它们能够构建出世界的因果模型，能够理解和解释它们的环境，而不仅仅是使用模式识别来解决问题。因此，现有的人工智能技术需要超越现在的相关性关系层次，深入探究因果关系，最终制造出像人一样思考的机器。
因果关系一直是人类认识世界的基本方式，也是现代科学的两大基石之一。自古以来，关于因果关系的研究一直吸引着人们。通过系统性观察和试验发现自然规律、探索现象之间的因果关系,一直是各种科学研究的最终目标。爱因斯坦就认为西方科学是建立在以因果律为基础的形式逻辑之上的。
相关性关系与因果关系之间的关系由莱辛巴赫（Reichenbach）形式化为著名的共同原因原理，即如果两个随机变量X和Y在统计学上具有相关性，那么其相互关系必为以下关系之一:
● X导致Y；
● Y导致X；
● 存在一个随机变量Z，它是引起X和Y的共同原因。
因此，与相关性关系相比，因果关系具有更多的信息量，体现了变量之间更本质的关系。因果推断的中心任务就是研究变量之间的因果关系:
● 分析如果某些变量被干预会发生什么；
● 分析影响干预及其结果的混杂因素；
● 分析以前从未观察到的情况的结果。
因果关系与相关性关系不同，相关性关系指的是，如果我们观测到了一个变量X的分布，就能推断出另一个变量Y的分布，那么说明X和Y是有相关性的。而因果性则强调，如果我们干预了某个变量X，且这种干预引起了变量Y的变化，那么我们才能说明X是Y的因（cause），而Y是X的果（effect）——这是因果关系的基本出发点。基于因果关系的分析方法，我们可以避免得出“制止公鸡打鸣就可以阻挡日出”这样荒谬的结论。因此，基于因果关系的预测方法比基于相关性关系的预测方法更具有普适性。我们在人工智能研究中需要寻找这样的因果关系，而不仅仅是简单的相关性关系。
除人工智能研究领域之外，因果推断在经济学、社会学、医学和法学等领域也有广泛的应用。比如，在广告界有一句广为流传的话：“我知道我的广告费有一半被浪费了，但遗憾的是，我不知道是哪一半被浪费了。”这实际上是一个衡量广告效果的问题。因为无法很精确地衡量广告的效果，所以没办法进行进一步的广告投放优化，只能白白浪费广告费。从因果推断的角度来看，如果我们把投放广告看作一种“干预”(intervention)，这个问题其实就是广告投放的因果效应分析问题，需要我们通过因果推断的方法进行分析。
从数据中分析、挖掘相关性关系的研究发展迅速，相关学习资料也很多，但因果推断方面的学习资料还相对较少。国外有少量关于因果推断的书籍。Judea Pearl教授在因果推断方面有三本著作：The Book of Why: The New Science of Cause and Effect、Causal Inference in Statistics: A Primer和Causality: Models,Reasoning,and Inference。耶鲁大学Scott Cunningham教授编写的Causal Inference:The Mixtape 2021年刚出版。哈佛大学流行病学家James Robins和他的同事也在写一本关于因果推断的书，目前提供了网络版。这些书籍从不同角度对因果推断进行了介绍，并且对因果推断各个方面的问题都有比较精辟的论

前言

第1章绪论1

1.1辛普森悖论1

1.2相关性与因果关系5

1.3变量之间的关系9

1.4本书主要内容及安排11

第2章数学基础13

2.1随机变量和随机事件13

2.1.1随机变量13

2.1.2随机事件14

2.2概率及其计算16

2.2.1概率与条件概率16

2.2.2概率分布19

2.2.3概率的计算公式19

2.3独立性22

2.4贝叶斯公式及其应用25

2.5随机变量的数字特征30

2.6回归33

2.6.1一元线性回归33

2.6.2多元线性回归35

2.7因果关系的表示：图模型与结构

因果模型37

2.7.1因果关系的概念37

2.7.2图模型38

2.7.3结构因果模型40

2.7.4图模型和结构因果模型的

比较41

2.8因子分解42

2.8.1图模型的马尔可夫性43

2.8.2因子分解表达式44

2.9图模型结构的程序实现46

2.9.1R软件的安装46

2.9.2DAGitty包的安装与

加载48

2.9.3图模型的生成50

第3章图模型分析55

3.1基本图模型结构的分析55

3.1.1链式结构56

3.1.2分叉结构57

3.1.3对撞结构59

3.2d划分66

3.2.1d划分的概念66

3.2.2d划分的判断70

3.2.3d划分变量集合搜索73

3.3图模型与概率分布78

3.4图模型分析的程序实现80

第4章干预分析89

4.1因果效应的调整表达式计算89

4.1.1混杂偏差89

4.1.2干预的数学表达90

4.1.3通过调整表达式计算

因果效应92

4.1.4调整变量的设计96

4.2后门准则与前门准则101

4.2.1后门准则101

4.2.2前门准则107

4.3多变量干预和特定变量

取值干预112

4.3.1多变量干预112

4.3.2特定变量取值时的干预

分析115

4.3.3条件干预118

4.4直接因果效应与间接因果效应119

4.5因果效应的估计125

4.5.1反概率权重法125

4.5.2倾向值评分匹配法129

4.6线性系统中的因果推断133

4.6.1线性系统因果推断分析的

特点133

4.6.2路径系数及其在因果推断

分析中的应用137

4.6.3线性系统中路径系数的

计算141

4.7工具变量150

4.8干预分析的程序实现154

4.8.1获取调整变量集合154

4.8.2通过倾向值评分匹配

计算ACE158

第5章反事实分析及其应用164

5.1反事实概念的引入及表达

符号164

5.2反事实分析的基本方法168

5.2.1反事实假设与结构因果

模型修改168

5.2.2反事实分析的基本法则171

5.3反事实分析计算173

5.3.1外生变量取值与个体173

5.3.2确定性反事实分析175

5.3.3概率性反事实分析177

5.3.4反事实分析中概率计算的

一般化方法182

5.4反事实符号表达式与do算子符号

表达式的对比185

5.5基于图模型的反事实分析191

5.6SCM参数未知及线性环境下的

反事实分析195

5.6.1SCM参数未知条件下的反

事实分析195

5.6.2线性模型在给定事实条件下

的反事实分析198

5.7中介分析201

5.7.1自然直接效应和自然间接

效应的定义202

5.7.2自然直接效应和自然间接

效应的计算204

5.8反事实的应用205

第6章因果关系概率分析211

6.1因果关系概率的定义211

6.2因果关系概率的性质214

6.3必要性概率与充分性概率的

量化计算216

6.3.1外生性与单调性216

6.3.2在外生性条件下PN、PS和

PNS的计算219

6.3.3在外生性和单调性条件下

PN、PS和PNS的计算221

6.3.4在不具有外生性但具有单调性

条件下PN、PS和PNS的

计算222

6.3.5在外生性和单调性都不成立

条件下PN、PS和PNS的

计算226

6.4因果关系概率的应用228

第7章复杂条件下因果效应的

计算2387.1非理想依从条件下因果效应的

计算238

7.1.1研究模型假设238

7.1.2一般条件下平均因果

效应的计算239

7.1.3附加假设条件下平均因果

效应的计算243

7.2已干预条件下因果效应的计算246

7.2.1ETT的计算247

7.2.2增量干预的计算249

7.2.3非理想依从条件下ETT的

计算251

7.3复杂图模型条件下因果效应的

计算253

7.3.1do算子推理法则253

7.3.2do算子推理法则应用

示例254

7.3.3因果效应的可识别性257

7.3.4试验中干预变量的替代

设计262

7.4非理想数据采集条件下因果

效应的计算265

第8章图模型结构的学习270

8.1图模型结构学习算法概述270

8.1.1图模型结构学习的过程270

8.1.2图模型结构学习的假设271

8.2图模型结构学习算法的分类及基于

评分的学习算法简介272

8.3基于约束的算法273