统计信仰：驾驭无序世界的元认知

本书的写作参考了许多统计类书籍，将肥尾统计列到统计理论学科系统中进行梳理，并研究了它与贝叶斯统计之间的理论联系。同时将因果推论相关的内容与传统统计学进行交叉关联，还探讨了个人决策方面的统计学前沿应用。

本书分为上下两篇，共9章。上篇包括从逻辑到统计、频率统计、贝叶斯统计与Z大熵、Fisher统计、肥尾统计，主要介绍了统计学理论四大派别的思想和主要工具。下篇包括因果认知、统计认知、商业决策、个人决策，主要剖析了统计学理论四大派别在应用端的新发展。

徐鸿鹄，某德资企业项目管理负责人，公众号SerendipityCamp创作者，中德教育与科技合作促进中心高级顾问。

解答人生的谜题，并不单纯是探求形而上的理论，从频率学派、费舍尔学派、贝叶斯学派到肥尾统计，与众多统计理论同行，我们将经历最令人兴奋的智力冒险。一定不要放弃这个千载难逢的机会——成为其研究者，当事人，或者是见证者。因为，在混沌之中，包含了惊人的新秩序。

前 言

曼哈顿学院的Mark Mills和Peter Huber说：“文明，就像生活一样，是一段飞离混乱的旅程，它充满苦难，永无尽头。混乱最终会占据上风，但我们的使命就是尽可能地推迟它，用尽一切的聪明才智和决心，把事情朝着相反的方向推。”

为了尽力解释这个世界，我们诉诸不同的努力：从概率到决策，从科学到哲学，从算法到心法，从认知到命运。然而，这种类比建立联系的方式有着一个根本的问题，即理性是有限的。

科学家可以利用科学工具解决很多技术问题，但却无法利用科学工具解答关于价值观、道德、立场的问题。维特根斯坦语言哲学、波普尔批判理性主义也纷纷指出了理性的局限。人们不得不接受这样一个观点：纯粹理性是不存在的，理性有一定作用但非万能。

尽管波普尔为“可证伪性无法被证伪”所质疑，但这种质疑实质上偏离了波普尔发明“可证伪”黄金标准的初衷。问题不在于“可证伪”是否成立、是否有意义，波普尔最大的贡献在于，他给出了一个有意义的学科分界标准。尽管遭遇了挑战，但在更好的竞争性标准提出之前，有趣的是，可证伪这个概念本身却并非是“实证”的，它并非是科学领域的概念，而应归属于哲学领域。因此，可证伪概念只是一种方针，一种经验法则。虽然不可证伪性不是黄金标准，但利用它，我们可以排除很多伪科学。同样值得注意的是，武断地使用它，我们也可能会轻易丢失正确的科学结论。

尽管这一经验法则不是普世真理，但它却是一个有效的工具，可以在经验科学的陈述与一切其他陈述（宗教，形而上等学科）之间画出一条相对明确的分界线。

波普尔的可证伪思想一直明确地宣示着科学领域边界，并在其中长期确立着自己的主导地位。

在这样的划分下，概率、科学、算法、认知这些理性的、“可证伪”世界的元素并不能完全地映射到“可证伪”黄金标准“一无是处”的社会学乃至人文学领域

的决策、哲学、心法、命运上，这种映射多半会带来粗浅的类比。

波普尔认为，科学方法的正确性应该建立在可证伪的基础上。然而，这个可证标准本身是无法证伪的，因此波普尔的理论根据他自己建立的可证伪标准是不成立的，但这却印证了他对纯粹理性的批判。

这个“可证伪”标准，应该是一种区分实证知识和非实证知识的标准。波普尔据此就已经将数学和逻辑学开除了科学的户籍——因为公理学统的公理无法被证伪。

从波普尔到库恩、卡拉托斯、费耶阿本德，他们都指出，理论如同冰山，有一个巨大的被淹没部分，这个部分是非理论的，但对于理论的发展又必不可少。

人生在世，理性之外的文化参与是一种必不可少的训练，以此来理解群体和社会的运行：如果你在一家制药公司工作，那么你需要了解患者，否则你的所有药物开发尝试都将失败；如果你要制造汽车，那么你需要知道司机的生活方式，否则你的车里会设计一大堆不相干的配置；如果你在政府工作，那么你需要借助社会科学理论来批判性地思考官僚主义……

古希腊哲学家德谟克利特说：“我宁愿发现一个原因，也不愿成为波斯国王。”

1998 年诺贝尔物理学奖得主Robert B. Laughlins 曾说，在一个存在着诸如离狮子近就会被吃掉那样的因果关系的世界上谋生存，使我们生来就具备了寻找事物之间因果关系的能力。

似乎一个人的一生需要供奉两个“神明”：一个是科学理论的，用以解释概率化的客观世界；另一个是非科学理论的，用以解决人类的因果诉求。

决策、哲学、心法、命运大都是因果论下的主题。科学的飞跃拓展了我们对世界的概率解读，但人的问题大都是因果问题。

在因果认知方面，我们还缺乏有效的理论，但这不意味着这个领域完全空白， 至少Judea Pearl 和Dana Mackenzie 的The Book of Why， 以及E. T. Jaynes 的Probability Theory：The Logic of Science 在这方面做出了有效的尝试。因果推断作为迟到的理论是值得深入研究的。

利用科学，我们可以轻松地说出100 年后人类生活不会发生太大的变化，但却很难预测50 年后人类的生活具体会是什么样的。预测未来的难度在于，科学的发展总是步步推进的。例如，我们无意中发明了火箭技术，于是产生了太空探险的需求；我们创造出了电动车，于是产生了不同于燃油车的，对电动车的需求和依赖。针对很多进步，在事后看来技术和需求往往是互为因果的，都解释得通。人类行为更是如此，在事前看来，处处是迷雾，但在事后看来，人人觉得理所当然，从来不缺乏有效的解释。

成功学大师们口吐莲花，从投硬币概率到人生哲理感悟，以概率数字思考机会和命运，以小见大感悟人生哲理，其实大都缺少深刻而确定的理论依据，缺乏拓展性和适应性。其本质上忽视了科学的概率理性世界与主观因果认知世界的巨大鸿沟。

稍不注意，我们一厢情愿的主观意愿就会被披上科学和理性的外衣，投射为急功近利的成功学和励志怡情的心灵鸡汤。

在这个社会上有能力把所有问题解释得头头是道的人越来越多，但凭借亲身经历真正理解问题的人却越来越少。为了联系理论与宏观世界，跨越知识的藩篱，我们需要一个更好用的“中间件”，而不是简单粗暴地牵强附会。

世界越混乱和不可预测，人们就越渴望熟悉的、原创的、真实的东西。我好奇的是，为了跨域两种认知，是否存在更加基本的元认知呢？

解除这一疑惑便是《统计信仰：驾驭无序世界的元认知》一书创作的初衷。

跨越学科启发认知的事情，只要做得正确，也可以无比美妙。例如，弦论物理学家大栗博司就曾把电磁学理论类比为金融市场里的货币理论，使电场与汇率、磁场与利率产生了联系，并一鼓作气推导出了金本位制与希格斯波色子之间的奇妙联系。

对于人类来说，分析这个世界太复杂，我们很少有机会能够获取形式简洁、和谐自洽、富有美感的本质发现。

索罗斯曾说：“我投资和创造财富的理论，基本上是在学生时代创造和形成的哲学思想，这蒙恩于我的老师波普尔。”现代风险学实践大师塔勒布也喜欢波普尔，并发展出了自成一派的肥尾哲学。他们学习波普尔，但没有拘泥于波普尔，最后都超越了波普尔，他们的认知都触及此前理性科学无法触及的人文领域，批判对待理性的观点一直在实践中蓬勃发展。

在众多潜在“中间件”中，统计学无疑是一个有趣的备选项。

统计学的最大魅力在于，我们可能并不需要刻意解释什么，只需要发明一个简单的模型，并以此重现现实世界的几个特征，即可获得新的认知，如医学中的生存分析、金融学中的鞅测度、心理学中的元分析，每当获得了新的认知时，我们便取得了进步。随着这些进步，更好的模型将被发明出来，以更加精确的方式重现现实世界越来越多的特征。

统计推断是一门内容极其广泛的学科，实际上，它位于数学、经验科学和哲学三门学科的交叉点上。而在当今最令人敬畏的风险管理理论学者Nassim NicholasTaleb 眼中，借助统计学，还能让数学、哲学、社会科学、契约理论和决策理论五个领域达成高度默契。

统计学这种研究随机性影响并量化不确定性的属性，使得其自带超强的跨界融合的特点。它不以任何一个专门领域为研究对象，只要在安排实验和处理数据过程中涉及一些一般性的、共同的数学问题，就可以利用统计学知识。

毫不夸张地说，统计学是博学者的捷径、万物理论的圣杯，这正印证了那句英语箴言：Mastering Math is a Shortcut to Becoming a Polymath（掌握数学是成为博学者的捷径）。

在当“跨界”称为热词时，在成为博学者的路径上，学习统计学是必由之路。

单一领域的专门知识暗含不容置疑的假定，而广阔的知识更能包容深刻的问题和新颖的观点。也许通过统计学，生命的无秩序、混乱和不可知性都可以慢慢走向量化。

随着时间的推移，我越发敬畏统计学这门学科，并因此萌生了以一种非通俗浅显科普，也非遵循专业教材严格推理的方式，书写统计学的想法：将重点放在构建知识体系和世界观上，力图展现统计学理论和应用的美妙之处和不为人知的一面。

认知成熟的标志，不是寻求终极的大道理，而是潜移默化地关联起身边每个领域里发生的小事情。思维的世界里没有权威，没有人可以剥夺你思想的乐趣，有很多科学家穷尽一生坚持研究就是为了探寻这种隐秘、未知而又突如其来的极大喜悦。

力图单枪匹马解读这样宏大的命题无疑是狂妄和无知的，除非站在巨人的肩膀上。作者在本书的创作过程中，自然也拜读了众多大师的著作。这些大师包括：

● 物理学家及坚定的贝叶斯学者 Edwin Thompson Jaynes。

● 计算机时代统计学的引路人 Bradley Efron。

● 中国统计学泰斗陈希孺院士。

● 科学哲学最危险的敌人兼具无穷批判力的 Paul Feyerabend。

● 肥尾统计的开拓者、当代令人敬畏的风险管理理论学者 Nassim NicholasTaleb。

● 人工智能先驱、“贝叶斯网络之父”Judea Pearl。

不管怎么说，“独立思考”都是一个枯燥又空洞的词。人的知识绝大多数是从他人那里借鉴学习获得的，真正的知识生产的成本是很高的。一路阅读就会发现，这个世界上真正有用且自己用得上的知识真的很少。理解那些伟大的思想比批判它们往往困难得多。

从分子生物学到数理生物学，从物理化学到计算机算法设计，从通信到微观经济学，从密码学到保险，从人口普查到全民选举，从统计物理到量子力学，从无人车到心理学，从气象预报和地质探矿到医药开发和疾病治疗，从公共政策到金融风险投资……它们都是新的、有趣的和困难的问题的来源。

统计学一方面建立了一个在数学上可以处理且尽可能简单方便的模型来描述数据，另一方面要求数据中包含尽可能多的、与所研究问题有关的信息。因此，本书不是一本关于统计学或概率的数学理论书，针对本书更贴切的说法可能是关于思考如何拓展知识，努力联系起概率世界和因果世界的工具书。

从在公众号SerendipityCamp 上开设了追踪病毒、人生算法、科学良质三个专题开始，我就一直在思考，获得新的认知是否存在捷径。但至今我也没有找到一个令自己满意的答案。如果你现在问我获得新的认知是否存在捷径，我会说：“我不知道。”但是，这一不能令人满意的回答，绝对不会减弱我的“提升认知存在捷径”这一信念。

在跨界方面，物理学家常常具备先天优势，根源在于研究物理学除了能深入了解这个世界是怎么运作的，还能培养自己分析和解决问题的能力，包括经典力学和电磁学问题、引力与核作用问题、量子力学问题、统计物理问题……它们的框架和推理完全不同，这个广泛的覆盖面能将思维和分析能力拓展得很强。

我想，统计学或许也能够担起拓展认知的大任，因而我有足够的信心认定，获得新的认知的捷径是存在的。

对于人类来说，分析这个世界太复杂，只有把它分解成小块并分别研究，才能取得进展。要剖析“语法”本身，找到语法的漏洞，并发明新的工具来填补未知，用它来解决它适合解决的问题。为了联系宏观世界和多种学科，我们需要一个更好用的“中间件”，统计学是无疑一个有趣的备选项，即便是广罗万物的物理学研究也极依赖于这个数学工具。

都说戏剧充满了冲突，统计学无疑也是一出大幕剧，其中孕育了大量冲突和类比的观点，让这门学科有了纵深感和复杂性。

● 统计推断，统计决策。

● P、Q 测度下的世界观。

● 海森伯测不准原理，熵。

● 小样本理论，大样本理论。

● 元分析，元概率。

● 置信区间，信任区间，信念区间。

● 贝叶斯派，频率派，Fisher 派，最大熵原理。

● 显著性，效应量。

● 热力熵，信息熵，统计熵。

● RR，AR，OR，HR。

● 中心极限定理，大数定理，大偏差理论。

● 一般线性模型，广义线性模型，广义可加模型。

● 期望的概率函数，函数的期望回报。

● 高斯分布吸引子，幂律分布吸引子。

● p 值，效应量。

● 布朗运动，几何布朗运动。

● 指数族分布，幂律分布，稳定分布。

● 样本分布，抽样分布，先验分布。

● 无偏估计，有偏估计。

● 回归分析，方差分析。

● 等效性，劣效性，优效性。

● 超越合理怀疑，占优势证据。

● 弃真错误，采伪错误。

● 客观先验，经验先验，共轭先验。

● 演绎，归纳，溯因，类比。

● 经验主义，理性主义。

冲突性无关乎主题的大小，主题清单没有尽头。在本书中，我将竭尽所能，将这些戏剧化的理论对抗一一展现，并通过这些对立概念展示统计学与物理学、工程学、医学、金融学、社会科学、心理学及个人决策等领域之间的深层隐秘逻辑。

本书将分为独立的两个部分，上篇介绍统计学理论四大派别的思想和主要工具，主要包括从逻辑到统计、频率统计、贝叶斯统计与最大熵、Fisher 统计和肥尾统计；下篇从工程学、医学、金融学、社会科学、心理学及个人决策等多个角度入手，应用多样的统计工具，分析统计学不为人知的强大适应性和解释力。

知识的方法论没有任何方法能够高效传递，所以你要找到窍门拨开那层薄纱，建立目标并开始行动，只要一开始行动，碎片化的知识就会迅速被组织起来，并被使用、试错、迭代，这些碎片终会穿过你的身体并成为身体的一部分。

本书能够出版要感谢的人有很多：耐心且包容的“非著名图书策划人”姚新军（@长颈鹿27）先生，提供宝贵审阅意见的冯国双博士（@小白学统计），给予帮助和鼓励的良师益友罗本进博士、王立耀教授、黎胜文老师等，以及身边的朋友和家人，当然，更重要的是众多素未谋面但为公众号SerendipityCamp 提出批评和建议的新老朋友们。

在书写励志故事早已令人厌倦的时代，谈梦想总是不合时宜的。但正如20 世纪德裔作家埃里希?? 玛丽亚?? 雷马克所说：我们有梦想，因为若没有，便无法承受现实的真相。我们不断跨越知识的边界，实践一生，探寻真相，只是为了证明：人生，不只是从摇篮到坟墓的漫长跋涉。

上篇
第1 章 从逻辑到统计 / 7
壹 归纳推理 / 7
贰 演绎推理 / 11
叁 因果＆ 概率 / 15
肆 溯因推理 / 19
伍 逻辑＆ 语言 / 22
陆 概率＆ 统计 / 24

第2 章 频率统计 / 28
壹 频率主义 / 28
贰 点估计：矩估计＆ 极大似然估计 / 31
叁 最优估计量 / 35
肆 假设检验 / 38
伍 p 值争议 / 43
陆 区间估计 / 48
柒 分布族 / 51
捌 抽样分布 / 54
玖 一般线性模型：方差分析＆ 回归分析 / 57
拾 模型泛化：回归与非参数的现代方法 / 60
拾壹 统计决策 / 65
拾贰 频率观批判 / 67

第3 章 贝叶斯统计与最大熵 / 69
壹 贝叶斯观点 / 69
贰 贝叶斯估计＆ 检验 / 75
叁 探秘先验：经验贝叶斯＆ 客观贝叶斯＆ 共轭先验 / 78
肆 贝叶斯现代方法 / 82
伍 贝叶斯观点批判 / 85
陆 最大熵原理 / 89

第4 章 Fisher 统计 / 94
壹 统计推断三叉戟 / 94
贰 置信区间/ 信任区间/ 信念区间 / 97
叁 第三派 / 100
肆 Fisher 信息量 / 103
伍 有偏估计 / 105
陆 大规模假设检验 / 109

第5 章 肥尾统计 / 113
壹 指数分布族＆ 幂律分布族＆ 稳定分布族 / 113
贰 统计之旅：从退化到无序 / 119
叁 中值定理 / 126
肆 极值理论 / 129
伍 平均绝对偏差＆ 标准差 / 132
陆 高斯世界之外的奇异世界 / 135

下篇
第6 章 因果认知 / 146
壹 确定性的源头：实验设计初探 / 146
贰 医学实验设计：蛇杖上的舞蹈 / 152
叁 因果推断：从科学范式到认知范式 / 157
肆 机器学习困局：概率的？因果的？ / 162
伍 人的行为：维纳斯的赌注 / 166
陆 贝叶斯的力量：因果源于偏见 / 171

第7 章 统计认知 / 176
壹 无人车困局：无法逃离的概率世界 / 176
贰 缺憾之美：直面死亡的生存分析 / 183
叁 元认知：效应量到Meta 分析 / 189
肆 浇筑现代工业之花：可靠性试验验证 / 195
伍 精美的试验品：从布朗运动到金融帝国 / 199
陆 变异与毁灭：预防原则 / 204

第8 章 商业决策 / 210
壹 门萨圈套：智商测试的伪科学 / 210
贰 维度的秘密：戏局谬误与PQ 测度 / 215
叁 大厦将倾：肥尾重塑的金融秩序 / 219
肆 效果逻辑：驾驭随机性的创业法则 / 224
伍 投机微论：最优组合与风格博弈 / 229
陆 反身理论：从金融学到宇宙学 / 234

第9 章 个人决策 / 238
壹 偏见的偏见 / 238
贰 平均斯坦与极端斯坦 / 243
叁 遍历性灾难 / 247
肆 脆弱与反脆弱 / 251
伍 人生算法 / 255
参考文献 / 259