贝叶斯数据分析 (第2版)

本书展示了如何使用真实的数据真实地进行贝叶斯数据分析。作者从概率与程序设计的基本概念出发，逐步带你进阶，帮助你最终掌握在实际的贝叶斯数据分析中常用的高级模型。本书分为三大部分，共有25章。第一部分介绍基础知识，内容包括贝叶斯推断的基本思想、模型、概率及R语言编程。第二部分涵盖了现代贝叶斯数据分析的所有关键思想。第三部分介绍如何在实际数据上应用贝叶斯方法。

约翰·K. 克鲁施克（John K. Kruschke），美国加州大学伯克利分校博士，美国印第安纳大学心理学和脑科学名誉教授、统计学副教授，拥有近25年的统计学教学经验。他提出的注意力学习模型受到广泛关注，曾凭借在心理学研究方面所做的杰出贡献，斩获由美国国家科学院颁发的特罗兰研究奖。

1.贝叶斯数据分析入门好书，豆瓣高分数据分析书，带你轻松学习统计学，快速掌握贝叶斯方法。

2.本书篇幅大、内容全，可读性高。作者从概率与程序设计的基本概念出发，带你逐渐掌握实际数据分析中常用的高级模型。

3.新版在第1版的基础上做了大幅更新，包括新增了易读的代码、重写了贝叶斯推断的相关内容，全书结构也更加合理。

4.作者邀请你搭上这趟"贝叶斯数据分析"便车，并承诺全程舒适、平稳。只要拥有非常基础的微积分知识，你就不会"晕车"。快系好安全带，开启有趣的贝叶斯数据分析之旅吧！

第 1章 内容概览 1

1.1 你真的可以读懂本书 1

1.2 本书内容 2

1.2.1 你很忙。你最少要阅读哪几章 3

1.2.2 你真的很忙！能阅读得再少一些吗 3

1.2.3 你想多读一点内容，但不要太多 3

1.2.4 如果你只是需要拒绝一个零假设 4

1.2.5 本书中与某传统检验等同的方法在哪里 4

1.3 第 2 版中有哪些新内容 5

1.4 给我反馈（请保持礼貌） 6

1.5 谢谢你们！ 7

第 一部分 基础知识：模型、概率、贝叶斯法则和R

第 2章 可信度、模型与参数 10

2.1 贝叶斯推断是在多种可能性间重新分配可信度 10

2.2 可能性是描述性模型中的参数值 15

2.3 贝叶斯数据分析的步骤 16

2.4 练习 21

第3章 R语言 22

3.1 获取软件 23

3.2 使用R 的一个简单的例子 24

3.3 R 中的基本命令和运算符 26

3.3.1 在R 中获取帮助 26

3.3.2 算术和逻辑运算符 26

3.3.3 赋值、关系运算符和等值判断 27

3.4 变量类型 28

3.4.1 向量 28

3.4.2 因子 31

3.4.3 矩阵和数组 33

3.4.4 列表和数据框 35

3.5 加载和保存数据 36

3.5.1 函数read.csv 和read.table 36

3.5.2 在R 中存储数据 38

3.6 一些工具函数 39

3.7 在R 中编程 42

3.7.1 R 中变量的名称 43

3.7.2 运行程序 43

3.7.3 编写一个函数 44

3.7.4 条件与循环 45

3.7.5 测量处理时间 46

3.7.6 调试 47

3.8 绘制图形：打开和保存 48

3.9 小结 49

3.10 练习 49

第4章 概率是什么 50

4.1 所有可能事件的集合 50

4.2 概率：脑海以外与脑海之内 52

4.2.1 脑海以外：长期相对频率 52

4.2.2 脑海之内：主观信念 54

4.2.3 概率为可能性分配数值 55

4.3 概率分布 55

4.3.1 离散分布：概率质量 55

4.3.2 连续分布：与密度的约会 57

4.3.3 分布的均值和方差 60

4.3.4 最高密度区间 62

4.4 双向分布 64

4.4.1 条件概率 65

4.4.2 属性的独立性 66

4.5 附录：图4-1 的R 代码 67

4.6 练习 68

第5章 贝叶斯法则 70

5.1 贝叶斯法则概览 70

5.1.1 从条件概率的定义得出贝叶斯法则 71

5.1.2 从双向离散表得出贝叶斯法则 72

5.2 应用于参数和数据 74

5.3 完整示例：估计硬币的偏差 77

5.3.1 样本量对后验概率的影响 80

5.3.2 先验概率对后验概率的影响 81

5.4 为什么贝叶斯推断很困难 82

5.5 附录：图5-1、图5-2 等的R 代码 82

5.6 练习 84

第二部分 二项概率推断的基本原理

第6章 用精确的数学分析方法推断二项概率 88

6.1 似然函数：伯努利分布 89

6.2 可信度的描述：Beta分布 90

6.3 Beta 后验分布 94

6.4 示例 96

6.4.1 用Beta分布表示先验知识 96

6.4.2 不能用Beta 分布表示的先验知识 97

6.5 小结 99

6.6 附录：图6-4 的R 代码 99

6.7 练习 100

第7章 马尔可夫链蒙特卡罗 102

7.1 用大样本近似分布 103

7.2 Metropolis 算法的一个简单实例 104

7.2.1 根据Metropolis 算法游走的政治家 104

7.2.2 随机游走 105

7.2.3 随机游走的一般性质 106

7.2.4 我们为什么要关心它 108

7.2.5 它为什么是有效的 108

7.3 更一般的Metropolis 算法 111

7.3.1 对伯努利似然和Beta 分布应用Metropolis 算法 112

7.3.2 Metropolis 算法总结 115

7.4 Gibbs 抽样：估计两枚硬币的偏差 115

7.4.1 两个偏差的先验、似然和后验 116

7.4.2 通过精确的数学分析方法得到后验 118

7.4.3 通过Metropolis 算法得到后验 120

7.4.4 Gibbs 抽样 121

7.4.5 偏差之间是否有区别 125

7.4.6 术语：MCMC 126

7.5 MCMC 的代表性、准确性和效率 127

7.5.1 MCMC 的代表性 127

7.5.2 MCMC 的准确性 129

7.5.3 MCMC 的效率 134

7.6 小结 134

7.7 练习 135

第8章 JAGS 137

8.1 JAGS 及其与R 的关系 137

8.2 一个完整的例子 138

8.2.1 加载数据 140

8.2.2 定义模型 141

8.2.3 初始化链 142

8.2.4 生成链 144

8.2.5 诊断链 145

8.3 常用分析的简化脚本 147

8.4 示例：偏差之间的差异 148

8.5 用JAGS 从先验分布中抽样 150

8.6 JAGS 中可用的概率分布 152

8.7 在runjags 中利用并行过程进行快速抽样 153

8.8 扩展JAGS 模型时的提示 155

8.9 练习 156

第9章 层次模型 157

9.1 一个铸币厂的一枚硬币 158

9.2 一个铸币厂的多枚硬币 164

9.2.1 网格近似法得到的后验分布 165

9.2.2 一个实际的模型与MCMC 168

9.2.3 用JAGS 实现 170

9.2.4 示例：触摸疗法 171

9.3 层次模型中的收缩 176

9.4 使JAGS 加速 178

9.5 扩展层次结构：按类别划分的被试 179

9.6 练习 186

第 10章 模型比较与层次建模 190

10.1 一般形式与贝叶斯因子 190

10.2 示例：两个铸币厂 192

10.2.1 数学分析的解法 193

10.2.2 网格近似的解法 194

10.3 MCMC 的解法 196

10.3.1 用无层次的MCMC计算各模型的边际似然 196

10.3.2 用有层次的MCMC计算模型的相对概率 199

10.3.3 JAGS 中具有不同“噪声”分布的模型 207

10.4 预测：模型平均 208

10.5 自然地考虑模型复杂度 209

10.6 对先验分布非常敏感 211

10.7 练习 213

第 11章 零假设显著性检验 214

11.1 从良好的计划出发 216

11.1.1 p 值的定义 216

11.1.2 固定了N 的计划 218

11.1.3 固定了z 的计划 220

11.1.4 固定了持续时间的计划 222

11.1.5 进行多次检验的计划 223

11.1.6 深思 225

11.1.7 贝叶斯数据分析 226

11.2 先验知识 227

11.2.1 NHST 分析 227

11.2.2 贝叶斯数据分析 227

11.3 CI 和HDI 229

11.3.1 CI 取决于计划 229

11.3.2 贝叶斯HDI 234

11.4 多重比较 235

11.4.1 NHST 实验总体误差校正 235

11.4.2 无论你怎么看，都只需要一个贝叶斯后验 237

11.4.3 贝叶斯数据分析如何减少虚假警报 237

11.5 抽样分布有什么好处. 238

11.5.1 规划实验 238

11.5.2 探索模型预测率（后验预测检验） 239

11.6 练习 239

第 12章 检验零假设的贝叶斯方法 242

12.1 参数估计的方法 242

12.1.1 实际等价区域 243

12.1.2 一些例子 245

12.2 模型比较的方法 248

12.2.1 硬币是否公平 248

12.2.2 不同的组之间是否相等 251

12.3 参数估计与模型比较的联系 255

12.4 参数估计还是模型比较 256

12.5 练习 256

第 13章 目标、功效与样本量 259

13.1 想得到功效 259

13.1.1 目标与障碍 259

13.1.2 功效 260

13.1.3 样本量 262

13.1.4 目标的其他表达法 263

13.2 计算功效与样本量 264

13.2.1 当目标是排除零假设值时 264

13.2.2 R 中的数学分析解法与实现 265

13.2.3 当目标是精度时 267

13.2.4 功效的蒙特卡罗估计 269

13.2.5 理想或真实数据的功效 271

13.3 序列检验与精度目标 277

13.3.1 序列检验的例子 278

13.3.2 序列检验的一般表现 280

13.4 讨论 284

13.4.1 功效与多重比较 284

13.4.2 功效：前瞻性、回顾性和重复性 284

13.4.3 功效分析要求模拟数据具有真实性 285

13.4.4 规划的重要性 285

13.5 练习 286

第 14章 Stan 288

14.1 HMC 抽样 289

14.2 安装Stan 294

14.3 一个完整的示例 294

14.3.1 重复使用编译后的模型 296

14.3.2 Stan 模型定义的总体结构 296

14.3.3 像Stan 那样思考对数概率 297

14.3.4 在Stan 中对先验抽样 298

14.3.5 常用分析的简化脚本 298

14.4 在Stan 中自上而下地定义模型 299

14.5 局限性 300

14.6 练习 300

第三部分 广义线性模型

第 15章 广义线性模型概述 304

15.1 变量类型 304

15.1.1 预测变量和被预测变量 305

15.1.2 尺度类型：计量、顺序、名义和计数 305

15.2 多个预测变量的线性组合 307

15.2.1 单个计量预测变量的线性函数 307

15.2.2 计量预测变量的加法组合 308

15.2.3 计量预测变量的非加法交互作用 309

15.2.4 名义预测变量 311

15.3 从预测变量的组合到充满噪声的被预测变量的连接 316

15.3.1 从预测变量到被预测变量的集中趋势 316

15.3.2 从被预测变量的集中趋势到充满噪声的数据 319

15.4 广义线性模型的形式化表达 322

15.5 练习 323

第 16章 单组或两组的计量被预测变量 325

16.1 估计正态分布的均值和标准差 325

16.1.1 数学分析的解法 327

16.1.2 JAGS 中的MCMC 近似法 329

16.2 离群值与稳健估计：t 分布 332

16.2.1 在JAGS 中使用t 分布 335

16.2.2 在Stan 中使用t 分布 338

16.3 两组 341

16.4 其他噪声分布和数据转换 344

16.5 练习 345

第 17章 具有单个计量预测变量的计量被预测变量 347

17.1 简单线性回归 347

17.2 稳健线性回归 349

17.2.1 JAGS 的稳健线性回归 352

17.2.2 Stan 的稳健线性回归 355

17.2.3 Stan 还是JAGS 356

17.2.4 解释后验分布 356

17.3 群组中个体的层次回归 357

17.3.1 JAGS 中的模型与实现 358

17.3.2 后验分布：收缩与预测 361

17.4 二次趋势和加权数据 361

17.4.1 结果与解释 365

17.4.2 进一步扩展 365

17.5 模型扩展的过程与风险 366

17.5.1 后验预测检验 366

17.5.2 扩展JAGS 或Stan 模型的步骤 367

17.5.3 添加参数的风险 367

17.6 练习 369

第 18章 具有多个计量预测变量的计量被预测变量 372

18.1 多重线性回归 372

18.1.1 相关预测变量的风险 373

18.1.2 模型与实现 376

18.1.3 后验分布 378

18.1.4 冗余的预测变量 379

18.1.5 有信息的先验、稀疏数据和相关的预测变量 383

18.2 计量预测变量的乘法交互作用 384

18.3 回归系数的收缩 388

18.4 变量选择 392

18.4.1 先验的模糊程度对包含概率有巨大影响 395

18.4.2 层次收缩的变量选择 397

18.4.3 报告什么结果，得出什么结论 400

18.4.4 注意：计算方法 401

18.4.5 注意：交互变量 401

18.5 练习 402

第 19章 具有单个名义预测变量的计量被预测变量 404

19.1 描述多组计量数据 405

19.2 传统方差分析 406

19.3 层次贝叶斯方法 407

19.3.1 在JAGS 中实现 408

19.3.2 示例：交配与死亡 410

19.3.3 对比 412

19.3.4 多重比较与收缩 414

19.3.5 两组的情况 414

19.4 加入一个计量预测变量 415

19.4.1 示例：交配、死亡和大小 416

19.4.2 类似于常规的ANCOVA 417

19.4.3 与层次线性回归的关系 418

19.5 非齐性方差与离群值稳健性 418

19.6 练习 423

第 20章 具有多个名义预测变量的计量被预测变量 426

20.1 用多个名义预测变量描述多组计量数据 426

20.1.1 交互作用 427

20.1.2 传统方差分析 429

20.2 层次贝叶斯方法 429

20.2.1 在JAGS 中实现 430

20.2.2 示例：仅仅是钱 431

20.2.3 主效应对比 435

20.2.4 交互作用对比和简单效应 436

20.3 转换尺度可以改变交互作用、同质性和正态性 437

20.4 非齐性方差与离群值稳健性 40

20.5 被试内设计 443

20.5.1 为什么使用被试内设计，以及为什么不使用 445

20.5.2 裂区设计 446

20.6 模型比较方法 451

20.7 练习 452

第 21章 二分被预测变量 455

21.1 多个计量预测变量 455

21.2 解释回归系数 461

21.3 稳健逻辑斯谛回归 465

21.4 名义预测变量 468

21.5 练习 474

第 22章 名义被预测变量 476

22.1 softmax 回归 476

22.2 条件逻辑斯谛回归 480

22.3 JAGS 中的实现 483

22.4 模型的推广和变化 490

22.5 练习 490

第 23章 顺序被预测变量 492

23.1 使用潜在的计量变量对顺序数据建模 492

23.2 单组的情况 495

23.3 两组的情况 500

23.4 计量预测变量的情况 504

23.5 后验预测 513

23.6 推广和扩展. 514

23.7 练习 515

第 24章 计数被预测变量 517

24.1 泊松指数模型 517

24.2 示例：头发颜色 523

24.3 示例：交互作用对比、收缩和综合检验 524

24.4 列联表的对数线性模型 526

24.5 练习 526

第 25章 后备箱里的工具 530

25.1 报告贝叶斯数据分析的结果 530

25.2 计算HDI 的函数 532

25.3 重新参数化 535

25.4 JAGS 中的缺失数据 537

25.5 接下来呢 541