AB实验

本书是AB实验领域的标准化著作，它将带领你快速理解AB实验原理、掌握AB实验方法、搭建AB实验平台、塑造基于数据和实验的企业文化，高效开展AB实验、实现用AB实验驱动增长。
作者是某BAT大厂的数据科学家，在数据产品、AB实验等数据科学领域有10余年经验，亲自主导了该厂AB实验平台的搭建和AB实验产品的设计与分析，积累了丰富的经验。
学习本书，你将收获以下知识和技能：
· AB实验的基础知识、关键问题及其挑战；
· AB实验的统计学知识、参与单元、随机分流；
· AB实验的SRM问题、灵敏度、长期影响；
· AB实验的产品指标体系、评估指标体系；
· AB实验的平台建设、组织和文化建设；
· AB实验的增长实践和解决方案；
· AB实验的难点和局限性；
· 因果分析方法和用户调查分析方法

本书内容具有以下3个特点：
（1）全面系统、主次分明：如上所述，本书涵盖AB实验理论、实践的方方面面，重点放在对AB实验关键环节的深入理解、关键问题的解决方案上，力争把关键问题剖析到位，而不是面面俱到地泛泛而谈；
（2）案例丰富、算例清晰：重要知识点都配有翔实的行业案例，帮助读者通过应用场景理解AB实验；以深入浅出的方式阐述了AB实验涉及的复杂数理知识；
（3）全球视野、与时具进：不仅总结了国内外优秀企业的AB实验案例，而且将全球AB实验领域先进的研究成果和案例融入了书中。
通过本书的深入学习，你将成为为一个实验领域的专家，完全可以处理常规的AB实验中的大部分问题，帮助你更好地迭代产品，实现产品的优化和业务的增长。

刘玉凤

毕业于清华大学，获机器学习和数据挖掘专业硕士学位，某互联网大厂高级数据专家和数据科学家，有多年策略产品和数据产品经验。曾负责该厂AB实验平台的搭建和运营，在AB实验领域积累了丰富的经验。

专注数据领域，实践过丰富的业务类型，包括智能硬件、O2O、信息流、出行服务等，在多个业务中担任过数据负责人，不但拥有丰富的2C数据驱动增长的成功经验，还拥有多个2B数据赋能业务的落地经验。

多次受邀在MUSP、产品经理大会等行业大会上演讲，是领域内难得的兼具深度和广度，理论和实践都很扎实的专家。

擅长的技术领域如下。

◆ 全链路数据建设：数据埋点、数据治理、BI建设、指标体系。

◆ 数据分析与用户洞察：相关性分析、因果性分析、统计学、用户研究等。

◆ 策略和模型：用户增长策略、机器学习和深度学习模型等在业务中的应用。

◆ AB实验：核心原理、平台建设、实验分析。

（1）作者背景深厚：作者在某BAT大厂从事策略产品、数据产品、AB实验等数据科学相关工作10余年。
（2）作者经验丰富：作者负责了某BAT大厂AB实验平台的搭建、大量AB实验产品的设计与分析，同时分析了国内外知名企业的优秀AB实验实践。
（3）全面系统、主次分明：本书涵盖AB实验理论、实践的方方面面，重点放在对AB实验关键环节的深入理解、关键问题的解决方案上，力争把关键问题剖析到位，而不是面面俱到地泛泛而谈。
（4）案例丰富、算例清晰：重要知识点都配有翔实的行业案例，帮助读者通过应用场景理解AB实验；以深入浅出的方式阐述了AB实验涉及的复杂数理知识。
（5）全球视野、与时具进：不仅总结了国内外优秀企业的AB实验案例，而且将全球AB实验领域先进的研究成果和案例融入了书中。

为什么要写这本书
AB实验作为利用数据驱动增长的重要手段，可以在推断因果效应的同时量化策略效果，在产品创新、优化和改进中发挥着越来越重要的作用。AB实验是一项复杂的系统工程。如果没有坚实的理论基础、强大的平台能力、丰富的实践经验作为支撑，那么很容易得出错误的AB实验结论，进而让组织做出错误的决策，错失发展机会。
从我的亲身经历和对大量企业的调研了解来看，当前有相当多的从业者，甚至大型互联网企业的技术人员，对AB实验的理解还处于比较粗浅的阶段，甚至存在很多误解。许多企业的AB实验实践停留在初级阶段，对于如何高效开展AB实验、构建基于数据和实验的企业文化，还没有形成成熟的方法论，导致实验过程反复和低效。同时，在市面上，系统阐述AB实验原理、平台建设、实践、文化建设等方面的图书非常少，大量希望学习AB实验的读者找不到有效的渠道来获得专业知识。
我曾参与过多种类型业务场景下AB实验的设计与分析，也负责过大型AB实验平台的建设。通过学习国内外公司先进的经验，并在实践中不断尝试，我积累了丰富的AB实验经验。本着分享、交流、学习的心态和初衷，我撰写了本书。AB实验是一个系统性的工程，涉及的知识非常广泛。本书以AB实验相关的知识为重点，扩展了与AB实验紧密相关的内容，比如指标体系建设、AB实验之外的因果分析方法、用户调查方法等。
希望本书能对广大正在践行AB实验的读者有所启发，加深行业对于AB实验的理解，提升AB实验实践的科学性，促进AB实验文化的发展。希望读者能借助AB实验这个有力的工具，成功实现产品增长。
读者对象
本书适合所有对AB实验有需求的企业管理者、相关从业者，以及对于数据驱动增长、数据科学等领域感兴趣的读者。目前大部分AB实验集中在互联网行业，因为其天生具有进行在线AB实验的优势和强烈需求。我们以典型的互联网公司中主要角色的视角来看本书对不同的角色的主要价值。
企业管理者和决策者：对于企业管理者来说，如果企业当前还没有AB实验，他们需要确定企业当前阶段是否需要引入AB实验，以及以什么样的方式引入（自建或采购）。因为涉及企业当前的财务、人力状况以及产品未来的规划，所以只能由他们做出决策。对于已经在进行AB实验的企业，管理者和决策者需要了解AB实验的原理以及AB实验是如何运行、如何分析的，充分了解后他们在阅读AB实验报告的时候才不会被数据戏法所欺骗。本书介绍的很多案例中，针对同一个实验，实验报告如果采用不同的口径或者指标，得出的结果是完全不一样的，决策者必须学会自己看数据和实验报告。
产品经理和运营人员：对于有增长需求且适合进行AB实验的产品来说，产品经理和运营人员就是AB实验的主要发起者。他们需要对自己策划的产品功能、策略、运营活动、方案进行测试，以保证产品的优化和迭代按照组织期望的方向进行。只有具备了系统的AB实验知识，才能设计出合理的AB实验方案，并能够准确判断实验是否正常运行，实验收集数据是否可用且满足实验评估的要求。如果没有扎实的实验知识，得出的实验结果很难保证是科学的、可信的。
数据分析师、数据科学家等数据工作者：AB实验分析是数据分析中一个非常重要的方向，很多公司AB实验的结果是由数据分析师统一输出的，以保证客观性和准确性。在互联网领域，数据分析工作中AB实验分析的比重甚至可能超过30%。不懂AB实验分析的数据分析师在就业竞争中会处于明显的劣势。对于数据科学方向的从业人员来说，有两个区别于传统数据分析的关键点，一个是模型构建能力，另一个就是实验设计和解析能力。在许多大型公司中，数据科学部门肩负着构建实验团队和实验平台以及进行实验评估和实验文化推进的任务。可以说掌握AB实验相关的知识是数据科学家必备的。
前后端、算法等技术开发人员：AB实验的实现涉及整个产品研发链的很多环节，比如前端涉及UI和交互逻辑的下发，后端涉及分流逻辑、触发时机的实现，算法研发更是要频繁使用实验平台进行AB实验。如果这些技术实现者系统地掌握了AB实验的相关知识，那么他们不仅能更好地设计和规划技术架构，而且在代码出现问题的时候，也能通过原理的分析快速定位和修复问题。同时，开发人员也可以用AB实验来测试不同的架构、代码方案的性能等。
本书特色
本书有以下几个主要特色。
内容全面系统、主次分明。本书以AB实验为中心，包含AB实验方方面面的知识，不仅有AB实验相关的理论基础知识、平台建设、文化建设，还涵盖指标体系建设、增长实践、AB实验的局限性以及因果推断、用户研究等内容，内容全面且系统。同时，本书将重点放在对AB实验关键环节的深入理解、关键问题的解决上，力争把问题从原理和实践角度剖析到位，而不是面面俱到地泛泛而谈。
案例丰富，算例清晰，理论扎实又容易读懂。书中重要的知识点都配有翔实的行业实践案例，帮助读者更深入地理解应用场景。我还给出了生动易懂的例子以及严密公式的推导，以深入浅出的方式阐述AB实验涉及的复杂数理知识。比如，统计学中假设检验中的P值、显著性水平等问题，AB实验为什么能进行因果推断，以及需要具备什么条件等。
视野广阔，内容与时俱进，具有先进性。在写作本书时，我对国际前沿热点、新近实践经验、研究成果、最新行业动态进行了持续的跟踪和解析，同时调研了国内多家大型互联网公司的AB实验实践情况，力求让本书具有全球视角下与时俱进的指导意义。
本书主要内容
本书分为6个部分，共21章。
第一部分　了解AB实验（第1章），主要从AB实验的原理、行业案例出发，帮助读者建立对AB实验的基本认知，并从应用视角阐述AB实验的优势、价值，让读者了解学习AB实验的原因。
第二部分　深入AB实验（第2～9章），对于AB实验中的关键问题和挑战、实践中容易出现的问题、较难理解的环节进行深入细致的解析，包括统计学相关、实验分流、实验灵敏度和长期影响评估等方面。
第三部分　AB实验评估指标体系（第10、11章），主要对产品的指标体系和实验评估指标体系进行系统的阐述，介绍了从指标设计、评估、进化，到如何选择好的实验评估指标体系和合并OEC指标。指标体系既是数据体系的基础，也是数据驱动的抓手。没有好的指标体系，就无法计算和度量，数据就无法体现真正的价值。
第四部分　AB实验的基础建设（第12～14章），主要讨论了如何构建AB实验体系，包括实验平台建设相关的工作，以及实验组织和文化应该如何建设，总结了AB实验解决方案框架，以及如何适配不同的行业、产品和业务场景。
第五部分　基于AB实验的增长实践（第15～18章），以增长为目标，围绕AB实验，通过构建想法、验证想法、沉淀想法介绍了AB实验如何在实践中落地。
第六部分　AB实验的局限与补充（第19～21章），重点介绍了AB实验的局限性，以及在不能进行AB实验的时候，还有哪些方法可以进行归因分析和用户调查。
分角色重点导读
分角色重点导读的目的是帮助那些时间有限或者已经有一定基础的读者进行重点学习、快速了解。建议对AB实验了解还比较粗浅或者时间充裕的读者按照顺序学习。
篇章章名决策者产品经理和运营人员数据工作者研发
人员
第一部分第1章AB实验的基本原理和应用√√√√
第二部分第2章AB实验的关键问题√√√√
第3章AB实验的统计学知识√
第4章AB实验参与单元√√
第5章AB实验的随机分流√√√
第6章AB实验的SRM问题√
第7章AA实验√
第8章AB实验的灵敏度√√√
第9章AB实验的长期影响√√√
第三部分第10章产品指标体系√√√√
第11章实验评估指标体系√√√√
第四部分第12章开展AB实验的基础条件√√√
第13章AB实验平台的建设√√√√
第14章实验组织和文化建设√√√
第五部分第15章构建想法：形成产品假设√√√
第16章验证想法：AB实验实践√√
第17章沉淀想法：实验记忆√√√
第18章基于AB实验的增长实践解决方案√√√√
第六部分第19章AB实验的局限性√√√√
第20章AB实验之外的因果分析方法√√
第21章常用的用户调查分析方法√√

资源和勘误
由于本人水平有限，书中难免会有一些不当之处，恳请批评指正。读者可以通过微信公众号“AB实验与产品增长”中的“交流”板块与我联系，真挚期待得到你的反馈。由于篇幅有限，一些内容无法放入书中，比如图片、论文、案例等相关学习资料。读者可以在微信公众号“AB实验与产品增长”中下载这些内容。
致谢
感谢我的家人、朋友的支持和理解！这本书完全是我利用业余时间编写的，牺牲了大量陪伴家人和朋友的时间。在写书期间，你们不仅为我创造了良好的环境让我安心写作，还帮助我进行校对和审阅！没有你们的支持，完成这20多万字的撰写会更加困难。
我将本书献给AB实验践行者、数据科学从业者、产品增长实践者，以及所有致力于数据驱动业务的朋友。正是你们的不懈努力和实践，才使我们对数据科学、AB实验的理解不断深入！

刘玉凤
2022年5月

前言
第一部分　了解AB实验
第1章　AB实验的基本原理和应用002
1.1　什么是AB实验002
1.1.1　AB实验的定义002
1.1.2　AB实验的类型004
1.2　AB实验的3个基本要素005
1.2.1　实验参与单元005
1.2.2　实验控制参数007
1.2.3　实验指标008
1.3　AB实验的2个核心价值009
1.3.1　定性因果：验证因果关系，确保方向正确009
1.3.2　定量增长：实践数据驱动，精细成本收益012
1.4　AB实验的2个关键特性015
1.5　AB实验行业应用016
1.5.1　AB实验应用场景016
1.5.2　AB实验应用案例018
第二部分　深入AB实验
第2章　AB实验的关键问题026
2.1　实验参与对象的3个问题027
2.2　实验随机分流的3个问题027
2.3　实验指标的2个问题028
2.4　实验分析和评估的3个问题028
第3章　AB实验的统计学知识031
3.1　随机抽样和抽样分布032
3.2　区间估计和置信区间037
3.3　样本容量和边际误差038
3.3.1　均值类指标038
3.3.2　比率类指标040
3.4　假设检验041
3.4.1　为什么需要假设检验041
3.4.2　如何进行假设检验042
3.4.3　第一类错误、第二类错误和功效047
3.4.4　如何计算功效049
3.5　非参数检验051
3.6　方差估计问题052
3.6.1　变化绝对差和相对差的方差估计053
3.6.2　比率类指标的方差估计054
3.6.3　其他指标的方差估计055
3.6.4　异常点对方差估计的影响055
3.7　多重测试问题056
3.7.1　什么是多重测试问题056
3.7.2　如何避免多重测试056
3.7.3　如何控制多重测试问题058
第4章　AB实验参与单元061
4.1　实验参与单元的选择061
4.1.1　常见的实验参与单元062
4.1.2　实验参与单元粒度与实验评估066
4.1.3　用户级别的实验参与单元067
4.2　实验参与单元的SUTVA问题070
4.2.1　什么是SUTVA070
4.2.2　为什么需要让SUTVA成立071
4.2.3　导致SUTVA不成立的原因073
4.2.4　如何解决SUTVA不成立的问题075
4.3　最小实验参与单元数量079
第5章　AB实验的随机分流083
5.1　单层分流模式083
5.2　正交分层模式084
5.2.1　正交性问题085
5.2.2　分层问题087
5.3　散列算法089
第6章　AB实验的SRM问题092
6.1　什么是SRM问题092
6.2　导致SRM问题的原因093
6.2.1　部署阶段093
6.2.2　执行阶段097
6.2.3　数据处理和分析阶段098
6.3　SRM指标计算和定位099
6.3.1　SRM指标计算099
6.3.2　定位SRM问题099
第7章　AA实验101
7.1　AA实验的意义101
7.1.1　控制第一类错误102
7.1.2　确保用户同质104
7.1.3　数据指标对齐105
7.1.4　估计统计方差106
7.2　如何运行AA实验108
7.2.1　什么时候运行AA实验108
7.2.2　AA实验失败的常见原因110
第8章　AB实验的灵敏度112
8.1　什么是实验灵敏度112
8.2　如何提升实验灵敏度113
8.3　选择指标114
8.3.1　选择方差较小的评估指标114
8.3.2　标准化评估指标115
8.4　选择实验参与对象116
8.4.1　采用更细粒度的单元随机化对象116
8.4.2　使用触发分析116
8.5　选择实验分组117
8.5.1　使用分层、控制变量或CUPED方法117
8.5.2　设计配对实验119
8.6　定向触发技术和评估119
8.6.1　触发的方式120
8.6.2　触发范围变化121
8.6.3　触发实验的分析123
8.6.4　触发检验125
8.6.5　触发技术的局限性125
8.7　如何验证实验灵敏度的提升127
第9章　AB实验的长期影响129
9.1　长短期影响不一致的原因130
9.2　评估长期影响的意义133
9.3　如何评估长期影响134
9.3.1　长周期实验134
9.3.2　保留实验和反转实验136
9.3.3　后期分析法137
9.3.4　时间交错实验法139
9.3.5　固定群组分析法140
9.3.6　长期影响的代理指标法141
第三部分　AB实验评估指标体系
第10章　产品指标体系145
10.1　什么是指标体系145
10.2　设计指标146
10.2.1　基于OKR的分级法147
10.2.2　OSM模型法153
10.2.3　指标设计和开发技巧154
10.3　评估指标156
10.3.1　信息增益156
10.3.2　因果关系158
10.3.3　长期有效性158
10.4　进化指标159
10.5　指标分类162
10.6　指标体系设计案例165
第11章　实验评估指标体系169
11.1　实验评估指标的3个基本条件169
11.2　选择更好的实验评估指标170
11.2.1　综合指向性与灵敏性170
11.2.2　从业务视角出发172
11.2.3　考虑应用和工程174
11.3　将关键指标合并为OEC175
11.3.1　如何建立OEC176
11.3.2　OEC的关键属性179
11.3.3　构建OEC的注意事项179
11.3.4　构建OEC的案例180
第四部分　AB实验的基础建设
第12章　开展AB实验的基础条件187
12.1　决策层认知187
12.2　基础工具建设188
12.2.1　购买外部服务189
12.2.2　自建平台190
12.3　文化制度建设191
第13章　AB实验平台的建设192
13.1　AB实验平台架构193
13.2　实验管理功能194
13.2.1　实验创建管理195
13.2.2　实验配置管理196
13.2.3　实验操作管理197
13.2.4　实验权限管理198
13.3　实验部署功能199
13.3.1　流量分配大小200
13.3.2　流量分配时机202
13.3.3　实验放量节奏203
13.3.4　不同类型实验的部署205
13.3.5　实验部署中的其他问题209
13.4　实验数据处理和分析211
13.4.1　数据源212
13.4.2　数据处理214
13.4.3　指标定义和数据计算215
13.4.4　数据可视化219
13.4.5　数据分析221
13.5　AB实验服务通用框架221
第14章　实验组织和文化建设224
14.1　决策层的支持与参与226
14.2　实验专家团队的带领与教育228
14.3　业务团队实验骨干的深入与传递229
14.4　全体参与和扩大影响231
14.5　国内AB实验的开展情况233
14.6　实验成熟度模型236
第五部分　基于AB实验的增长实践
第15章　构建想法：形成产品假设240
15.1　产品策划找方向240
15.2　数据洞察找瓶颈245
第16章　验证想法：AB实验实践252
16.1　实验假设252
16.1.1　目标性252
16.1.2　可归因253
16.1.3　可复用254
16.2　实验设计255
16.2.1　实验样本选择255
16.2.2　实验指标设计257
16.2.3　实验流量计算258
16.2.4　实验周期预估260
16.3　实验运行261
16.3.1　实验上线261
16.3.2　实验停止263
16.3.3　实验放量265
16.4　实验分析和理解266
16.4.1　明确实验影响范围266
16.4.2　确保实验对比人群具有可对比性270
16.4.3　实验影响评估：先总后分、从主到次272
16.4.4　通过维度细分发现问题273
16.4.5　理解实验统计学含义275
16.4.6　解读数据背后的产品逻辑277
16.5　实验决策278
16.5.1　从分析到决策278
16.5.2　3种实验结果282
16.5.3　实验报告284
第17章　沉淀想法：实验记忆285
17.1　什么是实验沉淀285
17.2　实验沉淀的价值286
17.2.1　发现策略通用性286
17.2.2　从失败中寻找机会289
17.2.3　发扬实验文化290
17.2.4　帮助理解指标290
17.3　如何进行实验沉淀291
第18章　基于AB实验的增长实践解决方案293
18.1　角色分工方案295
18.2　数据建设方案295
18.3　效果评估方案297
第六部分　AB实验的局限与补充
第19章　AB实验的局限性303
19.1　战略创新层面303
19.2　战术执行层面305
第20章　AB实验之外的因果分析方法309
20.1　匹配法310
20.1.1　匹配法的基本步骤310
20.1.2　倾向性得分方法313
20.2　工具变量法314
20.2.1　什么是工具变量314
20.2.2　案例1：教育、参军对收入的影响316
20.2.3　案例2：内容发布者与用户活跃度的关系317
20.3　面板数据法317
20.4　中断时间序列法319
20.5　断点回归法320
20.6　增益模型322
第21章　常用的用户调查分析方法325
21.1　用户日志分析326
21.2　调查问卷328
21.3　焦点小组329
21.4　用户体验研究330
21.5　人工评测330
21.6　外部数据332