推荐系统：产品与算法解析

本书以媒介变迁为整体脉络，通过几类推荐产品的发展趋势来探讨推荐产品创新的核心驱动力，以及由具体产品特性引发的技术变革。

全书内容分为5部分。第一部分从宏观视角探讨推荐产品从0到1进行创新的产品思路和技术思路；第二部分介绍革新传统纸质媒介的新闻推荐和资讯推荐，包括关键算法设计和产品设计；第三部分介绍构建线上社交网络的社交和社区推荐，以及如何通过协同过滤算法模拟社交网络；第四部分从产品、生态和算法设计的角度，介绍革新传统影视行业的视频推荐；第五部分以阿里推荐产品及其新兴的竞争产品为例，介绍革新传统货架电商的商品推荐。

适读人群 ：推荐系统如今已经广泛存在于各互联网产品中，本书适合互联网公司的产品、技术和运营人员，创业者、企业决策者，以及对推荐系统感兴趣的群体。

1. 创新性：推荐系统如今已经广泛存在于各互联网产品中，本书从产品视角出发梳理推荐系统在各领域中的产品设计、经典技术和最新技术的发展历程，以及雅虎、谷歌、YouTube、阿里、小红书、字节跳动等大型互联网公司的解决方案。

2. 专业性：本书作者王超曾任百度杰出架构师，理论高度与实践经验俱佳，且因其代表作《计算广告》而拥有良好的口碑和知名度。

3. 系统性与实用性：本书先从宏观视角讲解推荐产品从0到1的破局之道，再深入到信息推荐、社交和社区推荐、视频推荐、电商推荐这4类典型推荐系统中讲解产品与算法设计，以及国内外企业在推荐领域的实践。

第 一部分　推荐产品的破局之道

第 1章　产品创新引领的供给侧变革 3

1.1　媒介创新比内容更重要 3

1.1.1　媒介变迁的趋势展望 3

1.1.2　推荐产品的演化方向 6

1.2　把控上游的创作工具 9

1.2.1　创作工具的战略价值 9

1.2.2　策采编发的全链路重塑 11

1.3　激励相容的生态机制创新 13

1.3.1　从广告拍卖机制说起 13

1.3.2　推荐中的生态机制设计 15

第 2章　技术创新引领的供给侧变革 18

2.1　殊途的CV与NLP范式 18

2.1.1　从人工特征到CNN结构 19

2.1.2　从专家系统到RNN结构 21

2.2　走向融合的CV与NLP范式 25

2.2.1　从注意力机制到Transformer 25

2.2.2　只需Transformer的内容理解 30

2.2.3　自回归、生成对抗和扩散范式下的内容生成 33

2.2.4　大模型时代的推荐产业变革 39

第3章　从产品视角看需求侧增长 43

3.1　从AARRR模型看用户增长 43

3.1.1　获客渠道的选择 44

3.1.2　激活的定义和误区 46

3.1.3　从留存曲线看产品优化 47

3.1.4　产品的商业化变现 49

3.2　从网络效应视角看用户增长 50

3.2.1　从网络效应看推荐产品演进 50

3.2.2　供需匹配的破局策略 53

3.2.3　理解网络效应时的常见误区 55

第4章　E&E视角下的新用户推荐 58

4.1　单状态假设下的Bandit策略 58

4.1.1　MAB问题的定义与评价 58

4.1.2　主流Bandit策略介绍 60

4.2　MDP假设下的模型RL方法 63

4.2.1　从通盘决策的AlphaGo说起 63

4.2.2　从模型RL视角看新用户推荐 67

4.2.3　基于模型RL的实践思路 68

第5章　元学习视角下的新用户推荐 72

5.1　快速自适应参数的范式 72

5.1.1　模型无关的MAML方法 72

5.1.2　MAML方法的推荐实践 74

5.2　基于比较归纳的范式 77

5.2.1　从度量学习到对比学习 77

5.2.2　比较归纳方法的推荐实践 80

5.3　仿生记忆机制的范式 82

5.3.1　从神经图灵机到大模型 82

5.3.2　仿生记忆方法的推荐实践 86

第6章　A/B测试是增长的银弹吗 88

6.1　A/B测试的原理和优势 88

6.1.1　A/B测试的原理 88

6.1.2　A/B测试的优势 91

6.2　滥用A/B测试时的增长困境 92

6.2.1　难以优化留存等长期目标 92

6.2.2　难以反向优化出新市场 95

6.2.3　难以做出真正的产品创新 97

第二部分　信息推荐

第7章　瞬息万变的新闻推荐 103

7.1　曾统治硅谷的雅虎 103

7.1.1　雅虎门户的发展史 103

7.1.2　雅虎新闻推荐的兴衰 105

7.2　针对突发新闻的实时推荐策略 107

7.2.1　非稳态分布下的E&E策略 107

7.2.2　快慢结合的模型更新范式 109

7.2.3　让特征动起来的树模型 111

第8章　获取信息的资讯推荐 114

8.1　屡失良机的谷歌推荐 114

8.1.1　对推荐产品崛起的迟钝 114

8.1.2　困于搜索思维的推荐生态 117

8.2　相关性需求下的信息检索技术 120

8.2.1　语义匹配的主流技术 120

8.2.2　近无损全库遍历的ANN检索 123

8.3　从峰终定律看排序策略设计 125

8.3.1　不同需求模式下的体验设计 125

8.3.2　明确需求下的NDCG优化 127

8.3.3　多元需求下的多样性优化 131

第三部分　社交和社区推荐

第9章　永远年轻的社交产品 137

9.1　社交推荐中优化的关键 137

9.1.1　强化社交效用时的原则 137

9.1.2　优化内容效用的路径选择 139

9.2　从Facebook看社交效用优化 140

9.2.1　更高效的社交资本积累 140

9.2.2　更高效的社交关系维系 143

9.3　从交友产品看双向推荐问题 144

9.3.1　满意即流失的婚恋场景 144

9.3.2　促成线上双向匹配的Tinder 145

9.3.3　促成线下稳定婚配的Hinge 147

9.4　社交场景中的推荐策略 148

9.4.1　社交媒体中的推荐策略 148

9.4.2　稳定婚配假设下的GS算法 149

9.4.3　传统推荐的双向匹配改造 151

第 10章　春耕秋收的社区产品 154

10.1　社区产品的培育原则 154

10.1.1　以人为核心的原创内容 154

10.1.2　强化关系的稳定建立 156

10.1.3　引导角色的良性分化 158

10.2　从媒介侧创新的Instagram 161

10.2.1　从文到图的媒介变革 161

10.2.2　恰到好处的创作工具 162

10.2.3　从创作工具向社区转型 164

10.3　无为而治的Reddit 165

10.3.1　显式组织的社区结构 165

10.3.2　简单健壮的投票机制 167

第 11章　模拟社交的协同过滤 169

11.1　推荐系统的起源 169

11.1.1　更相信人的智慧的Tapestry 169

11.1.2　仿真协同关系的GroupLens 170

11.2　对协同关系的仿真建模 172

11.2.1　从复杂网络看推荐系统 172

11.2.2　对局部近邻关系的仿真 177

11.2.3　对全局拓扑结构的仿真 179

11.3　基于仿真关系的协同推荐 183

11.3.1　协同过滤的核心优势 183

11.3.2　应用协同关系的在线环节 185

第四部分　视频推荐

第 12章　降低决策成本的电影推荐 189

12.1　电影推荐的传奇奈飞 189

12.1.1　奈飞对百视达的逆袭 189

12.1.2　奈飞对自我的不断革新 191

12.2　优化线下体验的评分预测 193

12.2.1　评分预测产品的兴衰 193

12.2.2　评分预测算法的演进趋势 195

第 13章　和电视竞争的短视频推荐 200

13.1　激励相容的YouTube生态机制 200

13.1.1　多方受益的Content　ID机制 201

13.1.2　稳固自建生态的YPP机制 202

13.1.3　革新广告效率的TrueView机制 203

13.2　直面海量候选的深度学习召回 204

13.2.1　召回的里程碑：YouTubeDNN 205

13.2.2　索引与模型联训的复杂模型 207

13.2.3　提升模型鲁棒性的样本设计 210

13.3　优化长期时长收益的强化学习 212

13.3.1　YouTube优化目标的变迁史 213

13.3.2　价值方法的原理和实践 216

13.3.3　策略方法的原理和实践 220

第 14章　以快打慢的微视频推荐 225

14.1　以音乐为内核的抖音 225

14.1.1　放弃内容时长的反向创新 225

14.1.2　从行为心理学看产品设计 227

14.1.3　以音轨为模板的爆款复制 229

14.2　不求最优化，但求多目标 230

14.2.1　道法自然的多目标融合 231

14.2.2　触类旁通的多任务学习 234

第五部分　电商推荐

第 15章　历久弥新的电商推荐产品 241

15.1　从阿里看货架电商的演进 241

15.1.1　逆袭易趣的关键胜负手 241

15.1.2　高筑C端流量的护城河 242

15.2　从媒介侧发起变革的新电商 245

15.2.1　用商一体的内容型电商 245

15.2.2　构建信任的直播热媒介 247

15.2.3　撬动传播的轻品类电商 249

第 16章　真金白银的电商推荐技术 252

16.1　量化即时回报的优化思路 252

16.1.1　起源于广告的点击率预估 252

16.1.2　正例稀疏的转化率预估 260

16.1.3　和NLP同源的序列信号建模 264

16.2　看重长期回报的优化思路 270

16.2.1　GMV的优化路径拆解 271

16.2.2　新兴电商的差异化策略 273