在线广告：互联网广告系统的架构及算法

在线广告是一个多学科交融的领域，本书力求系统地讲解在线广告的架构和算法，让读者对在线广告有一个整体的认识。全书共15章，第1~3章介绍在线广告的发展简史、样式与创意以及广告系统的架构流程等基础知识；第4~7章从品牌广告、搜索类广告、社交类广告和视频类广告4种典型的广告出发，详细讲解广告系统的更多设计细节； 第8~14章分类讲述在线广告中的重要研究领域，包括用户数据和定向算法、点击率预估与推荐算法、在线匹配、机制设计、低质量和敏感控制、实验架构和调参，以及数据监控和效果衡量； 第15章简要介绍在线广告的发展趋势。本书可作为对在线广告感兴趣的初学者的入门书籍，也可供在线广告相关领域的从业者阅读参考。

1.稀缺性强：在线广告处在工业的前沿，其中大量的问题仍在实践中不断地探索着，且在线广告包含的内容非常广泛，但市面上对其算法进行深入而系统讲解的书籍几乎没有。

2.系统全面：作者基于在线广告多年的实践经验和对相关学术领域的持续学习研究，对其中的核心问题做了清晰的分类讲解，系统性很强，非常适合初学者系统性的学习。

3.干货满满：在线广告涉及的算法非常多，对不同领域的核心问题都有深入的理论研究，本书主要讲解各领域在现实广告系统中实施的算法，并描述其原理，非常适合相关从业者学习。

前言
　　在线广告是一个多学科交融的领域，也是互联网公司最主要的营利模式之一，涉及内容广泛，实用价值极高。伴随着互联网公司线上业务的不断更迭，相关领域从业者和学术机构研究人员已经对在线广告的各种业务痛点进行了大量深入的分析研究，但市面上系统讲解这些内容的书籍却非常少。本书尽可能以通俗易懂的语言系统地讲解互联网在线广告，包括主流业务的运作思路、常见的系统架构以及实践中的核心算法，适合对在线广告感兴趣的初学者学习。书中会对真实业务中实施的部分算法进行深入讲解，适合相关领域的从业者阅读。
　　在线广告类型很多，本书从品牌广告、搜索类广告、社交类广告和视频类广告4种较为典型的广告出发，从不同角度解读在线广告的业务思路和相关系统，它们并不是从一个维度划分的广告类型，会互有重复，但非常具有代表性，其他类型广告的业务和架构流程大同小异，可以相互参考。目前对在线广告核心内容清晰归类的书籍很少，为了使内容更加体系化，本书将在线广告涉及的主要内容及核心算法划分为用户数据和定向算法、点击率预估与推荐算法、在线匹配、机制设计、低质量和敏感控制、实验架构和调参以及数据监控和效果衡量等，希望读者阅读后能对在线广告有相对系统的认识。
　　在线广告内容非常庞杂且在快速发展中，实践中仍会不断涌现出很多新问题、新方法，需要持续地探索分析。由于作者能力有限，不能对所有问题给出全面、准确的描述，加之受时间和精力限制，书中难免有疏漏之处，若读者不吝赐教，将感激不尽。希望经过不懈的努力，使本书成为一本对初学者系统了解在线广告，对相关从业者实战有所帮助的书籍。读者可以关注公众号Chinabigdata或者关注微博“亚东爱阅读”，后期增补内容会在公众号中更新。
　　编者2019年6月

目录
第1章在线广告发展简史
1．1在线广告发展简介
1．1．1中国古代的广告
1．1．2在线广告的诞生
1．1．3搜索广告的诞生和发展
1．1．4社交和视频类广告
1．1．5Ad Network的诞生
1．1．6Ad Exchange和 TradingDesk
1．2移动广告的发展
1．3搜索广告和定价模式
1．4社交媒体广告
1．5视频广告
1．6在线广告优势
1．7在线广告规模
参考文献
第2章广告样式与创意
2．1主流广告样式
2．1．1PC端广告样式
2．1．2移动端广告样式
2．2技术驱动营销
2．3广告样式发展趋势
2．4程序化创意
2．4．1程序化创意的缘由
2．4．2程序化创意
2．5动态创意优化
参考文献
第3章广告系统架构流程
3．1投放引擎架构流程
3．1．1广告投放引擎架构
3．1．2客户系统
3．1．3内部管理平台
3．1．4基础架构及相关模块
3．1．5广告投放引擎内部模块
3．1．6工具和测试平台
3．2收入分解
3．3程序化广告技术生态
3．4Ad Network
3．4．1工作流程
3．4．2分类
3．4．3定向方式
3．4．4优势
3．4．5移动广告网络
3．5Ad Exchange
3．5．1产生背景
3．5．2工作流程
3．5．3与Ad Network的不同
3．5．4国内Ad Exchange的发展
3．6程序化售卖方式
3．7其他机制
3．7．1匿名设置
3．7．2Reserve Price
3．7．3PreTargeting
参考文献
第4章品牌广告
4．1品牌推广的意义
4．2品牌广告简介
4．2．1品牌广告
4．2．2品牌广告常见形式
4．2．3计费和购买方式
4．2．4样式和创意
4．3品牌广告的有效性
4．4品牌广告效果评估指标
4．5Benchmark
参考文献
第5章搜索类广告
5．1搜索广告简介
5．1．1搜索广告的模式
5．1．2广告投放及相关问题
5．1．3搜索广告的优势
5．2常见产品形态
5．2．1综合搜索
5．2．2定制类搜索
5．2．3图片类搜索
5．2．4内容定向
5．2．5电商类搜索
5．2．6应用商店搜索
5．2．7其他
5．3系统架构和重要模块
5．3．1广告架构
5．3．2广告账户组织结构
5．3．3广告检索流程
5．3．4预算控制
5．3．5在线匹配
5．3．6机制设计
5．3．7计费流程
5．3．8准入
5．4主流竞价机制
5．4．1GFP机制
5．4．2GSP机制
5．4．3VCG机制
5．5搜索生态
5．6GSP优化
5．6．1Weighted GSP
5．6．2Squashing
5．6．3UWR
5．6．4QWR
5．6．5Anchoring
5．6．6模型对比
5．6．7Hidden Cost
5．7长尾查询
5．8市场规模
参考文献
第6章社交类广告
6．1社交媒体
6．1．1社交网络国度
6．1．2社交网络的特点
6．1．3常见的社交应用
6．1．4社交网络影响购买行为
6．2社交广告
6．2．1常见广告类型
6．2．2定向方式
6．3基于社交关系的算法
6．3．1社交内容推荐算法
6．3．2社区分割算法
6．3．3社交内容扩散算法
6．4社交网络营销
参考文献
第7章视频类广告
7．1视频广告简介
7．1．1常见的广告类型
7．1．2售卖方式
7．1．3广告时长
7．2视频广告生态和投放流程
7．2．1视频广告生态
7．2．2广告投放流程
7．3流量预估
7．3．1优化目标
7．3．2模型特征
7．3．3特征平滑处理
7．3．4流量预估函数
7．3．5模型评估方法
7．4库存分配问题
7．5库存分配算法
7．5．1HWM
7．5．2优化调整
7．5．3反馈机制
7．5．4SHALE
7．6Pacing
7．7市场规模
参考文献
第8章用户数据和定向算法
8．1用户识别
8．1．1Cookie
8．1．2Cookie Matching
8．1．3移动端用户识别
8．1．4跨屏识别
8．2用户画像
8．3定向方式
8．4经营状况评估和优化
8．4．1评估指标
8．4．2CLV优化
8．4．3客户关系管理和使用
8．5Lookalike
8．5．1特征提取和建模
8．5．2扩展方式
8．5．3最近邻选择
8．5．4离线扩展流程
8．5．5node2vec
8．5．6实战
8．6竞价环境预估
8．7超级用户
参考文献
第9章点击率预估与推荐算法
9．1点击率预估简介
9．2点击率预估特征
9．2．1相同竞价词下其他订单的特征
9．2．2相关竞价词的CTR
9．2．3广告质量相关特征
9．2．4订单竞价词相关特征
9．2．5外部相关特征
9．2．6特征预处理
9．3预估模型
9．3．1基础模型
9．3．2L2TreeBoost+LR模型
9．3．3回归树
9．3．4Gradient Boosting
9．3．5L2TreeBoost
9．3．6特征组合
9．3．7Freshness
9．3．8数据采样
9．4模型评估方法
9．4．1KL离散算法
9．4．2AUC
9．4．3NE
9．5Bandit
9．5．1Bandit问题
9．5．2εGreedy方法
9．5．3Thompson Sampling
9．5．4UCB
9．5．5LinUCB
9．6在线学习方法
9．6．1梯度下降方法
9．6．2BGD
9．6．3SGD
9．6．4MBGD
9．6．5简单截断法
9．6．6截断梯度法
9．6．7FOBOS
9．6．8RDA
9．6．9L1FOBOS和L1RDA的对比
9．6．10FTRL
9．7推荐算法
9．8基于协同过滤的推荐
9．8．1基于用户的协同过滤算法
9．8．2基于物品的协同过滤算法
9．8．3其他相似度计算方法
9．8．4应用
9．9基于矩阵分解的推荐
9．9．1矩阵分解
9．9．2正则化
9．9．3隐性特征
9．10基于深度学习的推荐
9．10．1推荐流程
9．10．2排序
9．11广告排序性能优化
参考文献
第10章在线匹配
10．1图论基础知识
10．2在线匹配类型
10．3在线二部图匹配
10．3．1Greedy算法
10．3．2Random算法
10．3．3Ranking算法
10．4加权的在线二部图匹配
10．5Adwords
10．5．1Greedy算法
10．5．2Balance算法与Greedy算法对比
10．5．3MSVV算法
10．5．4一般情况的证明
10．6基于原始对偶的匹配
10．6．1原始对偶问题
10．6．2互补松弛性
10．6．3Greedy算法实现
10．6．4更优算法
10．7现实系统中的匹配算法
参考文献
第11章机制设计
11．1机制设计概述
11．2经典案例
11．2．1囚徒困境
11．2．2二难问题
11．2．3无怨算法
11．2．4TureView广告
11．2．5策略性投票
11．3激励兼容
11．3．1投票悖论
11．3．2阿罗不可能定理
11．4引入金钱的机制
11．4．1拍卖机制
11．4．2VCG机制
11．5激励兼容的特性
11．6贝叶斯纳什均衡
11．7竞价机制分析
11．7．1临界条件分析
11．7．2VCG机制
11．7．3Simplest GSP机制
11．7．4Weighted GSP机制
11．8拥挤控制
参考文献
第12章低质量和敏感控制
12．1作弊背景
12．1．1作弊参与者
12．1．2作弊动机
12．2广告作弊方法
12．2．1单机作弊
12．2．2黑客作弊
12．2．3有组织的网络作弊
12．2．4有组织的人工作弊
12．2．5基于大流量平台的作弊
12．3广告反作弊
12．3．1反作弊架构
12．3．2反作弊算法分类
12．4广告质量
12．5数据安全
参考文献
第13章实验架构和调参
13．1A/B testing
13．2分层实验
13．2．1分层实验方案
13．2．2实验平台
13．3实验设计和分析
13．3．1置信度
13．3．2置信区间
13．3．3最少样本数
13．3．4逐步放量
13．3．550% vs 50%
13．3．6其他因素
13．3．7对比实验局限
13．3．8参数化
13．4自动化调参
参考文献
第14章数据监测和效果衡量
14．1第三方监测
14．2效果跟踪
14．2．1归因模型
14．2．2增效测试
参考文献
第15章在线广告的发展趋势
15．1网络带来的变化
15．2未来发展趋势
15．2．1流量入口
15．2．2需求和市场
附录A单词表