数据中台实战：手把手教你搭建数据中台

自从2015 年阿里巴巴提出中台的概念后，数据中台的概念就火遍了整个互联网圈。数据中台是实现企业数据智能的重要手段，但是数据中台是什么、为什么要搭建数据中台、数据中台究竟应该怎么搭建，这些问题的答案却很少有人知道。

《数据中台实战：手把手教你搭建数据中台》从“数据采集”“数据存储”“数据打通”“数据应用”的角度，基于作者多年搭建数据中台的实战经验，毫无保留地为大家解析从0 到1 搭建数据中台的全过程。每个章节都有大量的实战案例，希望本书能够对国内数据化工作者提供一定的帮助。

本书的读者范围很广，无论你是想要进行数据化转型的公司高层、一线的产品经理、运营/设计/开发人员，还是对数据领域感兴趣的学生或从业人员，都可以从中学到想要的内容。

董超华

曾就职于科大讯飞、佳都集团，现任富力环球商品贸易港数据中台产品负责人。

人人都是产品经理专栏作家、公众号“改变世界的产品经理”主理人，主要分享商业、产品、运营方面的原创文章。其写作的数据中台实战系列文章获得广泛好评。

如今数据中台是非常热的概念，业内很多专家都推崇数据中台模式，但是，一个企业是否需要做数据中台，如何做数据中台，这些问题却很少有人能够回答。尤其是数据中台的具体实际搭建落地和应用方法，在网络上放眼望去，却几乎找不到答案。幸运的是，董超华老师的这本，能够提供答案。董老师是富力环球商品贸易港数据中台产品负责人，曾经与他合作搭建数据中台的合作伙伴，正是阿里系数据中台搭建的实际参与者，这使得董老师拥有从0到1搭建数据中台的宝贵经验，同时还能将这些经验毫无保留地分享出来，真正落地实操、真正干货满满，这就是本书的价值所在。

推 荐 序

我是2019年6月份认识超华的，得知他准备出版自己的新书，而且还是中台方向，我就非常感兴趣。看完新书初稿，我就从自己的角度聊聊中台以及我对这本书的理解。

中台这个概念近几年非常火热，对于很多公司来说，如果不做中台都显得自己跟不上时代或者公司不够“高大上”，可实际上真正懂中台、做过中台、了解如何使用中台的人并不多。这就出现了一种情况，很多公司的中台战略都停留在口头上和会议室里，实际落地到业务和系统中却什么也没有。

导致这种现象的原因有两种：第一种，有些公司对自身业务特点不了解，硬上中台，结果水土不服；第二种，有些公司缺少对中台的认知和实操经验，使用方法错误。其实，一家公司在上马中台战略以前，一定要明确：中台是否适合于本公司。为什么这么说呢？因为很多公司其实是不需要中台的。在我看来，只有业务密度和复杂度达到一定量级的公司，才有中台存在的必要。如果只是简单的业务组件化或者系统模块化，就算没有中台，公司也可以实现。所以，支撑复杂业务的业务中台以及支撑海量数据的数据中台才是中台的核心价值所在。

学习中台的最好方式就是通过成功案例和实操经验获取知识，因为这都是最真实可落地的东西，比起一堆的概念或者噱头来说要有用得多。超华对中台有着丰富的实践经验，在大型企业中负责业务中台和数据中台从0到1搭建的过程，这种实战经验是非常可贵的，能让理论落地。

不管是数据中台，还是业务中台，从概念到落地、从方案到经验，需要经过实践和打磨，非短期突击能实现。超华在这方面有自己独到的经验和方法论。在书中，他对于数据中台的几个核心环节（采集、存储、打通、应用）的概括非常完整，这是构建数据中台的重要方法，凭此可以让数据中台一步一步落地并实现。

如果你未来准备往中台产品经理发展，或者你所在的公司准备构建自己的中台体系项目，那么这本既有方法、也有案例的书会是你不错的实践参考。开卷有益，希望对你有所帮助。

《产品经理必懂的技术那点事儿》作者、

公众号“唐韧”主理人 唐韧

前 言

亲爱的读者，你好，我是本书作者董超华，行业内都叫我“华仔”。我曾就职于科大讯飞，现任富力环球商品贸易港数据中台产品负责人，是人人都是产品经理社区、PMTalk社区、产品100社区的专栏作者，公众号“改变世界的产品经理”的主理人。

自从2015年阿里巴巴提出中台的概念后，中台的概念就迅速传遍整个互联网圈。我知道，很多朋友应该看过朋友圈里流传的相关文章，甚至有人曾经为了听“大厂”职工们讲中台的干货，奔走在各种大小行业会议之间。我也知道，这种碎片化的吸收虽然增加了大家的知识，却也增加了大家的焦虑，因为技术不平等广泛存在于业界。

阿里巴巴早在2015年就公布了中台的概念，说明其早已把中台体系做得很成熟，如果你不是阿里巴巴的员工，没有亲身经历中台的搭建，就很难理解中台究竟是干什么的。

2019年5月13日，我写了一篇关于数据中台的文章，发表在人人都是产品经理社区中，第二天该文章的阅读量就破了1万次。截至2020年6月，我的数据中台实战系列文章的全网阅读量已经突破34万次。为什么我的数据中台实战系列文章这么“火”呢？除了如今中台的概念比较“火”之外，还因为深入了解中台的人少之又少，大多数人都只能讲概念，很少有人能写出关于中台搭建的实战干货。我在富力集团有幸经历了业务中台、数据中台的从0到1搭建全过程，而与富力集团合作搭建中台的正是阿里系中台搭建工作的直接参与者，这使得我在富力集团搭建中台的过程中吸收了很多关于中台的实战经验。

本书基于我多年搭建数据中台的实战经验，从“采集”“存储”“打通”“应用”的角度，毫无保留地为你解析从0到1搭建数据中台的全过程。本书的读者范围很广，无论你是正在进行数据化转型的公司高层、一线的产品经理/运营人员/设计师/开发人员，还是对数据领域感兴趣的从业人员或求职学生，都可以从中学到想要的内容。

第1章“数据中台入门攻略”让你快速了解中台基础知识。首先，这一章清晰地解答了什么是中台、什么是业务中台、什么是数据中台、为什么要搭建数据中台、什么企业适合搭建数据中台等典型问题。其次，这一章通过双中台实战的案例，进一步加深你对中台的了解。最后，这一章通过数据中台的人员构成、开发流程、如何与其他部门合作等讲解，进一步剖析数据中台究竟是什么。

第2章“数据采集”介绍数据中台的数据采集模块。在这一章中，你会学到如何通过数据埋点采集用户行为数据、如何采集产品线业务数据。这一章通过多个实战案例为你介绍为什么要进行数据采集、要采集哪些内容、怎么进行数据采集。

第3章“数据存储与计算”介绍数据中台数据存储与计算模块。在这一章中，你会学到如何打造一套高效、没有歧义的指标管理体系。这一章还会为你介绍数据中台的分层建模体系，通过实战案例讲解从ODS层到DWD/DWS层，再到ADS层建模和数据计算的全过程，让你从模型设计和数据计算的角度进一步理解数据中台。

第4章“数据打通”介绍数据中台的智能化应用标签平台。标签平台是用户画像和推荐系统的基础，从宽表的定义、标签体系的搭建、标签的生成、用户的圈选开始学习，从0到1教你搭建标签平台。这一章通过多个实战案例，让你学会如何打通用户的行为数据和用户的业务数据、如何打通公司内部各条产品线的数据，消除数据孤岛，释放数据的最大化价值。

第5章“用户分析”、第6章“商品分析”、第7章“流量分析”、第8章“交易分析”依次讲解数据中台的数据应用模块。用户分析、商品分析、流量分析是我们经常说的“人、货、场分析”，大多数的互联网产品都会用到。交易数据是公司最核心的数据，交易分析部分的内容会介绍如何为领导层设计交易看板、如何为运营人员设计交易分析模块。每章都会有具体实战案例讲解数据中台如何通过数据实现企业的数据化运营、如何提高运营人员的效率、如何用数据赋能业务，从而在搭建数据中台时避开各种陷阱。

第9章“自助分析平台”介绍数据中台的自助分析平台。自助分析平台可以解决数据中台中数据可视化的问题。有了自助分析平台可以帮助数据中台大幅度提升开发效率，让数据中台专注于数据开发和模型设计。业务人员可以通过数据中台配置专属自己的数据看板，形成了看板的千人千面。

第10章“自动化营销平台”介绍数据中台的数据智能应用——全渠道的自动化营销平台。通过全渠道的自动化营销平台，业务人员在做营销活动时只需专注于策略的制定与选择，其他的工作都可以交给机器来完成。这一章还会通过实战案例讲解如何做一场优惠券的营销活动，比如做一次周期性的短信触达营销活动。自动化营销平台能够加深你对数据智能的了解。

第11章“推荐平台”介绍数据中台的数据智能应用——推荐平台。这一章会为你介绍推荐系统的经典架构、几个经典的推荐算法、如何从0到1打造一个离线的推荐系统、如何从0到1搭建一个实时的推荐系统。推荐系统属于AI应用，通过推荐系统可以让你更清楚地知道什么是数据智能。

最后，我要感谢一下长期支持我的人。

感谢我的母亲贾春南和爱人黄淑丽，她们一直陪伴和信任我，在我写作的过程中，给予我极大的肯定和鼓舞。

感谢我在富力集团的领导李照瑜。我的成长和搭建数据中台的实践都是在与领导共事的过程中一点一滴地积累起来的，可以说，没有领导的帮助，本书是不可能完成的。

感谢老曹（曹成明）、BLUES（兰军）、苏杰、唐韧、王伟等圈内好友和行业大咖。各位大咖的作品让我受益匪浅。在他们的身上，我学习到了很多干货，希望日后可以见面交流，进行更深入的讨论。

感谢电子工业出版社博文视点的编辑林瑞和老师，他不厌其烦地修改并提出了很多修改意见，使本书的质量变得更好。

数据中台目前还处于发展初期，限于我自身的知识储备、阅历和格局，本书可能存在不足和偏颇之处，希望各位读者批评指正。大家可以通过微信公众号“改变世界的产品经理”给我留言，和我讨论与数据中台相关的问题，我会认真地思考和回复每条留言。在这个微信公众号上，大家也可以找到我的个人微信号，与我直接进行交流。

董超华

2020年6月

第1章 数据中台入门攻略 1

1.1 什么是中台 1

1.1.1 业务中台与数据中台有什么关系 3

1.1.2 什么企业适合搭建中台 3

1.2 双中台实战案例 4

1.2.1 业务中台架构 5

1.2.2 数据中台架构 7

1.3 数据中台人员构成 8

1.4 数据中台开发流程 12

1.5 数据中台内外合作机制 15

1.5.1 数据中台如何与其他部门合作 15

1.5.2 数据中台内部项目管理流程 18

第2章 数据采集 20

2.1 数据采集的分类 20

2.2 用户行为数据采集 21

2.2.1 与第三方移动应用统计公司合作的数据采集方式 21

2.2.2 前后端埋点结合的数据采集方式 22

2.2.3 可视化埋点与后端埋点结合的数据采集方式 31

2.3 数据采集流程 33

2.4 数据埋点实战案例 34

第3章 数据存储与计算 38

3.1 数据指标的定义 39

3.1.1 数据指标的重要性 39

3.1.2 如何定义数据指标 39

3.1.3 如何识别虚荣指标 42

3.2 数据模型设计 43

3.2.1 什么是数据库和数据仓库 43

3.2.2 数据仓库的分层建模体系 45

3.3 数据模型设计实战案例 48

3.3.1 ODS层模型设计 49

3.3.2 DWD层/DWS层模型设计 54

3.3.3 ADS层模型设计 63

3.4 数据计算实战案例 65

3.4.1 从ODS层到DWD层计算过程 65

3.4.2 从DWD层到DWS层计算过程 68

3.4.3 从DWS层到ADS层计算过程 70

第4章 数据打通 72

4.1 标签平台设计思路 72

4.2 标签平台快速入门 75

4.2.1 标签平台主流程介绍 75

4.2.2 数据宽表 76

4.2.3 标签体系 77

4.2.4 标签工厂 81

4.2.5 人群圈选 83

4.3 用户画像 87

4.3.1 个人用户画像 88

4.3.2 群体用户画像 89

4.4 标签平台实战案例 91

第5章 用户分析 95

5.1 用户分析的思路 95

5.2 用户拉新分析 96

5.2.1 用户拉新渠道注册码管理 96

5.2.2 用户拉新相关指标 98

5.2.3 用户拉新页面转化率 98

5.2.4 用户拉新ROI模型 100

5.3 用户活跃分析 101

5.4 用户留存分析 102

5.5 用户转化分析 103

5.6 用户裂变分析 105

5.7 用户生命周期分析 106

第6章 商品分析 110

6.1 商品售前分析 111

6.1.1 供应商的选择 112

6.1.2 商品定位 113

6.1.3 商品数量规划 114

6.1.4 商品上架分析 115

6.2 商品售中分析 116

6.3 商品售后分析 121

第7章 流量分析 123

7.1 网页分析 124

7.1.1 推广页 125

7.1.2 商品详情页 126

7.2 路径分析 127

7.3 坑位分析 130

第8章 交易分析 134

8.1 针对公司领导层的交易分析设计 134

8.1.1 领导层移动端交易分析设计 136

8.1.2 自动化短信推送 137

8.1.3 数据大屏设计 139

8.2 针对产品/运营人员的交易分析设计 140

8.2.1 交易分析数据总览 141

8.2.2 渠道交易分析 141

8.2.3 交易来源分析 143

8.2.4 购物频次分析和购物间隔分析 145

第9章 自助分析平台 148

9.1 自助分析平台产品方案 149

9.2 快速入门三种数据自助分析可视化产品 150

9.2.1 帆软自助看板模块介绍 151

9.2.2 达芬奇自助看板模块介绍 153

9.2.3 Superset自助看板模块介绍 155

9.3 自助分析平台技术选型 157

9.4 自助分析平台实战案例 157

9.4.1 数据中台集成达芬奇 157

9.4.2 自助分析平台实战案例 162

第10章 自动化营销平台 167

10.1 自动化营销平台的设计思路 168

10.2 自动化营销平台介绍 169

10.2.1 常规营销活动的内容制作 170

10.2.2 营销活动人群圈选 176

10.2.3 营销活动触达任务 176

10.2.4 活动效果分析 180

10.3 自动化营销平台实战案例 182

10.3.1 优惠券营销活动实战案例 182

10.3.2 周期性短信触达营销活动实战案例 184

第11章 推荐平台 187

11.1 什么是推荐系统 187

11.2 推荐系统架构 189

11.2.1 推荐系统功能架构 189

11.2.2 推荐系统技术架构 191

11.3 推荐平台项目实施流程 192

11.4 两种经典的推荐算法 193

11.4.1 基于用户的协同过滤算法 194

11.4.2 基于物品的协同过滤算法 195

11.5 推荐系统的评测指标 196

11.6 推荐系统的冷启动 199

11.7 从0到1打造一个离线推荐系统 201

11.7.1 离线推荐系统设计思路 201

11.7.2 离线推荐系统算法选型 201

11.7.3 离线推荐系统开发过程 204

11.7.4 离线推荐系统测试 208

11.8 从0到1打造一个实时推荐系统 210