大数据实践之路：数据中台+数据分析+产品应用

本书共13 章，汇集了7 位作者（来自多个大型互联网企业）的知识总结和经验分享。本书借助老汤姆、小风、阿北、小诺在某电商企业数据部门工作的故事，通过大量案例深入浅出地介绍了数据中台建设与应用之路。本书以Why-What-How 的思路展开，从0 到1 介绍知识点，并重点讲述How 的过程，同时结合某个场景下的具体案例，以使读者更好地理解实操过程。

每个企业都会面临各种各样的数据问题，有数据质量的问题、数据获取效率的问题、数据应用价值的问题等。本书首先介绍数据中台的建设，确保数据的质量，为企业的数据质量体系建设提供坚实的基础；然后，进行深入业务的分析探索，介绍如何从数据分析角度更好地赋能业务发展；最后，介绍数据应用，解决数据获取效率的问题，并把一些分析思路和业务策略沉淀为数据产品，从而更好地将数据应用于业务。本书结合多个大型互联网企业的实际项目案例，让读者真正掌握数据产品经理这个新兴职业的必备技能和核心能力。

本书主要面向数据产品经理，数据分析师、数据运营人员等数据行业从业者也可以在本书中找到一些思路和方法，如了解数据的应用、掌握分析方法等。本书也可以为想转行做数据产品经理的读者提供帮助。

林泽丰，笔名小风，某国有企业的数据中台产品负责人。UBDC全域大数据峰会“灯塔人物”，“友盟杯”数据大赛三等奖获得者，公众号“一个数据人的自留地”的课程讲师。在电商、社交、交通、直播等领域担任过产品、运营、数据等部门的负责人，有7年多的互联网从业经验。跨领域、跨部门实战经验丰富，曾从0到1搭建过企业数据中台、大数据平台、智能营销平台，擅长埋点模型设计、指标质量治理、数仓架构、数据运营等。

许秋贵，笔名阿北，贝壳找房的高级数据分析师，毕业于东北农业大学。在校期间主导开发了校园拼车等应用，帮助大学生拼车省钱出行。曾就职于百度、滴滴等互联网“大厂”，有多年数据分析经验。

陈斌，笔名小诺，某互联网“大厂”的策略产品经理，毕业于大连东软信息学院。人人都是产品经理网站的“20年度热文作者”，公众号“一个数据人的自留地”的联合创办人。先后就职于百度、小米，在搜索引擎、资讯、电商等领域从事过搜索、推荐、BI、画像、反作弊、消息触达等产品工作，涉猎范围较广，经验丰富。

陈丽媛，笔名草帽小子，自如画像数据产品经理，拥有两项发明专利。人人都是产品经理网站的专栏作家，公众号“一个数据人的自留地”联合创办人。在用户画像、数据埋点、指标体系、BI等方面具有丰富的实战经验，所著系列文章深受广大读者喜爱。

梁旭鹏，笔名大鹏，某互联网“大厂”的数据产品负责人，毕业于北京邮电大学的硕士研究生。人人都是产品经理网站的专栏作家，《数据产品经理修炼手册：从零基础到大数据产品实践》的作者，公众号“一个数据人的自留地”的创办人。在电商、内容、出行、金融等领域有近10年的大数据从业经验。

黄为伟，笔名伟仔，资深数据产品经理，金融学硕士，理学学士，公众号“一个数据人的自留地”的联合创办人。先后就职于清科集团、交通银行、小米、字节跳动，在私募、银行、信贷、财务领域从事过数据分析和数据产品的相关工作，经验丰富。

陈勃，笔名薄荷点点，某互联网“大厂”的高级数据产品经理，公众号“一个数据人的自留地”的作者。先后就职于dangdang网、北京中交兴路信息科技有限公司、JD物流集团，曾负责货运大数据平台、无人仓仓储大脑等数据产品，北京市科协金桥工程种子资金项目负责人。

1.由七位一线互联网公司资深数据人编写，内容丰富，实战性强。

2.全书包括数据中台、数据分析、数据应用三篇，详细解决数据人工作中遇到的问题。

为什么写本书

我在写完《数据产品经理修炼手册：从零基础到大数据产品实践》后，一直想对它进行迭代和升级。数据产品经理是一个新兴的职业，其知识体系在几年之后或多或少会有一些变化，但是由于我工作繁忙，很难抽出时间来专注地打磨，因此这个想法就被搁置了。

公众号“一个数据人的自留地”的不断壮大和发展创造了一个契机。随着更多的数据人加入该公众号的创作者队伍中，我们成立了创作者联盟。创作者联盟是一个由一群爱分享的人组成的联盟，其成员都是来自各大互联网企业的数据人，有数据产品负责人、数据分析师，还有算法工程师等。突然有一天，我就在想，是不是可以组织创作者联盟的成员一起为数据行业贡献一本好书，这样也能进一步迭代《数据产品经理修炼手册：从零基础到大数据产品实践》的体系。我的这个想法和创作者联盟的6位成员的想法不谋而合，就这样，我组建了一个写书小分队。

然而，组织多人写书会面临很多问题：每个人的写作风格不同、工作节奏不同、写作思路不同。如何协调好多人协同完成一本书的写作是我在这个过程中面临的最大挑战。为了统一大家的写作风格，我们构建了本书的故事背景，并用讲故事的方式把整本书串联起来。大家的写作思路不同，我们就一起讨论，最终决定以方法论结合实例的方式把“干货”呈现给读者。无论是在内容难度上，还是在时间耗费上，本书都远超了预期。为了保证本书内容的质量，每位作者在写完自己负责的那部分内容后都要进行交叉阅读，并给予反馈，同时改进本书的内容。

经历一年的打磨，本书终于和大家见面了。我深知写一本能够让所有读者都满意的书是极难的，如果读者在阅读过程中有问题和想法，欢迎给我们反馈。

本书的结构和内容

本书是用讲故事的方法来讲述的，在电商企业的故事背景下，我们用老汤姆、小风、阿北、小诺等人物的经历串联了本书。本书从困扰数据人的三大数据问题出发，从数据中台、数据分析、数据应用3 个方面分别阐述如何建设数据和应用数据。

数据中台篇讲述了通过开发一系列数据工具（元数据中心、数据指标中心、数仓模型中心、数据资产中心、数据服务中心），来解决企业在发展过程中，由于数据的激增与业务的扩大而出现的统计口径不一致、重复开发、指标开发需求响应慢、数据质量低、数据成本高等问题，从而规范数据供应链的各个环节，以一种标准的、安全的、统一的、共享的、服务化的方式支撑前端的数据应用。

数据分析篇从宏观（业务和数据）、中观（工作内容和合作）和微观（3 种分析场景实操）3 个维度介绍与数据分析相关的知识点，旨在帮读者建立系统的能力模型，为做好业务分析、培养专业素养打好基础。

数据应用篇主要介绍数据应用层的建设，即数据在业务中的实际应用，包括BI系统的建设、标签体系和用户画像体系的建设、电商反作弊和个性化推荐的应用，帮助企业实现降本提效的商业目标。

编写分工

本书主要由7 位作者参与撰写，具体的编写分工如下：第1 章由梁旭鹏编写，第2～6 章由林泽丰编写，第7 章和第8 章由许秋贵编写，第9 章由黄为伟、陈勃编写，第10 章由陈丽媛编写，第11～13 章由陈斌编写。

致谢

非常感谢和我一起合作的创作者在百忙之中抽出时间，无私地把自己的工作经验分享出来，并一遍遍地打磨本书。同时，感谢王开碧、艾华丰，以及公众号“一个数据人的自留地”创作者联盟的成员，他们对本书提出了宝贵的意见。

感谢电子工业出版社的石悦编辑，他在与我完成《数据产品经理修炼手册：从零基础到大数据产品实践》的出版后，又支持我们完成了本书的编写，对本书的结构和写作提出很多宝贵的意见。

感谢“一个数据人的自留地”公众号的所有读者，他们的关注让针对数据人的写作和分享这条路越走越远。

随着5G 的普及，我们会逐步进入物联网时代。区别于现在的移动互联网，物联网可以实现万物互联，数据量将远远超过以往的任何时候，数据的价值也会被无限放大，未来是数据人最好的时代。人生是一场长跑，希望本书能够陪伴各位读者成长。

第1 章 那些困扰我们的数据问题

数据中台篇

第2 章 元数据中心

2.1 元数据中心概述

2.2 元数据中心的核心功能

2.2.1 数据整合

2.2.2 数据管理

2.2.3 数据地图

第3 章 数据指标中心

3.1 数据指标中心概述

3.2 数据指标中心的设计思路

3.2.1 定义指标并将其归集到对应的主题域

3.2.2 拆分原子指标与派生指标

3.2.3 定义原子指标与派生指标的生产逻辑

3.2.4 通过指标管理平台对指标进行规范生产

第4 章 数仓模型中心

4.1 数仓模型中心概述

4.2 数仓模型中心的设计思路

4.2.1 控制数据源

4.2.2 划分主题域

4.2.3 构建一致性维度

4.2.4 构建总线矩阵

4.2.5 数仓分层建设

4.2.6 数仓效果评估

第5 章 数据资产中心

5.1 数据资产中心概述

5.2 数据资产中心的治理流程

5.2.1 数据资产定级

5.2.2 数据资产质量治理

5.2.3 数据资产成本治理

第6 章 数据服务中心

6.1 数据服务中心概述

6.2 数据服务中心的设计思路

6.2.1 将数据写入查询库

6.2.2 搭建元数据模型

6.2.3 按主题归类

6.2.4 缓存优化

6.2.5 数据接口化

6.2.6 构建API 集市

6.2.7 统一数据服务

数据分析篇

第7 章 数据分析理论

7.1 业务和数据

7.2 数据分析师的全貌

7.3 数据分析团队的组织架构及其对应的工作模式

7.4 数据分析师的工作方式

7.4.1 工作象限图

7.4.2 1+N 的工作内容

7.4.3 与业务方的合作模式

7.4.4 有关工作方式常见问题的解法思考

第8 章 数据分析实操

8.1 预测性分析

8.1.1 预测性分析的目的

8.1.2 分析思路与方法

8.1.3 预测性分析案例

8.2 描述性分析

8.3 诊断性分析

8.4 数据分析报告

数据应用篇

第9 章 BI 系统

9.1 让人头疼的看板需求

9.2 BI 系统介绍

9.3 BI 系统的关键技术

9.4 BI 系统实践

9.4.1 数据接入

9.4.2 数据集加工

9.4.3 数据集权限控制

9.4.4 可视化报表配置

9.4.5 可视化结果展示

9.4.6 数据分析OLAP

9.4.7 如何衡量BI 系统是否成功

第10 章 用户画像

10.1 用户画像的全貌

10.2 用户画像的需求

10.3 用户画像的规划

10.3.1 用户画像的业务架构

10.3.2 用户画像的产品架构

10.3.3 用户画像的版本计划

10.3.4 用户画像的项目执行计划

10.4 用户ID 体系

10.5 标签体系

10.6 用户画像系统

10.7 用户画像的应用

第11 章 电商反作弊体系

11.1 电商黑产的现状

11.2 电商黑产的防控方案

11.2.1 活动的损失评估

11.2.2 反电商黑产作弊案例

第12 章 资讯个性化推荐

12.1 资讯的内容处理

12.1.1 资讯的内容来源

12.1.2 资讯的分类体系

12.1.3 常见的分类问题及内容分类原则

12.1.4 分类体系的构建

12.1.5 内容的标注与机器学习

12.2 资讯用户的画像和特征

12.2.1 资讯用户的画像

12.2.2 资讯用户的特征

12.3 资讯的推荐算法

12.3.1 资讯的信息抽取

12.3.2 资讯的分词方法

12.3.3 资讯的过滤排重

12.3.4 资讯的召回模型

12.3.5 资讯的算法排序

12.4 资讯的重排策略及案例

12.4.1 常见的重排策略及策略的目标

12.4.2 资讯的重排策略案例

第13 章 电商个性化推送

13.1 push 的衡量

13.1.1 push 的目标与本质

13.1.2 push 的衡量指标

13.2 push 的优化方向

13.3 push 的推荐案例

13.3.1 新用户推荐方案

13.3.2 推荐的效果评测