腾讯大数据构建之道

全书共13章，分两大部分进行全面而系统的介绍，

第一部分从腾讯大数据平台的发展历程和总体架构切入，深入剖析了各项技术原理，阐述了实战过程中的挑战和自研核心技术的设计思想，覆盖了大数据接入、计算、存储、分析、调度等大量技术组件。

第二部分主要介绍了腾讯在数据治理、数据应用、机器学习和平台运营方面的建设经验，并对腾讯大数据产品及其在内外部场景的实践落地进行了解读， 书中列举的大量实践案例对广大读者都极具参考价值和借鉴意义。

核心团队

腾讯数据平台部致力于为腾讯集团旗下业务提供专业、可靠的大数据平台及机器学习平台服务，并依托腾讯云将大数据与AI能力对外输出。团队专注于大数据、云原生、机器学习、图计算、AI视觉和推荐技术等核心技术，并在world-Class比赛中屡获奖项。同时，团队全面拥抱开源并持续贡献社区，自主研发的分布式机器学习平台Angel和大数据集成平台InLong分别从Linux和Apache顶级项目毕业，具有world-Class的技术影响力。

核心作者

蒋杰，北京大学博士，腾讯公司副总裁，中国人工智能产业发展联盟（AIIA）副理事长，中国计算机学会（CCF）大数据专家委员会委员。
2012年起在腾讯负责大数据平台建设，主导研发了离线计算、实时计算、机器学习、数智融合四代腾讯大数据平台，并推动大数据技术开源。 带领腾讯完成了腾讯广告投放端整合，实现了腾讯全流量的一站式投放。在人工智能领域，打造了腾讯AI学习平台，获得多项顶级赛事奖项。

（1）腾讯官方出品！腾讯大数据构建之道首次对外披露！腾讯大数据平台十年磨一剑，践行“科技向善”落地方案。

（2）本书由腾讯数据平台部组织，腾讯公司副总裁蒋杰领衔撰写，首次对外详细阐述了腾讯大数据平台系统架构，以及多年来平台建设的思考与沉淀。

腾讯作为一家以互联网为基础的科技与文化公司，其互联网业务与亿万网民的日常生活息息相关，从社交平台出发，已拓展至娱乐、金融、资讯、工具、流量平台等多个业务板块。2019年，马化腾公布腾讯公司的新愿景为“用户为本，科技向善”，目前已经践行多个“科技向善”落地方案，例如与政府合作的AI寻人、AI医学影像产品“腾讯觅影”，以及培育高产量AI黄瓜等项目，而这些项目的背后无不是以腾讯大数据作为底层支撑，通过AI赋能创造可以为社会带来实际价值的产品。
腾讯数据人每天不得不面对海量的数据处理需求，例如用户每天在微信朋友圈和QQ空间上传的图片超过10亿张，腾讯视频每天播放量超过20亿次，除夕当天红包支付超过25亿笔，每天移动支付超过5亿笔，这些数据规模在国内均居行业前列。
伴随着业务的迅猛发展，腾讯大数据平台十年磨一剑，已经初步搭建完成了数据采集、存储、计算、应用、运维、治理等一整套大数据业务处理平台。本书正是在此背景下应运而生的，首次对外详细阐述了腾讯大数据平台系统架构，以及多年来平台建设的思考与沉淀。
本书内容总体分成两大部分，第一部分主要讲述腾讯大数据平台的技术体系，第二部分主要讲述腾讯大数据通过腾讯云对外开放的一系列产品。主要包括：
一、腾讯大数据的起源、技术理念及发展历程：重点讲述腾讯大数据从无到有的故事、开源路线选择的思考以及三代大数据平台架构的技术演进。
二、数据实时采集平台：重点讲述腾讯自主研发的高并发消息中间件，该平台在腾讯内部使用超过十年，每天接入数十万亿级的消息。
三、分布式存储平台：讲述广受欢迎的HDFS、Ceph、HBase等开源组件，并重点阐述下一代分布式存储平台Ozone。
四、分布式计算平台：重点讲述腾讯大数据历经十年发展的变迁史，从Hadoop到Spark，从Storm到Flink的发展史，同时也讲述任务调度系统及多种计算分析引擎。
五、资源调度平台：重点讲述如何实现十万节点级别的大规模集群的调度管理，阐述CPU、GPU、内存、磁盘、网络等资源调度的优化。
六、数据治理体系：涉及元数据、数据资产管理、数据安全等内容。
七、机器学习平台：介绍腾讯大数据自主研发的高性能分布式机器学习平台Angel，这是国内首个在全球范围的顶级开源社区毕业的机器学习平台。
八、数据内容挖掘：主要讲述对数据价值的挖掘、以用户画像为核心的数据内容的挖掘。
九、大数据平台运营：大数据平台的核心竞争力很大一部分来自平台的运维与运营，腾讯大数据平台的机器节点规模超过十万台，但腾讯大数据运维团队只有二三十人，这里主要讲述运维团队经历的方方面面。
十、对外开放的腾讯大数据能力：讲述腾讯大数据套件TBDS、一站式机器学习平台智能钛TI，也讲述每天推送量达到数百亿的移动推送平台，重点披露承载了腾讯大数据超过500万核的底层算力平台的技术实践细节，还有智能客服机器人、数据可视化产品等。
本书由腾讯数据平台部组织编写，详尽地记录了腾讯大数据技术发展与演进各个阶段所使用的技术，也记录了腾讯大数据团队经历过的各种考验，希望可以给各位同行及有志于从事大数据行业的朋友一些启发与借鉴。

前言
第1章　打造腾讯大数据平台1
1.1　腾讯大数据的缘起3
1.2　腾讯大数据的构建理念5
1.3　腾讯大数据的总体架构7
第2章　数据实时采集平台11
2.1　接入层挑战12
2.2　接入管理层TDManager14
2.3　数据采集17
2.4　数据总线23
2.5　消息中间件30
2.6　数据分拣40
2.7　接入层展望44
第3章　分布式存储平台46
3.1　文件存储HDFS47
3.2　统一存储Ceph62
3.3　下一代大数据存储Ozone77
3.4　KV存储HBase88
第4章　分布式计算平台99
4.1　批处理MapReduce100
4.2　批处理Spark107
4.3　批处理漂移计算SuperSQL123
4.4　流处理Flink146
4.5　SQL数据仓库Hive165
4.6　任务调度175
第5章　数据分析引擎184
5.1　关系型OLAP：腾讯实时多维分析平台185
5.2　关系型OLAP：ClickHouse200
5.3　多维OLAP：Kylin211
5.4　多维OLAP：Druid222
第6章　资源调度平台234
6.1　Yarn项目背景235
6.2　调度器性能优化241
6.3　集群的高可用性244
6.4　多资源维度弹性管理254
第7章　数据治理体系261
7.1　元数据262
7.2　数据资产管理271
7.3　大数据安全283
第8章　机器学习平台298
8.1　图智能平台299
8.2　Angel310
8.3　联邦学习333
第9章　数据内容挖掘350
9.1　概览351
9.2　广告内容挖掘352
9.3　用户画像数据体系365
9.4　用户画像构建方法366
9.5　数据内容挖掘与推荐379
9.6　数据内容挖掘与AI创作380
第10章　大数据平台运营384
10.1　大数据服务规划385
10.2　大数据平台治理393
10.3　自动化运维体系构建397
10.4　平台运营成本优化404
10.5　大数据运营分析与应用体系408
第11章　大数据平台产品设计410
11.1　TBDS大数据处理套件411
11.2　Oceanus实时流式数据处理平台419
11.3　ideX数据分析与探索挖掘工具425
11.4　智能钛TI机器学习平台429
第12章　企业级容器云平台GaiaStack438
12.1　GaiaStack产品背景和目标439
12.2　GaiaStack架构和技术特点446
12.3　GaiaStack核心技术454
第13章　大数据应用服务503
13.1　智能客服机器人504
13.2　移动推送526
13.3　数据可视化产品小马BI535
参考文献549