大数据技术及架构图解实战派

本书提供了学习大数据技术及架构的一站式解决方案，覆盖了大数据生态圈中的完整技术体系，包含以下内容。

.

一、数据采集
日志数据采集工具（Flume 、Logstash、Filebeat ）
数据库数据采集工具（离线采集工具——Sqoop、DataX，实时数据采集工具——Canal、Maxwell
网页数据采集工具
物联网数据采集工具
消息队列中间件

.

二、数据存储
分布式文件存储之HDFS
NoSQL数据库之HBase
NoSQL数据库之Redis

.

三、离线数据计算
离线计算引擎MapReduce
离线计算引擎Spark

.

四、实时数据计算
实时计算引擎Storm
实时计算引擎Spark Streaming
新一代实时计算引擎Flink

.

五、OLAP数据分析
离线OLAP引擎（Hive、Impala、Kylin）
实时OLAP引擎（Druid、ClickHouse、Doris）

.

六、全文检索引擎
Lucene
Solr
Elasticsearch

.

七、分布式任务调度系统
Azkaban
Ooize
DolphinScheduler

.

八、分布式资源管理
YARN的原理、架构
YARN中的资源调度器
【实战】配置和使用YARN多资源队列

.

九 、大数据平台搭建工具
大数据平台工具HDP
大数据平台工具CDH
大数据平台工具CDP

.

本书还介绍了多个企业级大数据应用案例（包括海量数据采集、“双十一”数据大屏、海量数据全文搜索系统等）和大数据平台架构案例（包括离线数据仓库架构、实时数据仓库架构、批流一体化数据仓库架构、数据中台架构、直播大数据平台架构、电商大数据平台架构等），可以帮助读者从全局角度理解大数据。

.

在本书中，技术内容基本上都是从零讲起的，结合原理和架构，以“图解 实战”的形式帮助读者轻松理解复杂的知识。

徐葳

中科院大数据研究院大数据技术专家，曾就职于北京猎豹移动科技有限公司

（1）体系完整，内容丰富。

（2）从零起步，循序渐进。

（3）大量插图，易于理解。

（4）丰富的实战案例。

（5）衔接运维，无须担心大数据集群环境问题。

（6）丰富的大数据架构案例。

大数据技术在国内真正开始落地大致是在2014年，当时由于公司需要，作者开始从Java转行大数据。那时只需要掌握Hadoop技术就可以进行大数据开发了。随着大数据行业的发展，现在需要掌握 Flume、Kakfa、Hive、HBase、Spark、Flink等技术了。

作者非常有幸亲身经历了国内大数据行业从零到一的发展历程，因此积累了丰富的实践经验，这便是写作本书的由来。

﹥﹥﹥﹥﹥1. 本书特色

（1）体系完整，内容丰富。

本书覆盖大数据生态圈中的完整技术体系，包括数据采集、存储、计算、分析、检索等全流程解决方案，只需要一本书即可学会大数据技术。

（2）从零起步，循序渐进。

本书是从零开始讲起，循序渐进，帮助读者快速掌握技术组件的原理、架构及实战应用。

（3）大量插图，易于理解。

一图胜千文，书中在涉及原理、架构、流程的地方都尽量配有插图，以便读者有直观的理解。

（4）丰富的实战案例。

本书介绍了大量的实战案例，能让读者“动起来”，在实践中体会功能，而不只是一种概念上的理解。

在讲解每一个知识模块时，我们都在思考：在这个知识模块中，哪些是读者必须实现的“标准动作”（实例）；哪些“标准动作”是可以先完成的，以求让读者能快速有一个感知；哪些“标准动作”是有一定难度，需要放到后面完成的。读者在跟随书中一个个实例实践之后，再去理解那些抽象的概念和原理就水到渠成了。

（5）衔接运维，无须担心大数据集群环境问题。

本书的所有技术框架都有详细的安装步骤，读者可以快速搭建好需要用到的大数据集群环境，再也不用担心没有集群环境进行实操了。

（6）丰富的大数据架构案例。

本书包含了大量的大数据架构案例，结合不同的应用场景将零散的大数据技术组件整合到一起，帮助读者构建大数据的整体架构设计能力。

﹥﹥﹥﹥﹥2. 本书特色

Hadoop、HBase、 Redis、Spark、Flink、ClickHouse、Doris、Hive、Elasticsearch、Flume、Kafka

﹥﹥﹥﹥﹥3. 读者对象

本书既适合大数据初学者，也适合想进一步扩展知识面的大数据初中级人员。

本书读者对象如下：

◎ 大数据初学者；

◎ 培训机构的老师和学员；

◎ Java开发工程师；

◎ 高等院校计算机相关专业的学生；

◎ 转行大数据的开发者；

◎ 大数据运维人员；

◎ 高等院校大数据专业的老师；

◎ 其他对大数据感兴趣的人员