智能数据分析：入门、实战与平台构建

本书将以智能数据分析为主线，分三个部分进行介绍：部分将通过对数据分析发展历程及趋势的介绍，让读者通过浅显易懂的方式快速了解数据智能分析及其发展趋势；第二部分将详细讲述笔者通过经验总结的数据智能分析的思路、方法与技巧，帮读者在脑中建立起清晰的智能分析思路及分析体系；第三部分将通过各行业案例的介绍，侧重说明企业数据智能分析的价值体现。

为什么要写这本书
“数据是21世纪的石油，而分析则是内燃机。”
—Gartner研究院高级副总裁Peter Sondergaard

数据被类比为石油，是不可或缺的资源。企业、组织乃至社会的发展都离不开数据，只有找到合适的“内燃机”，才能真正让数据为我所用，发挥其真正的价值。这就是分析的重要性。
近年来，数字化经营、企业数字化转型已经成为耳熟能详的词汇，也是各大企业、组织争相追逐的方向及目标。我曾经扎根在企业管理信息系统的实施前线，并转而做了数据分析类产品经理，因此关于数据分析，我有太多的话要说。
在助力各大企业数字化转型过程中，我也在不断完善数字化平台，总结数据分析、数据管理、数字化经营的相关经验。经过多年的总结，我写下了这本书，希望能够给有数据分析相关需求的你们带来一些帮助。
数据分析离不开大数据技术。随着技术的发展，大数据已经逐步从以前的概念炒作期转变为落地实用期，世界也在从IT时代向DT时代转变，凡事“用数据说话”。在此过程中，人们越来越追求分析的敏捷性、响应的及时性以及分析过程的智能化，传统的数据分析已经难以满足日益增长的需求。但是对于智能化分析，绝大多数企业仍处于探索阶段，市面上对智能数据分析进行总结的书籍品种也非常稀缺。
所以，希望本书中的智能数据分析案例及实践能填补一些空缺，为从事数据分析相关工作的朋友打开更多的思路。
读者对象
从政府机构领导、企业的管理层，到零售行业老板、公司职员，无时无刻不在和数据打交道，工作时的各项决策都以数据为支撑，生活方面与数据的关系也越来越紧密。我们奉行人人都是数据分析师的理念，所以，如果你站在所属组织、企业的立场，可以通过本书了解企业智能数据分析方面信息化建设的方式和方法；如果你站在个人的角度，可以通过本书获知生活中的方方面面如何通过数据分析变得更加智能，让自己的生活变得更加丰富多彩。
希望读者在通读本书的时候可以把它当成故事书，在获得乐趣的同时享有收获，并在做某类型分析的时候能想起本书，将它当作工具书使用。
本书特色
业界将商业数据分析的发展分为3个阶段：传统BI阶段、大数据BI阶段和智能BI阶段。目前，信息化改革走在前列的各大企业正在从大数据BI阶段向智能BI阶段转变，未来的方向是智能BI。但是，目前市场上这个方向的图书非常少，且要么是某个专项产品应用的图书，要么是某专业方向领域的图书，要么是国外著作的译本或是纯理论性的教材。
本书根据我的亲身工作经验对企业智能数据分析进行体系化总结和介绍，提供独到的见解和实用的案例。这是本书在数据分析领域有别于其他图书的特点。
如何阅读本书
本书将以智能分析为主线，分3个部分：第一部分（第1、2章）将通过对数据分析发展历程及趋势的介绍，让读者通过浅显易懂的方式快速了解数据分析；第二部分（第3～5章）将详细讲述笔者通过经验总结的数据分析思路、方法与技巧，让读者在脑海中建立起清晰的分析思路及分析体系；第三部分（第6～8章）将通过对数据分析平台的构建方法及各行业案例的介绍，进一步加深读者对智能数据分析方式、方法的理解，并对其数据分析工作予以启发。
对于初识数据分析的读者，建议顺序阅读本书，以层层递进的方式逐步理解智能数据分析的方法及实践内容。对于有一定数据分析经验的读者，可以先快速浏览第1章，了解本书所涉及智能数据分析的范围，然后直接阅读第二部分或第三部分。对于工作和学习中遇到分析问题想找寻分析方法的读者，可以根据需要将第二部分当成工具书来阅读，将第三部分当作实践参考案例来阅读。
勘误和支持
由于作者水平有限，书中难免会有一些错误或者不准确的地方，恳请读者批评指正。你在阅读中发现的任何问题和意见，均可整理后发送邮件至[email protected]，期待得到你们的真挚反馈。
致谢
感谢我写书道路上的引荐人朱凯—《ClickHouse原理解析与应用实践》及《企业级大数据平台构建：架构与实现》的作者。你对新知识和新事物的探索与创新精神一直鼓励着我不断突破自己，让我能够下定决心写这本书。同时感谢你对书稿内容提出了很多宝贵的建议。
感谢在工作、学习和生活中曾给予我指导、帮助的每一位老师、同事和朋友—解来甲、李美平、陈婷、王昌宏、谢小明、彭一轩、熊文军、郑凤英、胡艺、李昂、潘登、王涛、库生玉、万梅、冯琴庆、何幼玲、张琛、贾晓希、杨柯、严晗、陈泽华、何宇、吴诚、官潇、李倩、周绪阳、王丽，以及名单之外的更多朋友，感谢你们对我的长期支持和鼓励。
感谢机械工业出版社编辑杨福川、孙海亮、董惠芝在我写作过程中给予鼓励和帮助，引导我顺利完成全部书稿。
最要感谢的是我的父母，感谢你们将我培养成人，并时时刻刻给予我信心和力量！
谨以此书献给我最亲爱的家人，以及热爱和从事数据分析相关工作的朋友们！

前言
第一部分　基础知识
第1章　初识智能数据分析2
1.1　智能数据分析的定义2
1.2　基础理论体系3
1.2.1　DIKW3
1.2.2　CRISPDM6
1.3　数据分析的发展8
1.3.1　分析思路的演进9
1.3.2　分析工具的发展11
1.3.3　组织体系的变革13
1.3.4　未来趋势15
1.4　本章小结18
第2章　智能数据分析基本知识19
2.1　数据分析之“痛”19
2.1.1　数据找不到19
2.1.2　数据质量差20
2.1.3　分析手段旧21
2.1.4　分析效率低21
2.1.5　数据杂乱21
2.2　数据分析之“悟”21
2.2.1　数据“收纳”21
2.2.2　寻找“好数据”25
2.2.3　向“数据科学家”看齐26
2.3　数据分析之“层”27
2.3.1　描述性分析29
2.3.2　诊断性分析34
2.3.3　预测性分析38
2.3.4　指导性分析39
2.4　数据分析之“法”41
2.4.1　分析思维41
2.4.2　分析方法42
2.5　本章小结43
第二部分　理论方法
第3章　数据资产管理46
3.1　认识数据资产管理47
3.1.1　发展历程47
3.1.2　基本内容48
3.2　数据之“管”50
3.2.1　数据的4个层次50
3.2.2　元数据52
3.2.3　数据标签53
3.2.4　主数据55
3.3　数据之“存”57
3.3.1　数据湖58
3.3.2　数据仓库59
3.3.3　数据集市60
3.4　数据之“算”61
3.4.1　数据清洗62
3.4.2　数据加工63
3.4.3　数据ETL65
3.5　数据之“规”65
3.5.1　数据标准65
3.5.2　规范制度67
3.6　数据之“治”67
3.6.1　高层负责67
3.6.2　组织保障68
3.6.3　机制建立68
3.7　本章小结69
第4章　数据统计及数据挖掘70
4.1　相关基础概念70
4.2　描述性统计分析方法71
4.2.1　常规统计72
4.2.2　集中趋势统计72
4.2.3　离散趋势统计76
4.3　诊断性分析方法77
4.3.1　因素分析法78
4.3.2　上卷与下钻78
4.3.3　关联分析79
4.4　预测性分析方法80
4.4.1　线性回归81
4.4.2　逻辑回归82
4.4.3　KMeans算法84
4.5　指导性分析方法85
4.5.1　决策树85
4.5.2　随机森林87
4.5.3　协同过滤88
4.5.4　神经网络90
4.6　本章小结93
第5章　数据可视化分析94
5.1　可视化简史94
5.1.1　18世纪以前：图形符号94
5.1.2　18～19世纪：统计图形从萌芽到繁盛95
5.1.3　20世纪：多维信息图形规范化98
5.1.4　21世纪以来：交互可视化99
5.2　可视化图表基础理论100
5.2.1　比较分析101
5.2.2　构成分析106
5.2.3　分布分析110
5.2.4　关联分析116
5.3　“好图表”和“坏图表”119
5.3.1　好看119
5.3.2　好懂123
5.3.3　好用125
5.4　“好报告”和“坏报告”127
5.4.1　布局合理129
5.4.2　色彩统一133
5.4.3　字体、字号协调133
5.5　可视化案例133
5.6　本章小结136
第三部分　平台实战
第6章　企业级智能数据分析平台搭建138
6.1　构建数据分析“生态系统”138
6.1.1　数据生态的范畴138
6.1.2　构建有效的组织体系141
6.1.3　营造良好的数据文化氛围145
6.2　搭建智能数据分析平台149
6.2.1　平台愿景150
6.2.2　基础设施151
6.2.3　建设内容155
6.3　本章小结160
第7章　企业级数据分析平台必备的能力161
7.1　多源化数据汇聚能力162
7.1.1　批式数据接入能力163
7.1.2　实时数据感知能力164
7.2　体系化指标管理能力168
7.2.1　指标体系构建能力169
7.2.2　指标计算及关系管理能力170
7.3　可视化数据准备能力173
7.3.1　数据清洗及加工能力173
7.3.2　数据链路管理及更新能力179
7.4　自助式分析展示能力179
7.4.1　多维度图表分析展示能力179
7.4.2　多表头表格分析展示能力185
7.4.3　出具多样化分析报告能力187
7.5　可管理的模型构建能力190
7.5.1　数据模型构建能力191
7.5.2　指标模型构建能力191
7.5.3　算法模型构建能力192
7.5.4　展示模型构建能力193
7.6　智能化搜索推荐能力193
7.6.1　智能数据搜索推荐能力194
7.6.2　智能问答语义解析能力197
7.6.3　智能文本生成能力200
7.7　本章小结201
第8章　智能数据分析平台应用案例及实践202
8.1　政府宏观经济大数据仓库202
8.1.1　宏观经济数据汇聚203
8.1.2　数据标准建立203
8.1.3　平台运行情况监控210
8.1.4　宏观经济分析场景211
8.2　电商运营与管理分析平台213
8.2.1　用户行为分析及商品推荐213
8.2.2　商品发售及库存安排216
8.2.3　销售情况实时监控217
8.3　集团企业经营管理数据分析平台218
8.3.1　分析平台门户218
8.3.2　经营管理指标体系构建219
8.3.3　主题场景模型搭建229
8.3.4　管理分析平台的应用230
8.4　本章小结232