编程菜鸟学Python数据分析

全书共15章，第1章介绍了学习python的好处何在以及如何高效地学习python；第2章介绍python、anaconda以及IDE的安装；第3章讲解编程的常识，包括io、文件系统、编码格式等；第4章介绍Excel和text文本的读写；第5章介绍数据处理神器-pandas；第6章介绍python的编程调试；从第7章开始进入数据分析的范畴，第7章介绍进行数据预处理；第8章介绍数据分析的常见问题和方法；第9章介绍在python中如何寻找异常值；第10章介绍相关和回归；第11章介绍聚类技术；第12章介绍决策树技术；第13章介绍关联分析技巧；第14章介绍降维技术；第15章介绍matplotlib绘图。

纪贺元
知名数据分析专家，资深软件工程师，曾就职于贝尔、摩托罗拉等多家知名企业，精通各类数据分析与挖掘技术，以及Excel、VBA、Python、PowerBI等数据分析软件工具。
曾基于VBA和Python开发多个应用系统，负责过多家企业的数据报表、流程支撑、市场调查、企业数据分析等项目，为金融、汽车、制造等多个行业的数十家企业提供过数据分析咨询服务，在数据分析、数字化系统开发部署、数据分析培训和咨询等方面拥有丰富的经验。尤其在数据分析培训领域，现已工作17年，授课总计超过1万小时，已帮助近万名学员顺利进入数据分析领域。

适读人群 ：本书主要适合于以下读者：? 非计算机科班出身的非金融企业工作人员，包括市场、运营、企划等部门人员。? 金融行业工作人员，包括证券、基金、信托、私募等。? 企业的各级管理
数据的重要性越来越高，甚至已经被国家提到高要素化的程度。数据资产化、数据治理等成为企业关注的重点方向，但是数据要想真正赋能企业发展，数据分析是必须要经历的过程。所以在数据要素时代，数据分析会更加重要。那么如何快速入门数据分析？没有编程经验的人如何快速入门数据分析？本书给出了答案。想转行做数据分析而又苦于没有基础的朋友，不妨试试这本书，这是得到了近万名学员肯定的零基础学数据分析课程的文字版。

为什么要写这本书
我在培训行业耕耘了10多年，作为专门培训数据分析技术的老师，我多年来一直很关注数据方面的相关书籍，可以说市面上绝大多数与数据分析相关的书我都看过，但发现现在市面上从编程“菜鸟”视角出发讲解Python数据分析的书比较少。
通过这么多年从事数据业务的培训和咨询，我对“菜鸟”读者的实际需求有了深入的了解，对他们的学习心态、知识储备、难点和痛点都心中有数。比如，不少刚刚上手Python编程的开发人员很关心Python的脚本是如何编译成.exe可执行文件的，虽然他们自己可以通过相关软件完成编译执行，但是他们的客户多数不会安装编译软件及搭建编程环境。再比如，“菜鸟”读者往往容易对枯燥的程序调试过程感到厌烦和恐惧，但是程序调试在编程中的重要性不言而喻。在刚刚上手写Python脚本的时候，开发人员往往遇到程序错误就不知所措，而合理使用程序调试则可以帮他们更快地找到问题。程序调试不仅对诊断程序错误的作用巨大，在帮助开发人员阅读Python脚本方面的作用也很明显。对于编程“菜鸟”来说，Python的对象以及对象中的属性和方法，都是比较晦涩难懂的，如果他们能熟练掌握程序调试技巧，大部分的Python脚本都会变得更加简单易懂。
针对以上需求，我撰写了本书。简而言之，这是一本专门写给编程“菜鸟”的Python数据分析书，无论是结构编排、内容组织还是语言风格，都针对这部分读者的实际需求来安排。
读者对象
本书的读者对象如下。
Python数据分析应用的初学者。这部分读者通过本书可以快速掌握Python数据分析的各项基础技能，从而有效应对Python数据分析的实际工作。
Python编程的初学者和爱好者。这部分读者通过本书不仅可以掌握Python的基础知识，实现Python编程入门，还可以结合Python在数据分析领域的应用案例，提高Python编程实践水平。
Python数据分析的培训老师和学员。本书脱胎于作者的一线培训经验，适合广大培训机构的老师和学员使用。
Python编程的中级开发者。这部分读者可以通过本书进一步丰富Python编程经验，掌握Python编程的实际应用。
大学应届毕业生。这部分读者可以通过本书入门Python，获得贴近真实工作场景的实践，增强面试优势。
本书的编排特色
本书的编排特色如下。
本书针对编程“菜鸟”的学习特点进行章节设计。例如，第2章详细介绍了Python的工作环境、Python的两种解释器以及如何编译成.exe可执行文件，第3章详细介绍了Python的编程基础知识，第4章深度剖析了程序调试（debug）。我深知如果编程“菜鸟”没有掌握这些内容，很难上手写Python脚本。
本书尽可能多地介绍Python在实际工作中的应用场景。例如，在数据结构部分，我特别强调字典这一数据结构在大数据分析和去重统计中的应用，同时强调集合这一数据结构在数据比对（差集）中的应用。本书通过实际应用场景介绍Python功能的例子还有很多，这种撰写方法能够较好地将Python的功能点和实际应用场景相结合，便于读者尤其是编程初学者快速掌握本书的内容。
本书添加了大量可实操的数据分析方法与模型。例如，第10～14章介绍了各种不同的重要而经典的数据分析模型；即使是总览数据分析方法的第9章也保证了所介绍的定量型数据分析方法是可实操的。
第15章提供了多个爬虫爬取数据的实例，更能满足Python编程“菜鸟”的需求。
另外，为了降低读者的学习门槛和成本，本书尽量压缩了文字的篇幅，不讲无用的理论，只讲能够帮助读者实践的干货知识。同时，本书提供了大量可以直接使用的代码以及直观的图表，以帮助读者更轻松地掌握所学知识。
如何阅读本书
本书分为两篇，主要内容如下。
Python基础篇（第1～7章）：主要介绍了Python的工作环境、编程基础、Excel数据文件的操作、pandas数据包的应用等。对于Python初学者，这部分内容是必学的。学完这部分内容，读者不仅可以快速掌握Python编程基础，还能快速入门数据分析操作，从而应对大部分初级的Python数据分析类工作。
Python数据分析高级篇（第8～15章）：着重介绍了Python在诸多数据分析模型中的应用，包括数据预处理、相关与回归、分类、决策树、关联分析、降维等重要且经典的数据模型，还介绍了爬虫的诸多实践案例。有一定Python数据分析应用经验的读者，可以直接从这部分开始阅读。通过学习这部分内容，读者可以快速掌握Python数据分析的各种高级技法，从而成长为中高级数据分析人员。
致谢
首先，感谢阅读本书的读者，你们是我撰写本书的动力，也是激励我不断前行的动力。
其次，感谢在撰写本书过程中为我提供帮助的所有朋友。
最后，感谢我的家人，是家人承担起繁重而琐碎的家务，让我能专心投入到写作中，他们时时刻刻都给予我信心和力量！

前　言
Python基础篇
第1章　学习Python的优势　　2
1.1　Python的特色　　2
1.1.1　代码简单易懂　　3
1.1.2　包罗万象的Python包　　5
1.1.3　超高的知名度和广泛的应用面　　6
1.2　学习Python的收获　　7
1.2.1　工作效率的提升　　7
1.2.2　工作能力的增强　　7
1.2.3　职场竞争力的提高　　8
1.3　如何高效地学习Python　　8
1.3.1　打好编程基础　　8
1.3.2　多“攒”代码　　8
1.3.3　精通代码调试　　9
1.3.4　面向实际工作场景　　10
第2章　Python的工作环境　　11
2.1　Python工作环境的构成　　11
2.1.1　核心的Python软件　　11
2.1.2　Anaconda　　12
2.1.3　IDE　　13
2.2　安装过程中的常见问题　　14
2.3　Python的两种解释器　　14
2.4　包的安装　　22
2.4.1　在线安装　　22
2.4.2　离线安装　　23
2.5　PyCharm中的解释器配置　　26
2.5.1　两种解释器的配置　　27
2.5.2　Anaconda中第三方包的配置　　31
2.6　编译.py文件生成.exe文件　　33
第3章　Python编程基础　　38
3.1　与文件系统相关的5个常见问题　　38
3.2　编码格式　　43
3.3　Python编程中的特殊之处　　45
3.4　Python中的数据结构　　46
3.4.1　序列　　47
3.4.2　列表　　49
3.4.3　元组　　51
3.4.4　字典　　52
3.4.5　集合　　57
3.5　Python基础语句　　59
第4章　Python程序调试　　62
4.1　程序调试的常识　　62
4.2　Python代码的常见错误类型　　63
4.3　程序调试方法　　64
4.3.1　程序调试的基本操作　　64
4.3.2　程序调试的基本方法　　77
第5章　Excel和Text文件的读写操作　　79
5.1　Text文件读写包　　79
5.2　Excel读写的四重循环　　81
5.3　openpyxl包　　83
5.4　xlsxwriter包　　87
第6章　数据处理神器pandas　　90
6.1　pandas的安装　　90
6.2　pandas的数据结构　　91
6.3　pandas数据处理　　96
6.3.1　从Excel文件中读取数据　　96
6.3.2　切片　　97
6.3.3　排序、筛选与分类汇总　　100
6.3.4　数据合并　　105
6.4　pandas统计分析　　111
6.4.1　统计分析指标　　111
6.4.2　pandas绘图　　116
6.5　其他pandas功能　　117
第7章　Matplotlib图形呈现包　　118
7.1　Matplotlib包介绍　　118
7.2　利用Matplotlib包绘图　　119
7.2.1　折线图　　119
7.2.2　散点图　　125
7.2.3　柱状图　　126
7.2.4　饼图　　126
7.2.5　直方图　　131
7.3　图形部件绘制代码　　132
7.4　综合绘图示例　　135
Python数据分析高级篇
第8章　数据预处理　　140
8.1　数据预处理的目标和方法　　140
8.1.1　缩放法　　141
8.1.2　分段转换　　144
8.1.3　定性数据定量化　　144
8.1.4　数据填充　　145
8.2　Python数据预处理的方法　　147
第9章　数据分析的常见问题和方法　　150
9.1　数据分析的常见问题　　150
9.1.1　数据采集问题　　150
9.1.2　数据描述问题　　151
9.1.3　数据间关系的界定和挖掘问题　　151
9.1.4　时间序列（预测）问题　　152
9.2　数据分析的常见方法　　152
9.2.1　标识分析法　　152
9.2.2　排序分析法　　154
9.2.3　漏斗分析法　　154
9.2.4　二八分析法　　156
9.2.5　异常值分析法　　158
9.2.6　对比分析法　　164
9.2.7　分组（类）分析法　　166
9.2.8　因果关系判断法　　166
9.2.9　假设排除分析法　　167
9.2.10　趋势分析法　　167
第10章　相关与回归　　169
10.1　相关　　169
10.1.1　相关分析的含义　　169
10.1.2　相关分析在Excel软件中的实现　　171
10.1.3　相关分析在Python中的实现　　176
10.2　回归　　178
10.2.1　线性回归　　180
10.2.2　非线性回归　　183
10.2.3　多元线性回归　　186
10.2.4　Logistic回归　　187
第11章　分类　　192
11.1　KNN算法　　193
11.2　聚类原理　　196
11.3　聚类在Python中的实现　　198
第12章　决策树　　202
12.1　决策树原理　　203
12.2　决策树代码解析　　204
第13章　关联分析　　210
13.1　关联分析原理　　211
13.2　关联分析的数据预处理　　215
13.3　关联分析代码解析　　216
第14章　降维　　220
14.1　为什么要降维　　221
14.2　用Python实现主成分分析　　223
第15章　通过爬虫获取数据的方法与实践　　227
15.1　爬虫基本原理　　228
15.2　爬虫爬取的内容　　228
15.3　爬虫实践　　229
15.3.1