Python数据处理

本书是一本关于Python数据整理和数据质量的实用指南，主要介绍了如何使用Python进行数据清洗、转换和整合，以及如何确保数据的准确性和一致性。本书涵盖了数据整理基础、数据清洗、数据转换、数据整合、数据质量检查和数据可视化等内容。通过丰富的实例和代码示例，读者可以掌握Python数据整理和数据分析的相关技能。无论你是数据分析师、数据科学家还是其他领域的数据从业者，本书都不仅能够帮助你提高工作效率，还能够让你更好地理解和应用数据科学相关的知识和技能。

Susan E. McGregor是哥伦比亚大学数据科学研究所的研究员，也是该研究所数据、媒体和社会中心的联合主管。十多年来，她一直在向非理工科的专业人士、研究生及本科生讲授编程与数据分析课程，并不断完善自己的教学方式。

数据无处不在，它们蕴含着独特的信息和有价值的故事，本书将帮助你发掘它们。无论你已经开始处理数据，还是想要学习如何处理数据，都能通过本书中的示例与技术学会更好地清洗、评估并分析数据，以形成有意义的洞见，并制作出有说服力的可视化图表。
作者既讲解了基本概念，也给出了专业建议，并且提供了相应的资源来帮助大家学会提取、评估并分析各种数据源和数据格式。另外，作者还讲解了相应的工具，让你能够有效地与他人交流，让对方了解自己通过分析这些数据所得到的观点。本书没有艰深的术语，适合各种水平的数据从业者阅读，无论你是纯粹的新手还是有经验的专业人士，都可以通过本书学会如何驾驭数据。
通过学习本书，你将：
*使用Python 3.8以上的版本读写和转换各种来源的数据。
*理解并使用基本的Python编程技术来整理大规模的数据。
*使用各种经验法则来组织代码的结构并为其撰写文档。
*从结构化数据文件、网页和API中收集数据。
*执行基本的统计分析，以便从数据集中得出有意义的结论。
*用清晰且具有说服力的方式可视化和展示数据。

在大数据时代，许多人都会通过各种渠道与数据相遇，例如，我们平常浏览的新闻、博客、纪录片、社交网站及教学视频等，均以数据来支持其报道或论述。另外，还有很多广告、推荐算法与追踪技术，也特别依赖数据。

本书要讲解的正是与数据有关的两个重要话题：一是为什么要自己来整理数据，二是为什么要用编程手段整理数据。

数据是由人收集并整理的，因此难免带有成见。自己整理数据，并不是要一味否定别人的观点，而是为了学会从多种角度观察同一数据，并在许多数据之间进行对比。每个人的想法、立场与经验各有区别，把大家的观点汇聚起来，让这些观点彼此沟通、碰撞，更有可能揭示事件的全貌。

数据的来源与格式繁多，其中有些数据还带有错误与缺陷，为了整理数据，我们需要一套高效的工具来评估数据质量，把许多互补的数据整合，并利用各种指标与统计手段分析数据。最后，通过有力的可视化图表呈现其中的关键信息，以支撑自己从数据中得出的观点。

与手工整理相比，用编程手段整理数据可以更好地获取原始信息，修正其中的问题，并利用其他数据来予以补充。编程语言，尤其是Python这样容易入门的编程语言，让我们能够迅速写出脚本，用自己的想法实验数据，以求从各个方面做出分析，从而解答我们所关注的问题。而且Python语言包含丰富的程序库，使我们能够便利地读取、转换、分析并呈现数据。另外，编程手段能够处理大规模的数据，能够把相同的处理逻辑反复运用到不同的项目，而且能跟版本管理系统结合，让你更有效地完善自己的分析方法并与其他人交流。从这个意义上讲，大家都应该学一学编程。

本书以共享单车及贷款等数据为例，详细讲解了用Python来整理数据的每一个环节，全职的开发者与从事其他工作的人都适合阅读本书。你可以结合自身的学习过程，改编书中的代码，逐渐积累起自己的一套程序库及工作流程，以整理各种与生活及社会现象有关的数据，从而更加全面地了解世界。

在翻译本书的过程中，我得到了机械工业出版社华章分社各位编辑的帮助，在此深表谢意。

由于译者时间仓促、水平有限，错误与疏漏在所难免，请大家给予批评和指教。

爱飞翔

第1章 数据整理与数据质量简介7
1.1 什么是数据整理8
1.2 什么是数据质量9
1.3 为什么选用Python语言整理数据12
1.4 编写并运行Python代码14
1.5 如何在自己的设备上编写Python代码16
1.6 在网页版的开发环境中编写Python代码25
1.7 编写“Hello World!”程序25
1.8 添加代码28
1.9 运行代码29
1.10 撰写文档、保存工作资料和管理不同版本的资料29
1.11 小结40
第2章 Python 入门41
2.1 词性42
2.2 用循环结构与条件结构控制程序的走向51
2.3 代码中可能出现的各种错误59
2.4 用Citi Bike数据来演示如何编写数据整理程序67
2.5 小结74
第3章 了解数据质量75
3.1 判断数据是否合适77
3.2 判断数据是否完整83
3.3 提升数据的质量92
3.4 小结94
第4章 用Python处理基于文件与基于feed的数据95
4.1 结构化的数据与非结构化的数据97
4.2 处理结构化的数据101
4.3 以了解失业情况为例来整理现实数据110
4.4 处理非结构化的数据141
4.5 小结147
第5章 访问网络数据148
5.1 联网访问在线的 XML 与 JSON 数据150
5.2 API 简介152
5.3 以搜索引擎为例讲解如何调用基本的API153
5.4 如何调用带有基本身份认证机制的API155
5.5 阅读API文档157
5.6 使用Python时保护你的API密钥160
5.7 如何调用带有 OAuth 认证机制的API166
5.8 调用API时所应遵循的行为准则178
5.9 获取数据的最后一招：网页抓取180
5.10 小结189
第6章 评估数据质量190
6.1 流行病与PPP192
6.2 评估数据的完整程度192
6.3 评估数据的适合程度220
6.4 小结225
第7章 清洗、转换和增强数据227
7.1 如何从 Citi Bike 数据中选取一部分内容228
7.2 把数据文件清洗干净238
7.3 把 Excel 表格中的日期处理好241
7.4 把定宽数据转换成真正的 CSV 文件244
7.5 修正拼写不一致的现象246
7.6 为了找到简单方案而走过的弯路251
7.7 一些容易出错的地方254
7.8 增强数据255
7.9 小结257
第 8 章 调整并重构代码259
8.1 重新思考自定义的函数259
8.2 什么是作用域261
8.3 为函数设计参数263
8.4 返回值266
8.5 以嵌套的形式调用函数267
8.6 既有趣又有用的重构269
8.7 用 pydoc 给自定义的脚本与函数撰写文档279
8.8 让Python脚本支持命令行参数283
8.9 命令行脚本与notebook的区别286
8.10 小结287
第9章 数据分析入门288
9.1 情境很重要289
9.2 常规与反常290
9.3 评估集中趋势291
9.4 另辟蹊径：识别异常值293
9.5 数据分析可视化293
9.6 这些200万美元的贷款记录是怎么回事306
9.7 注意按比例计算317
9.8 小结320
第10章 展示数据322
10.1 视觉说服力323
10.2 把整理数据后形成的观点表达出来325
10.3 如何选择图表326
10.4 视觉说服力要素342
10.5 通过 seaborn与matplotlib库自定义更好的可视化图表346
10.6 提高设计水平351
10.7 小结352
第11章 Python 以外的工具353
11.1 查看数据的其他工具353
11.2 分享并展示数据的其他工具357
11.3 考虑原则问题359
11.4 小结360
附录A 其他Python编程资源361
附录B 再讲一讲 Git365
附录C 获取数据的渠道371
附录D 与可视化及信息设计有关的资源376