Pandas通关实战（计算机技术开发与应用丛书）

本书系统阐述了Pandas基础知识、应用原理，以及应用流程和应用技巧等实战知识。

全书共分为5篇：第一篇为入门篇（第1和2章），第二篇为基础篇（第3和4章），第三篇为基础强化篇（第5~7章），第四篇为进阶篇（第8~11章）, 第五篇为案例篇（第12章）。书中主要内容包括Python简介、NumPy基础、Pandas入门、数据筛选、数据转换、文本转换、数据获取、数据处理、数据分组、时序分析、数据可视化、通关案例。

本书可作为Python数据分析的入门与进阶书籍，适用于有一定Python基础的读者、对数据分析感兴趣的学生，也可作为数据分析及其它编程爱好者、IT培训机构的参考书籍。

黄福星，精益六西格玛黑带，物流职业经理人（运营总监）。20多年工作经历，职业生涯横跨大型生产制造、综合保税物流与供应链、快递快运与新零售等。在信息流指导物流、数据指导改善、物流降本增效方面经验丰富，能够熟练地将精益改善技术与大数据分析技术运用于各类现场管理。

在计算机应用领域，大数据应用是最热门的主题之一； 在近几年的计算机流行语言排行榜中，Python是当前最热门的语言之一。在计算机大数据处理方面，Pandas是Python的数据分析利器，它在数据的增、删、改、查及时序分析等方面，功能十分强大且语言相当简单。可以这样说，正是因为Pandas的加入才让Python在数据分析领域有一席之地。

在日常的工作与生活中，Excel因为灵活、高效及易获取性，不管是早期推出的函数与VBA，还是近几年推出的Power BI(内置Power Query、Power Pivot等)，都让其因此拥有数量庞大的用户群，从而成为众多数据分析师的首选。如果说Excel是一款数据处理神器，则Pandas同样是一款数据处理与分析神器，它们二者的应用功能存在较高的重叠性，但Pandas更为灵活、功能更强大。此外，Pandas能与Excel、CSV、SQL等日常数据进行高效无缝对接，因而越来越受到数据分析师的追捧。

回想笔者当年学习Python的经历，众多的Python第三方库、可操作Excel库曾让笔者迷糊过，也曾因此有过“从入门到放弃”的经历。直至遇到Pandas，在深入了解Pandas后，才发现原来自己当年走了弯路。这些年来“从入门到放弃”的经历与感悟萌生了笔者想写一本有关“Python数据分析、Pandas数据分析”相关书籍的想法，把那些学习中必要的知识点聚集起来，把那些学习过程的干扰因素一一摒除掉，用一个标准的流程与方法论解释一个完整的学习过程，然后用一个最简单的小数据诠释大数据的应用原理，让所有的读者不再有“从入门到放弃”的经历成为笔者写作本书的动力与目标。

本书主要内容

本书秉承less is more(少即是多)的原则，追求“简约但不简单”的风格。从入门篇到进阶篇的11章，主要围绕着一个简单的“7行8列的数据”进行有效讲解，把Pandas中使用频率最高的或效率最高的80%的函数、方法、属性有效地串接起来，以减少读者理解不同数据源的时间，让更多的精力聚焦于专业知识的学习。最后通过一个实用的案例，把Pandas的重要知识点一一串接起来，并最终轻松转化为实战案例，这也是本书的主要特色。

本书不局限于讲解Pandas语法与Python数据分析，更结合5W1H和IE(工业工程)中的ECRS(删除、合并、重组、简化)与ESIA(删除、简化、整合、自动化)的管理分析方法，通过管理学与数据分析方法的高效融合，最终实现simplicity is the best(简单就是最好的)，力争一次性将所有的实战知识点掌握到位。

本书源代码

扫描下方二维码，可获取本书源代码。

本书源代码及数据源

致谢

首先要感谢清华大学出版社赵佳霓编辑，从策划到落地过程中的全面指导，她细致、专业的指导让笔者受益良多。

还要感谢笔者的妻子。本书是笔者利用业余时间完成的，写作的过程中占据了大量的个人时间及家庭时间，她的理解与支持是笔者最大的动力。

感谢笔者的父母，是你们的谆谆教诲才使笔者一步一个脚印地走到今天。

由于时间仓促，书稿虽然经过全面检查，但疏漏之处在所难免，敬请读者批评指正，你们的反馈是笔者进步的动力。

黄福星2022年3月

目录

第1篇入门篇

第1章Python简介

1.1Pandas简介

1.2Pandas数据分析

1.3Jupyter与Anaconda

1.4Anaconda、conda与pip

1.4.1Anaconda

1.4.2conda

1.4.3Anaconda与conda

1.5Anaconda的下载与安装

1.6Anaconda安装简介

1.6.1安装步骤

1.6.2Anaconda Navigator简介

1.6.3Anaconda Prompt使用简介

1.6.4Anaconda Navigator与Anaconda Prompt

1.6.5conda与pip

1.6.6Nbextensions

1.7Jupyter Notebook简介

1.7.1代码模式

1.7.2Markdown模式

1.8Jupyter Notebook快捷键简介

1.9本章回顾

第2章NumPy基础

2.1对象、数据、数组

2.1.1位与字节

2.1.2对象

2.1.3数组

2.2数组的创建方式

2.2.1ndarray

2.2.2np.array()

2.2.3np.arange()

2.2.4np.linspace()

2.2.5np的特殊函数

2.3数据的基本属性

2.3.1NumPy数组属性

2.3.2改变数组的形状

2.3.3数组堆叠与分割

2.3.4广播机制

2.4通用函数(ufunc)

2.4.1排序函数

2.4.2一元函数

2.4.3多元函数

2.4.4数学函数

2.4.5随机函数

2.4.6字符串函数

2.4.7条件操作

2.4.8高阶操作

2.5本章回顾

第2篇基础篇

第3章Pandas入门

3.1Series

3.1.1Series基础知识

3.1.2Series的构建

3.1.3Series的常用转换方法

3.1.4Series的“十八招”

3.2DataFrame

3.2.1DataFrame基础知识

3.2.2创建

3.2.3DataFrame相关知识

3.3本章回顾

第4章数据筛选

4.1Python基础

4.1.1运算符

4.1.2视图与复制

4.1.3常用操作

4.2条件表达式

4.2.1条件筛选(索引)

4.2.2条件查询

4.2.3条件赋值

4.3数据删除

4.3.1缺失值

4.3.2重复值

4.3.3异常值

4.4数据重组

4.4.1填充

4.4.2重排

4.5axis转换

4.5.1rename()

4.5.2rename_axis()

4.5.3reindex()

4.5.4reset_index()

4.5.5set_index()

4.5.6MultiIndex()

4.6本章回顾

第3篇基础强化篇

第5章数据转换

5.1基础知识

5.1.1程序结构

5.1.2循环语句

5.2映射函数

5.2.1map()

5.2.2apply()

5.2.3applymap()

5.3各类转换

5.3.1数据类型转换

5.3.2数据结构转换

5.3.3文本格式转换

5.3.4style样式转换

5.4本章回顾

第6章文本转换

6.1文本字符串

6.1.1文本基础

6.1.2应用流程

6.2Python字符串

6.2.1识别阶段(Identity)

6.2.2清洗阶段(Elimilate)

6.2.3组合阶段(Combine)

6.2.4转换重组(Rearrange)

6.3正则表达式

6.3.1元字符

6.3.2用法

6.4Pandas的方法

6.4.1识别阶段(Identity)

6.4.2转换重组(Rearrange)

6.5本章回顾

第7章数据获取

7.1读取数据源

7.1.1pd.read_excel()

7.1.2pd.ExcelFile.parse()

7.1.3pd.read_csv()

7.2存储数据

7.2.1df.to_excel()

7.2.2pd.ExcelWriter()

7.2.3共性总结

7.3追加与合并

7.3.1(常规)追加

7.3.2追加(append)

7.3.3合并(combine)

7.3.4连接(join)

7.3.5按轴向合并(concat)

7.3.6融合(merge)

7.4文档的批量操作

7.4.1批量合并同一文件夹中的workbook

7.4.2批量合并同一文件工作簿中的worksheet

7.4.3批量更改DataFrame中的列名

7.4.4批量拆分DataFrame

7.5与xlwings的互动

7.5.1创建新工作簿

7.5.2批量修改电子表格名称

7.5.3在新增电子表格中插入图表

7.6本章回顾

第4篇进阶篇

第8章数据处理

8.1统计学基础

8.1.1概率与数理统计

8.1.2数据的离散化

8.1.3四则运算

8.2数据操作

8.3DataFrame处理

8.3.1Pandas的方法链

8.3.2assign()

8.3.3eval()

8.3.4pipe管道

8.4本章回顾

第9章数据分组

9.1Split阶段

9.1.1by参数

9.1.2axis参数

9.1.3level参数

9.1.4as_index参数

9.1.5dropna参数

9.2Apply阶段

9.2.1直接聚合

9.2.2agg

9.2.3map

9.2.4apply

9.2.5transform

9.2.6filter

9.3透视表

9.4进阶应用

9.4.1assign

9.4.2pipe管道

9.5批量保存分组对象

9.5.1保存为同一文件夹内的多个工作簿

9.5.2保存为同一工作簿中的多个工作表

9.5.3保存为多个工作簿中的多个工作表

9.6本章回顾

第10章时间序列

10.1Excel时间函数

10.2datetime模块

10.2.1date类

10.2.2time类

10.2.3datetime类

10.2.4timedelta类

10.3时间点

10.3.1pd.to_datetime

10.3.2pd.Timestamp

10.3.3DatetimeIndex时间戳索引

10.3.4pd.date_range()

10.4时间段

10.4.1Period

10.4.2Period_range

10.4.3asfreq时期的频率转换

10.4.4Timestamp与Period互相转换

10.5时间差

10.5.1运算规则说明

10.5.2参数的传递方式

10.6重采样

10.6.1使用方法

10.6.2降采样

10.6.3升采样和插值

10.6.4其他采样

10.7偏移

10.7.1shift()

10.7.2diff()

10.7.3rolling()

10.8本章回顾

第11章数据可视化

11.1可视化

11.1.1可视化基础

11.1.2可视化图形

11.2Matplotlib

11.2.1基本语法

11.2.2可视化的应用流程

11.2.3图表的选择与应用

11.3df.plot()

11.3.1参数对照表

11.3.2应用说明

11.4Seaborn

11.4.1设置

11.4.2图表应用

11.5本章回顾

11.5.1本章内容回顾

11.5.2时序数据图表化

第5篇案例篇

第12章实战案例分析

12.1项目说明

12.1.1行业描述

12.1.2项目背景

12.1.3项目推行计划

12.1.4KPI指标体系

12.2数据现状

12.2.1数据来源说明

12.2.2获取数据

12.2.3数据转换

12.3数据探索

12.3.1客户订单量

12.3.2业务的相关性

12.3.3订单消费额

12.3.4探索性挖掘

12.3.5盈利情况

12.4数据分析结论

12.4.1数据质量现状

12.4.2后续改善要求

12.4.3指导意见

12.4.4方法论整理