Python 3 爬虫、数据清洗与可视化实战（第2版）

本书是一本通过实战教初学者学习爬取数据、清洗和组织数据进行分析和可视化的Python 读物。书中案例均经过实战检验，笔者在实践过程中深感采集数据、清洗和组织数据的重要性，作为

一名数据行业的“码农”，数据就是沃土，没有数据，我们将无田可耕。

本书共13 章，包括6 个核心主题，其一是Python 基础入门，包括环境配置、基本操作、数据类型、语句和函数；其二是Python 爬虫的构建，包括网页结构解析、爬虫流程设计、代码优化、爬虫效率优化、无线端的数据采集、容错处理、反防爬虫、表单交互和模拟页面点击；其三是Python数据库应用，包括MongoDB、MySQL 在Python 中的连接与应用；其四是数据清洗和组织，包括NumPy 数组知识，以及pandas 数据的读写、分组、变形，缺失值、异常值和重复值处理，时序数据处理和正则表达式的使用等；其五是综合应用实例，帮助读者贯穿爬虫、数据清洗与组织的过程；最后是数据可视化，包括matplotlib 和pyecharts 两个库的使用，涉及饼图、柱形图、线图、词云图等图形，帮助读者进入可视化的殿堂。

本书以实战为主，适合Python 初学者及高等院校相关专业的学生阅读，也适合Python 培训机构作为实验教材。

零一

原名陈海城，慕研数据分析师事务所创始人，电商数据专家，数据分析师，开发工程师；从事教育培训、数据分析和人工智能行业，专注于电商企业的数据化服务。

韩要宾

CDA数据分析研究院资深讲师；5年电商从业经验，4年数据挖掘实战经验；专注于数据分析与挖掘、机器学习、深度学习，服务客户包括苏宁易购、迪卡侬、百草味、浙江师范大学等。

黄园园

具有10年软件开发经验，全栈工程师，六西格玛黑带，精通Python和机器学习算法，具有丰富的分布式爬虫开发经验；曾在苏州三星电子电脑（SESC）、新加坡电信（NCS）、希捷科技（Seagate Technology）等世界知名企业研发部工作，参与过花旗银行在线支付系统、银行账单自动化审核系统等大型软件开发，曾任杭州沐垚科技有限公司CTO。

这本Python爬虫技术书是一个完整大数据应用框架：从数据收集、分析到数据可视化、数据建模。本书各章节以实际案例为出发点，对大数据分析、爬虫技术应用感兴趣的小伙伴们来说，值得购买。

前言

Python 是军刀型的开源工具，被广泛应用于Web 开发、爬虫、数据清洗、自然语言处理、机器学习和人工智能等方面，而且Python 的语法简洁易读，这让许多编程入门者不再望而却步，因此，Python 在最近几年非常受欢迎，各行各业的技术人员都开始使用Python。

本书内容来自笔者在高校授课的内容，主要介绍如何运用Python 工具获取电商平台的页面数据，并对数据进行清洗和存储。本书简化了Python 基础部分，从而保证有足够的篇幅来介绍爬虫、数据清洗和可视化的内容。

本书第１版自出版以来受到各界人士的青睐，为了给读者更好的体验，第2 版的代码和数据都保存在Gitee 上，读者可通过访问笔者的Gitee 主页获取资料。第2 版在内容上新增了习题、手机App 数据的采集方法和Selenium 的基础操作，其中习题包含选择题、判断题、填空题、实操题和应用题。

本书采用的Python 版本是Python 3.6.2。虽然目前一些高校和开发者在使用Python 2.7，但是Python 团队在2020 年1 月1 日停止了对Python 2.7 的支持、更新，因此Python 2.X 转向Python 3.X是大势所趋。

本书第1 章简单介绍Python 和相关的IDE，如果读者完全没有Python 基础，那么建议选购一本基础书作为辅助。第2～7 章介绍爬虫的实例，实现从最简单的爬虫到相对较复杂的爬虫，涉及的爬虫包有requests、Scrapy 和Selenium，采集对象有PC 网页和手机App。鉴于实例的限制，本书的爬虫内容没有涉及代理服务器和验证码处理等问题。第8 章介绍了4 个知名网站的采集案例。

第9 章介绍在Python 中如何连接并操作数据库。第10 章介绍了NumPy 及其用法。第11 章详细介绍了pandas 的功能，pandas 是Python 数据清洗和建模中非常重要的库。第12 章用两个完整的案例展示了从爬虫到建模的过程。第13 章介绍了Python 的数据可视化，选用的库是matplotlib 和pyecharts，其中详细介绍了pyecharts。鉴于笔者水平有限，书中不足之处请读者不吝指教。

说明

网络爬虫作为一项技术，更应该服务于社会。在使用该技术的过程中，应遵守Robots 协议。同时，需要注意对数据所涉及的知识产权和隐私信息进行保护。另外，在采集数据时，需要注意礼貌，即不频繁地请求网页，以防止给数据提供者的服务器造成不良影响。在使用所采集的数据时，需要注意是否涉及商业利益和相关法律。本书中所使用的案例皆为测试案例，仅供读者学习使用，本书中的URL 均做了处理。

第1 章 Python 语言基础 1

1.1 安装Python 环境 1

1.1.1 Python 3.6.2 安装与配置 1

1.1.2 使用IDE 工具——PyCharm 4

1.1.3 使用IDE 工具——Anaconda 4

1.2 Python 操作入门 5

1.2.1 编写第一个Python 代码 5

1.2.2 Python 基本操作 . 8

1.2.3 变量 . 10

1.3 Python 数据类型 . 10

1.3.1 数字 . 10

1.3.2 字符串 11

1.3.3 列表 . 14

1.3.4 元组 . 15

1.3.5 集合 . 15

1.3.6 字典 . 15

1.4 Python 语句与函数 16

1.4.1 条件语句 16

1.4.2 循环语句 16

1.4.3 函数 . 17

1.5 习题 18

第2 章 数据采集的基本知识 . 25

2.1 关于爬虫的合法性 25

2.2 了解网页 . 27

2.2.1 认识网页结构 28

2.2.2 写一个简单的HTML 28

2.3 使用requests 库请求网站 . 30

2.3.1 安装requests 库 30

2.3.2 爬虫的基本原理 32

2.3.3 使用GET 方式抓取数据 . 33

2.3.4 使用POST 方式抓取数据 .. 34

2.4 使用Beautiful Soup 解析网页 37

2.5 清洗和组织数据 . 41

2.6 爬虫攻防战 42

2.7 关于什么时候存储数据 . 45

2.8 习题 45

第3 章 用API 爬取天气预报数据 . 48

3.1 注册免费API 和阅读技术文档 . 48

3.2 获取API 数据 50

3.3 存储数据到MongoDB 55

3.3.1 下载并安装MongoDB . 55

3.3.2 在PyCharm 中安装Mongo Plugin . 56

3.3.3 将数据存入MongoDB 中 59

3.4 MongoDB 数据库查询 61

3.5 习题 64

第4 章 大型爬虫案例：抓取某电商网站的商品数据 . 65

4.1 观察页面特征和解析数据. 65

4.2 工作流程分析 74

4.3 构建类目树 75

4.4 获取景点产品列表 78

4.5 代码优化 . 80

4.6 爬虫效率优化 .. 84

4.7 容错处理 . 87

4.8 习题 87

第5 章 采集手机App 数据 . 89

5.1 模拟器及抓包环境配置 . 89

5.2 App 数据抓包 .. 93

5.3 手机App 数据的采集 95

5.4 习题 96

第6 章 Scrapy 爬虫 . 98

6.1 Scrapy 简介 98

6.2 安装Scrapy 99

6.3 案例：用Scrapy 抓取股票行情 . 100

6.4 习题 . 108

第7 章 Selenium 爬虫 109

7.1 Selenium 简介 109

7.2 安装Selenium 111

7.3 Selenium 定位及操作元素 . 111

7.4 案例：用Selenium 抓取某电商网站数据 . 114

7.5 习题 . 122

第8 章 爬虫案例集锦 124

8.1 采集外卖平台数据 . 124

8.1.1 采集目标 124

8.1.2 采集代码 126

8.2 采集内容平台数据 . 127

8.2.1 采集目标 127

8.2.2 采集代码 129

8.3 采集招聘平台数据 . 130

8.3.1 采集目标 130

8.3.2 采集代码 132

8.4 采集知识付费平台数据 .. 133

8.4.1 采集目标 133

8.4.2 采集代码 136

第9 章 数据库连接和查询 137

9.1 使用PyMySQL . 137

9.1.1 连接数据库 .. 137

9.1.2 案例：某电商网站女装行业TOP100 销量数据 139

9.2 使用SQLAlchemy .. 141

9.2.1 SQLAlchemy 基本介绍 . 141

9.2.2 SQLAlchemy 基本语法 . 142

9.3 MongoDB . 144

9.3.1 MongoDB 基本语法 144

9.3.2 案例：在某电商网站搜索“连衣裙”的商品数据 145

9.4 习题 . 146

第10 章 NumPy 数组操作 148

10.1 NumPy 简介 148

10.2 一维数组 149

10.2.1 数组与列表的异同 149

10.2.2 数组的创建 150

10.3 多维数组 151

10.3.1 多维数组的高效性能 151

10.3.2 多维数组的索引与切片 152

10.3.3 多维数组的属性和方法 153

10.4 数组的运算 .. 154

10.5 习题 155

第11 章 pandas 数据清洗 158

11.1 数据读写、选择、整理和描述 . 158

11.1.1 从CSV 中读取数据 160

11.1.2 向CSV 中写入数据 161

11.1.3 数据选择 . 161

11.1.4 数据整理 . 163

11.1.5 数据描述 . 164

11.2 数据分组、分割、合并和变形 . 165

11.2.1 数据分组 . 165

11.2.2 数据分割 . 168

11.2.3 数据合并 . 169

11.2.4 数据变形 . 175

11.2.5 案例：旅游数据的分析与变形 177

11.3 缺失值、异常值和重复值处理 . 181

11.3.1 缺失值处理 181

11.3.2 检测和过滤异常值 184

11.3.3 移除重复值 187

11.3.4 案例：旅游数据值的检查与处理 . 189

11.4 时序数据处理 . 192

11.4.1 日期/时间数据转换 192

11.4.2 时序数据基础操作 193

11.4.3 案例：天气预报数据分析与处理 . 195

11.5 数据类型转换 . 199

11.6 正则表达式 201

11.6.1 元字符与限定符 . 201

11.6.2 案例：用正则表达式提取网页文本信息 . 202

11.7 习题 203

第12 章 综合应用实例 206

12.1 按性价比给用户推荐旅游产品 . 206

12.1.1 数据采集 . 207

12.1.2 数据清洗、建模 . 211

12.2 通过热力图分析为用户提供出行建议 . 213

12.2.1 某旅游网站热门景点爬虫代码 .. 217

12.2.2 提取CSV 文件中经纬度和销量信息 . 220

12.2.3 创建景点门票销量热力图HTML 文件 221

第13 章 数据可视化 . 224

13.1 应用matplotlib 画图 225

13.1.1 画出各省份平均价格、各省份平均成交量柱状图 225

13.1.2 画出各省份平均成交量折线图、柱状图、箱形图和饼图 227

13.1.3 画出价格与成交量的散点图 228

13.2 应用pyecharts 画图 228

13.2.1 Echarts 简介 228

13.2.2 pyecharts 简介 229

13.2.3 初识pyecharts，玫瑰相送 229

13.2.4 pyecharts 基本语法 230

13.2.5 基于商业分析的pyecharts 图表绘制 . 232

13.2.6 使用pyecharts 绘制其他图表 . 242

13.2.7 pyecharts 和Jupyter 245

13.3 习题 246