Python大数据分析从入门到精通

第一章 为什么选择用Python11.1 易于使用3
1.2 兼容Hadoop3
1.3 可扩展和灵活性3
1.4 良好的社区支持和开发环境3
1.5 在数据分析领域的优势4
1.6 总结4


第二章 大数据开发环境的搭建52.1 安装大数据集成环境HDP6
2.2 安装Spark环境（Windows）9
2.3 自行安装大数据开发环境10
2.4 总结21


第三章 构建分析数据223.1 分析数据的说明23
3.2 导入数据到HDP SandBox中25
3.3 导入自安装的环境中使用28
3.4 导入Windows的Spark中29
3.5 导入 Northwind 数据库30
3.6 总结32


第四章 Python对Hadoop的操作334.1 Snakebite的说明34
4.2 HDFS命令说明36
4.3 Snakebite Client类的使用38
4.4 Snakebite CLI的使用40
4.5 总结42


第五章 Python对Hive的操作435.1 Hive说明44
5.2 使用PyHive47
5.3 使用Python编写Hive UDF49
5.4 Impyla的使用51
5.5 Hive SQL调优方法52
5.6 总结53


第六章 Python对HBase的操作546.1 HBase说明55
6.2 HBase Shell命令57
6.3 HappyBase说明62
6.4 HappyBase的使用66
6.5 总结70


第七章 Python集成到Pig717.1 Pig说明72
7.2 Pig Latin的使用74
7.3 Python Pig的整合78
7.4 总结81


第八章 PySpark Shell应用838.1 操作步骤84
8.2 应用对象84
8.3 Spark核心模块86
8.4 Spark Shell的使用87
8.5 PySpark Shell的使用92
8.6 总结95


第九章 PySpark对RDD操作969.1 Spark RDD说明97
9.2 RDD API说明101
9.3 在API函数中使用Lambda表达式108
9.4 从HDFS中读取数据并以SequenceFile格式存储110
9.5 读取CSV文件处理并存储112
9.6 读取Json文件处理114
9.7 通过RDD计算圆周率115
9.8 查看RDD计算的状态116
9.9 总结118


第十章 PySpark对DataFrame的操作11910.1 Spark DataFrame说明120
10.2 DataFrame API总述122
10.3 DataFrame数据结构API126
10.4 DataFrame数据处理API140
10.5 Postgresql和DataFrame145
10.6 CSV和DataFrame147
10.7 Json和DataFrame149
10.8 Numpy、Pandas和DataFrame151
10.9 RDD和DataFrame152
10.10 HDFS和DataFrame153
10.11 Hive和DataFrame154
10.12 HBase和DataFrame155
10.13 总结157


第十一章 PySpark对Streaming的操作15811.1 Spark Streaming说明159
11.2 Spark Streaming API160
11.3 网络数据流165
11.4 文件数据流167
11.5 Kafka数据流171
11.6 Flume数据流173
11.7 QueueStream数据流174
11.8 使用StreamingListener监听数据流175
11.9 总结177


第十二章 PySpark SQL17812.1 关于Spark SQL179
12.2 Spark SQL相关API180
12.3 Spark SQL使用步骤189
12.4 Postgresql和Spark SQL190
12.5 CSV和Spark SQL192
12.6 Json和Spark SQL193
12.7 HDFS和Spark SQL194
12.8 Hive和Spark SQL195
12.9 UDF和Spark SQL197
12.10 Streaming和Spark SQL199
12.11 Spark SQL优化200
12.12 总结201


第十三章 分析方法及构架的说明20213.1 统计的概念和数据可视化203
13.2 数据分析方法的探讨206
13.3 开发构架说明209
13.4 总结整合说明210


第十四章 集成分析21414.1 SQL窗口函数的说明215
14.2 Hive SQL分析221
14.3 Spark SQL分析225
14.4 HBase SQL分析229
14.5 对接Numpy、Pandas的分析232
14.6 对接Blaze分析241
14.7 总结244


第十五章 数据挖掘24515.1 关于机器学习246
15.2 PySpark机器学习包248
15.3 特征的抽取、转换和选择250
15.4 PySpark机器学习包的使用256
15.5 集成TensorFlow277
15.6 集成scikit-learn279
15.7 总结282


第十六章 数据可视化28316.1 标签云284
16.2 Zeppelin的使用289
16.3 Mathplotlib的使用293
16.4 Superset的使用301
16.5 总结308