机器学习（Python+sklearn+TensorFlow 2.0）-微课视频版

本书讨论了机器学习的基本问题和基本算法。从方便学习的目的出发，本书主要以聚类任务、回归任务、分类任务、标注任务、概率模型、神经网络模型、深度学习模型七个主题对相关内容进行组织。前四个主题以机器学习的四个主要任务为核心讨论相关算法及基础知识。概率类模型和神经网络类模型可以完成聚类、回归、分类和标注等多类任务，但它们各有自成体系的基础知识，因此各设一个主题进行集中讨论，可能更方便读者理解。深度学习模型属于神经网络模型，但它具有明显的特征和广泛的应用，是机器学习领域的后起之秀

本书讲解细致准确，案例易于理解，全书讲述了机器学习常见任务模型的算法及应用，实用性强。

前言

本书讨论了机器学习的基本问题和基本算法。从方便学习的目的出发，本书主要以聚类任务、回归任务、分类任务、标注任务、概率模型、神经网络模型、深度学习模型七个主题对相关内容进行组织。前四个主题以机器学习的四个主要任务为核心，讨论相关算法及基础知识。概率类模型和神经网络类模型可以完成聚类、回归、分类和标注等多类任务，但它们各有自成体系的基础知识，因此各设一个主题进行集中讨论，更方便读者理解。深度学习模型属于神经网络模型，是机器学习领域的后起之秀，对机器学习的兴起起到了至关重要的推动作用，单独设一个主题来讨论。此外，还单独设立一个主题对机器学习在工程应用中的特征工程、降维和超参数调优等问题进行讨论。

本书面向的读者是初学者，在讨论具体算法时，采用以示例入手、逐步推进的方式，并尽量给出详尽的推导。本书没有采用伪代码的方式来介绍算法流程，而是用文字说明加示例程序的方式。通过文字说明，读者可以从总体上理解算法运行过程。通过运行示例程序，读者可以精准地把握算法运行的细节、理解数据的变化过程。本书的示例代码基于Python 3语言实现，并按需使用了ScikitLearn（sklearn）机器学习和TensorFlow 2.0深度学习等模块。

本书不要求读者具有深厚的数学基础，但应理解导数、矩阵、概率等基本概念。读者还应具备基本的编程能力，能够探索运行本书的配套示例程序。

由于时间有限，书中如有错误，望读者和专家不吝赐教。

作者2020年8月

目录

第1章绪论

1.1机器学习是什么

1.2机器学习算法

1.2.1机器学习算法分类

1.2.2机器学习算法的术语

1.3本书的学习之路

1.4编程环境及工具包

第2章聚类

2.1k均值聚类算法及应用示例

2.1.1算法及实现

2.1.2在手机机主身份识别中的应用示例

2.1.3进一步讨论

2.1.4改进算法

2.2聚类算法基础

2.2.1聚类任务

2.2.2样本点常用距离度量

2.2.3聚类算法评价指标

2.2.4聚类算法分类

2.3DBSCAN及其派生算法

2.3.1相关概念及算法流程

2.3.2邻域参数ε和MinPts的确定

2.3.3OPTICS算法

2.4AGNES算法

2.4.1簇之间的距离度量

2.4.2算法流程

2.5练习题

第3章回归

3.1回归任务、评价与线性回归模型

3.1.1回归任务

3.1.2线性回归模型与回归评价指标

3.1.3最小二乘法求解线性回归模型

3.2机器学习中的最优化方法

3.2.1最优化模型

3.2.2迭代法

3.2.3梯度下降法

3.2.4全局最优与凸优化

3.2.5牛顿法

3.3多项式回归

3.4过拟合与泛化

3.4.1欠拟合、过拟合与泛化能力

3.4.2泛化能力评估方法

3.4.3过拟合抑制

3.5向量相关性与岭回归

3.5.1向量的相关性

3.5.2岭回归算法

3.6局部回归

3.6.1局部加权线性回归

3.6.2K近邻法

3.7练习题

第4章分类

4.1决策树、随机森林及其应用

4.1.1决策树分类算法

4.1.2随机森林算法

4.1.3在O2O优惠券使用预测示例中的应用

4.1.4进一步讨论

4.1.5回归树

4.2分类算法基础

4.2.1分类任务

4.2.2分类模型的评价指标

4.3逻辑回归

4.3.1平面上二分类的线性逻辑回归

4.3.2逻辑回归模型

4.3.3多分类逻辑回归

4.4Softmax回归

4.4.1Softmax函数

4.4.2Softmax回归模型

4.4.3进一步讨论

4.5集成学习与类别不平衡问题

4.5.1装袋方法及应用

4.5.2提升方法及应用

4.5.3投票方法及应用

4.5.4类别不平衡问题

4.6练习题

第5章特征工程、降维与超参数调优

5.1特征工程

5.1.1数据总体分析

5.1.2数据可视化

5.1.3数据预处理

5.2线性降维

5.2.1奇异值分解

5.2.2主成分分析

5.3超参数调优

5.3.1网格搜索

5.3.2随机搜索

5.4练习题

第6章概率模型与标注

6.1概率模型

6.1.1分类、聚类和标注任务的概率模型

6.1.2生成模型和判别模型

6.1.3概率模型的简化假定

6.2逻辑回归模型的概率分析

6.3朴素贝叶斯分类

6.3.1条件概率估计难题

6.3.2特征条件独立假定

6.3.3朴素贝叶斯法的算法流程及示例

6.3.4朴素贝叶斯分类器

6.4EM算法与高斯混合聚类

6.4.1EM算法示例

6.4.2EM算法及其流程

6.4.3高斯混合聚类

6.5隐马尔可夫模型

6.5.1马尔可夫链

6.5.2隐马尔可夫模型及示例

6.5.3前向后向算法

6.5.4维特比算法

6.6条件随机场模型

6.7练习题

第7章神经网络

7.1神经网络模型

7.1.1神经元

7.1.2神经网络

7.1.3分类、聚类、回归、标注任务的神经网络模型

7.2多层神经网络

7.2.1三层感知机的误差反向传播学习示例

7.2.2误差反向传播学习算法

7.2.3多层神经网络常用损失函数

7.2.4多层神经网络常用优化算法

7.2.5多层神经网络中过拟合的抑制

7.2.6进一步讨论

7.3竞争学习和自组织特征映射网络

7.3.1竞争学习

7.3.2自组织特征映射网络的结构与学习

7.4练习题

第8章深度学习

8.1概述

8.2卷积神经网络

8.2.1卷积神经网络示例

8.2.2卷积层

8.2.3池化层和Flatten层

8.2.4批标准化层

8.2.5典型卷积神经网络

8.3循环神经网络

8.3.1基本单元

8.3.2网络结构

8.3.3长短时记忆网络

8.3.4双向循环神经网络和深度循环神经网络

8.3.5序列标注示例

8.4练习题

参考文献