机器学习：贝叶斯和优化方法（原书第2版）

《机器学习：贝叶斯和优化方法（原书第2版）》对所有重要的机器学习方法和新近研究趋势进行了深入探索，通过讲解监督学习的两大支柱——回归和分类，站在全景视角将这些繁杂的方法一一打通，形成了明晰的机器学习知识体系。
　　新版对内容做了全面更新，使各章内容相对独立。全书聚焦于数学理论背后的物理推理，关注贴近应用层的方法和算法，并辅以大量实例和习题，适合该领域的科研人员和工程师阅读，也适合学习模式识别、统计/自适应信号处理、统计/贝叶斯学习、稀疏建模和深度学习等课程的学生参考。
　　此外，《机器学习：贝叶斯和优化方法（原书第2版）》的所有代码均可免费下载，包含MATLAB和Python两个版本。
　　《机器学习：贝叶斯和优化方法（原书第2版）》重要更新及特色：
　　重写了关于神经网络和深度学习的章节，以反映自第1版以来的研究进展。这一章从感知器和前馈神经网络的基础概念开始讨论，对深度网络进行了深入研究，涵盖较新的优化算法、批标准化、正则化技术（如Dropout方法）、CNN和RNN、注意力机制、对抗样本和对抗训练、胶囊网络、生成架构（如RBM）、变分自编码器和GAN。
　　扩展了关于贝叶斯学习的内容，包括非参数贝叶斯方法，重点讨论中国餐馆过程（CRP）和印度自助餐过程（IBP）。
　　追踪新的研究趋势，包括稀疏、凸分析与凸优化、在线分布式算法、RKH空间学习、贝叶斯推断、图模型与隐马尔可夫模型、粒子滤波、深度学习、字典学习和潜变量建模等。
　　提供实用案例分析，包括蛋白质折叠预测、光学字符识别、文本作者身份识别、fMRI数据分析、变点检测、高光谱图像分离、目标定位等。

西格尔斯·西奥多里蒂斯（Sergios Theodoridis），雅典大学荣休教授，曾任香港中文大学（深圳）教授，研究兴趣包括机器学习、模式识别和信号处理等。他是IEEE Fellow、IET Fellow、EURASIP Fellow，曾任IEEE信号处理协会副主席、EURASIP主席以及IEEE Transactions on Signal Processing主编。曾获2017年EURASIP Athanasios Papoulis奖，2014年IEEE Signal Processing Magazihe论文奖，以及2014年EURASIP价值服务奖等。此外，他还是经典著作《模式识别》的首作者。
　　
　　王刚，南开大学计算机学院和网络空间安全学院教授、博士生导师。研究兴趣包括海量信息存储、并行与分布式计算、搜索引擎等，在分布式存储系统可靠性技术、云存储用户数据隐私保护、搜索引擎性能优化等方向取得一系列重要成果。
　　
　　李忠伟，南开大学计算机学院和网络空间安全学院副教授、硕士生导师。研究兴趣包括分布式存储、数据治理、人工智能伦理等，在分布式存储系统可靠性技术、软件工程等方向取得一系列研究成果。
　　
　　任明明，南开大学计算机学院和网络空间安全学院副教授。研究兴趣包括并行计算及应用、搜索引擎、应用与计算数学等，在生物信息学中的系统发育计算、搜索引擎中的GPU优化、偏微分方程数值求解等方向取得一系列研究成果。

机器学习（machine learning）这个名字正受到越来越多的关注，它涵盖数十年来在不同科学领域中研究和开发的很多方法，这些方法有着不同的名字，如统计学习、统计信号处理、模式识别、自适应信号处理、图像处理与分析、系统辨识与控制、数据挖掘与信息检索、计算机视觉以及计算学习。“机器学习”这个名字指出了所有这些学科的共同之处，即从数据中学习（learn from data）然后做出预测（make prediction）。人们尝试通过构造一个模型（model）来从数据中学习其深层结构和规律，而这个模型即可用于预测。
　　为此，人们已经提出了从代价函数优化（其目标是优化观测到的数据结果与模型预测结果间的偏差）到概率模型（试图对观测到的数据的统计特征进行建模）等许多不同的方法。
　　本书的目标是通过介绍多年来研究者所遵循的主要路线和方法来营造一体式的学习体验，引导读者逐步探究机器学习领域。我并不倾向于某种特定的方法，因为我相信无论是从应用角度还是从教学角度看，所有方法对希望探索机器学习奥秘的初学者而言都是有价值的。如书名所示，本书重点关注机器学习的处理和分析，而非机器学习理论本身及相关的性能界限。换句话说，我们重点关注更靠近应用层的方法和算法。
　　本书是我超过30年的相关研究经验和相关课程教学经验的结晶。本书的写作方法是令每一章（或相邻两章）尽可能独立成篇。这样，教师就可以根据需要选择、组合某些章节以构成其课程的重点，普通读者也可以在首次阅读时根据需要有选择地精读某些章节。在第1章中，我将给出针对不同课程使用本书的一些指导。
　　本书每章都从基本概念和基本方法开始，逐渐深入一些新进展。某些主题需要分为两章，例如稀疏感知学习、贝叶斯学习、概率图模型以及蒙特卡罗方法。本书能满足高年级本科生、研究生的学习需求，也适合不满足于黑盒解决方案的科学家与工程师阅读。此外，本书也能作为特定主题短期课程的教材或参考书，例如稀疏建模、贝叶斯学习、概率图模型、神经网络和深度学习等主题。

译者序
前言
致谢
作者简介
符号说明

第1章 引言
1．1 历史背景
1．2 人工智能与机器学习
1．3 算法能学习数据中隐藏的东西
1．4 机器学习典型应用
1．4．1 语音识别
1．4．2 计算机视觉
1．4．3 多模态数据
1．4．4 自然语言处理
1．4．5 机器人
1．4．6 自动驾驶
1．4．7 未来的挑战
1．5 机器学习的主要方向
1．5．1 监督学习
1．6 无监督和半监督学习
1．7 本书结构和路线图
参考文献

第2章 概率和随机过程
2．1 引言
2．2 概率和随机变量
2．2．1 概率
2．2．2 离散随机变量
2．2．3 连续随机变量
2．2．4 均值和方差
2．2．5 随机变量变换
2．3 分布示例
2．3．1 离散变量
2．3．2 连续变量
2．4 随机过程
2．4．1 一阶和二阶统计量
2．4．2 平稳性和遍历性
2．4．3 功率谱密度
2．4．4 自回归模型
2．5 信息论
2．5．1 离散随机变量
2．5．2 连续随机变量
2．6 随机收敛
2．6．1 处处收敛
2．6．2 几乎处处收敛
2．6．3 均方意义下的收敛
2．6．4 依概率收敛
2．6．5 依分布收敛
习题
参考文献

第3章 参数化建模学习：概念和方向
3．1 引言
3．2 参数估计：确定性观点
3．3 线性回归
3．4 分类
3．4．1 生成和判别学习
3．5 有偏估计与无偏估计
3．5．1 选择有偏还是无偏估计
3．6 克拉美一罗下界
3．7 充分统计量
3．8 正则化
3．8．1 逆问题：病态和过拟合
3．9 偏差一方差困境
3．9．1 均方误差估计
3．9．2 偏差一方差权衡
3．10 最大似然法
3．10．1 线性回归：非白高斯噪声实例
3．11 贝叶斯推断
3．11．1 最大后验概率估计方法
3．12 维数灾难
3．13 验证
3．13．1 交叉验证
3．14 期望损失函数和经验风险函数
3．14．1 可学习性
3．15 非参数建模和非参数估计
习题
参考文献

第4章 均方误差线性估计
4．1 引言
4．2 均方误差线性估计：正规方程
4．2．1 代价函数曲面
4．3 几何观点：正交性条件
4．4 扩展到复值变量
4．4．1 宽线性复值估计
4．4．2 复值变量优化：沃廷格微积分
4．5 线性滤波
4．6 均方误差线性滤波：频率域观点
4．6．1 反卷积：图像去模糊
4．7 一些典型应用
4．7．1 干扰抵消
4．7．2 系统辨识
4．7．3 反卷积：信道均衡
4．8 算法方面：莱文森算法和格一梯算法
4．8．1 前向后向均方误差最优预测
4．8．2 格一梯方案
4．9 线性模型均方误差估计
4．9．1 高斯一马尔可夫定理
4．9．2 约束线性估计：波束成形实例
4．10 时变统计：卡尔曼滤波
习题
参考文献
……

第5章 随机梯度下降：LMS算法族
第6章 最小二乘算法族
第7章 分类：经典方法导览
第8章 参数学习：凸分析方法
第9章 稀疏感知学习：概念和理论基础
第10章 稀疏感知学习：算法和应用
第11章 再生核希尔伯特空间中的学习
第12章 贝叶斯学习：推断和EM算法
第13章 贝叶斯学习：近似推断和非参模型
第14章 蒙特卡罗方法
第15章 概率图模型：第一部分
第16章 概率图模型：第二部分
第17章 粒子滤波
第18章 神经网络和深度学习
第19章 降维与潜变量模型

索引
在线章节李忠伟