面向信号处理的机器学习：数据科学、算法与计算统计学

本书融合了统计机器学习和数字信号处理方面的知识，详细描述了相关的数学基础和算法，以扎实的、逐步推进的方式引入并讲解概念，以便在实际的软件应用中实现这些想法和算法。对于我们面临的实际问题，书中提供了技术背景，解释了为什么某些方法（而不是其他方法）能够成为Z佳实践；而对于新的问题，书中则提供了框架，教会你如何进行思考和寻求解决之道。 本书适合有信号处理背景，并且有意深入学习和应用机器学习的读者阅读。

麦克斯·A. 里特尔
（Max A. Little）
伯明翰大学计算机科学学院副教授，麻省理工学院媒体实验室客座副教授，牛津大学纳菲尔德临床神经科学系荣誉副教授，曾为阿斯顿大学数学教授。他是信号处理和机器学习领域的专家，致力于将机器学习应用于数字健康领域，研究成果具有很高的影响力，为量化帕金森病等神经系统疾病的研究打下了基础。他已发表了60多篇学术论文，拥有2项专利。此外，他还是一些政府机构和国际公司的顾问，并且入选为TED Fellow。

前　言

Machine Learning for Signal Processing：Data Science，Algorithms,and Computational Statistics





数字信号处理（DSP）是现代世界中一个“基础”的工程课题，但在某种意义上也是一个看不见的工程课题。如果没有它，许多我们习以为常的技术——数字电话、数字收音机、电视、CD和MP3播放器、WiFi、雷达等——都是不可能实现的。相比之下，统计机器学习（statistical machine learning）是一种相对较新的技术，它是目前已经达到普及水平的多项前沿技术的理论支柱，例如汽车牌照识别、语音识别、股市预测、装配线上的缺陷检测等自动化技术，机器人导航和自动汽车导航。统计机器学习起源于最近古典概率论和统计学与人工智能的融合，它利用了生物大脑中智能信息处理、复杂统计建模和推理之间的相似性。

数字信号处理和统计机器学习在知识经济中具有广泛的重要性，两者都经历了迅速的变化，在范围和适用性方面都有了根本性的改善。数字信号处理和统计机器学习都利用了应用数学中的重要知识，如概率统计、代数、微积分、图形学和网络。这两个学科之间存在着密切的联系，因此，一种正在形成的观点是，数字信号处理和统计机器学习不应被视为单独的学科。这两个学科之间存在的许多知识和技术的重叠可以被开发和利用，生产出具有惊人的实用性、高效性和广泛适用性的数字信号处理工具，非常适合当今世界普及的数字传感器和高性能但廉价的计算硬件。本书为面向信号处理的统计机器学习课题提供了坚实的数学基础，包括当代概念的概率图模型（PGM）和非参数贝叶斯（nonparametric Bayes），以及最近才出现的解决DSP问题的重要概念。


这本书面向高年级本科生、研究生以及相关领域的研究人员和从业人员，阐述了基本的数学概念，并通过工程和科学中一系列问题的相关实例加以说明。其目的是使具有数学、统计学或物理学等学科背景的学生，能够在这个快速发展的领域中迅速掌握新的技术和概念。本书中数学的呈现方式与标准的本科物理或统计学教科书大致相同，没有繁杂的技术内容和专业术语，同时又不缺失严谨性。这将是一本很好的教科书，适用于面向信号处理的机器学习新兴课程。

目　录

Machine Learning for Signal Processing：Data Science，Algorithms,and Computational Statistics








译者序

前言
第1章　数学基础1
　1.1　抽象代数1

　　1.1.1　群1

　　1.1.2　环2

　1.2　度量3

　1.3　向量空间4

　　1.3.1　线性算子6

　　1.3.2　矩阵代数7

　　1.3.3　方阵和可逆矩阵7

　　1.3.4　特征值和特征向量8

　　1.3.5　特殊矩阵9

　1.4　概率与随机过程10

　　1.4.1　样本空间、事件、度量和
分布10

　　1.4.2　联合随机变量：独立性、
条件性和边缘性12

　　1.4.3　贝叶斯准则13

　　1.4.4　期望、生成函数和
特征函数14

　　1.4.5　经验分布函数和样本期望16

　　1.4.6　变换随机变量17

　　1.4.7　多元高斯分布和其他
极限分布17

　　1.4.8　随机过程19

　　1.4.9　马尔可夫链20

　1.5　数据压缩与信息论23

　　1.5.1　信息映射的重要性25

　　1.5.2　互信息和KL散度26

　1.6　图27

　1.7　凸性29

　1.8　计算复杂性31

　　1.8.1　复杂性的阶和大O表示法31

　　1.8.2　可处理和难处理的问题：
NP完全性31
第2章　优化33
　2.1　预备知识33

　　2.1.1　连续可微问题与临界点33

　　2.1.2　等式约束下的连续优化：
拉格朗日乘子34

　　2.1.3　不等式约束：二元性和
KarushKuhnTucker条件35

　　2.1.4　迭代法的收敛性和收敛
速度36

　　2.1.5　不可微的连续问题37

　　2.1.6　离散（组合）优化问题38

　2.2　连续凸问题的解析方法39

　　2.2.1　L2范数目标函数39

　　2.2.2　混合L2-L1范数目标
函数40

　2.3　连续凸问题的数值方法41

　　2.3.1　迭代重加权最小二乘法41

　　2.3.2　梯度下降42

　　2.3.3　调整步长：线搜索43

　　2.3.4　牛顿方法45

　　2.3.5　其他梯度下降方法47

　2.4　不可微连续凸问题47

　　2.4.1　线性规划48

　　2.4.2　二次规划48

　　2.4.3　次梯度法49

　　2.4.4　原始对偶内点法50

　　2.4.5　路径跟踪方法52

　2.5　连续非凸问题53

　2.6　离散（组合）优化的启发式算法53

　　2.6.1　贪婪搜索54

　　2.6.2　（简单）禁忌搜索54

　　2.6.3　模拟退火55

　　2.6.4　随机重启56
第3章　随机采样57
　3.1　生成（均匀）随机数57

　3.2　从连续分布中进行采样58

　　3.2.1　分位数函数（逆累积分布
函数）与逆变换采样58

　　3.2.2　随机变量变换方法59

　　3.2.3　拒绝采样59

　　3.2.4　对数凹密度的自适应
抑制采样60

　　3.2.5　特殊分布的特殊方法62

　3.3　离散分布采样63

　　3.3.1　基于顺序查找的逆变换
采样63

　　3.3.2　离散变量的拒绝采样64

　　3.3.3　（大）有限样本空间的逆序
二分查找64

　3.4　一般多元分布的采样65

　　3.4.1　原始采样65

　　3.4.2　吉布斯采样66

　　3.4.3　MetropolisHastings算法68

　　3.4.4　其他马尔可夫链蒙特卡罗
方法70
第4章　统计建模和推断73
　4.1　统计模型73

　　4.1.1　参数模型和非参数模型73

　　4.1.2　贝叶斯模型和非贝叶斯
模型74

　4.2　最优概率推断74

　　4.2.1　最大似然和最小KL散度75

　　4.2.2　损失函数和经验风险估计76

　　4.2.3　最大后验和正则化77

　　4.2.4　正则化、模型复杂性和
数据压缩79

　　4.2.5　交叉验证和正则化82

　　4.2.6　自助法83

　4.3　贝叶斯推理84

　4.4　与度量和范数相关的分布86

　　4.4.1　最小二乘法86

　　4.4.2　最小Lq范数87

　　4.4.3　协方差、加权范数和
马氏距离88

　4.5　指数族89

　　4.5.1　最大熵分布90

　　4.5.2　充分统计和规范90

　　4.5.3　共轭先验93

　　4.5.4　先验和后验可预测指数族95

　　4.5.5　共轭指数族先验混合95

　4.6　通过分位数定义的分布96

　4.7　与分段线性损失函数相关的
密度98

　4.8　非参数密度估计100

　4.9　采样推理101

　　4.9.1　马尔可夫链蒙特卡罗
推理101

　　4.9.2　马尔可夫链蒙特卡罗方法
的收敛性评估102
第5章　概率图模型104
　5.1　利用概率图模型的统计建模104

　5.2　对概率图模型中条件独立性的
探讨107

　　5.2.1　隐藏变量和观察变量107

　　5.2.2　定向连接和分离108

　　5.2.3　节点的马尔可夫毯109

　5.3　关于概率图模型的推论110

　　5.3.1　精确推理110

　　5.3.2　近似推理113
第6章　统计机器学习117
　6.1　特征和核函数117

　6.2　混合建模117

　　6.2.1　混合模型的吉布斯采样119

　　6.2.2　混合模型的期望最大化119

　6.3　分类121

　　6.3.1　二次判别分析和线性判别
分析122

　　6.3.2　逻辑回归123

　　6.3.3　支持向量机124

　　6.3.4　分类损失函数和误分类
计数126

　　6.3.5　分类器的选择127

　6.4　回归127

　　6.4.1　线性回归127

　　6.4.2　贝叶斯和正则线性回归128

　　6.4.3　线性参数回归129

　　6.4.4　广义线性模型130

　　6.4.5　非参数、非线性回归131

　　6.4.6　变量选择133

　6.5　聚类134

　　6.5.1　K均值和变量135

　　6.5.2　软K均值聚类、均值
漂移聚类及其变体137

　　6.5.3　半监督聚类和分类139

　　6.5.4　聚类数的选择139

　　6.5.5　其他聚类方法140

　6.6　降维140

　　6.6.1　主成分分析141

　　6.6.2　概率主成分分析143

　　6.6.3　非线性降维145
第7章　线性高斯系统和信号
处理148
　7.1　预备知识148

　　7.1.1　三角信号和相关函数148

　　7.1.2　复数、单位根和复指数149

　　7.1.3　线性高斯模型的边缘和
条件150

　7.2　线性时不变系统151

　　7.2.1　卷积和脉冲响应151

　　7.2.2　离散时间傅里叶变换152

　　7.2.3　有限长周期信号：离散
傅里叶变换156

　　7.2.4　连续时间线性时不变
系统159

　　7.2.5　海森堡不确定性160

　　7.2.6　吉布斯现象161

　　7.2.7　离散时间线性时不变系统的
传递函数分析162

　　7.2.8　快速傅里叶变换164

　7.3　线性时不变信号处理167

　　7.3.1　有理滤波器设计：有限脉冲
响应和无限脉冲响应滤波167

　　7.3.2　数字滤波器设计方案175

　　7.3.3　超长信号的傅里叶变换176

　　7.3.4　作为离散卷积的核回归178

　7.4　线性高斯DSP的统计稳定性
研究179

　　7.4.1　离散时间高斯过程和
DSP179

　　7.4.2　非参数功率谱密度估计183

　　7.4.3　参数化功率谱密度估计187

　　7.4.4　子空间分析：在DSP中
使用主成分分析188

　7.5　卡尔曼滤波192

　　7.5.1　用于卡尔曼滤波计算的
连接树算法193

　　7.5.2　前向滤波194

　　7.5.3　后向平滑195

　　7.5.4　不完全数据似然196

　　7.5.5　线性高斯系统中的
维特比译码196

　　7.5.6　BaumWelch参数估计197

　　7.5.7　信号子空间分析中的
卡尔曼滤波199

　7.6　时变线性系统200

　　7.6.1　短时傅里叶变换和完美
重构200

　　7.6.2　连续时间小波变换202

　　7.6.3　离散化和离散小波变换204

　　7.6.4　小波设计207

　　7.6.5　离散小波变换的应用208
第8章　离散信号：采样、量化
和编码210
　8.1　离散时间采样210

　　8.1.1　带限采样211

　　8.1.2　均匀带限采样：Shannon
Whittaker插值212

　　8.1.3　广义均匀采样214

　8.2　量化217

　　8.2.1　率失真理论218

　　8.2.2　LloydMax和熵约束量化器
设计220

　　8.2.3　统计量化和抖动223

　　8.2.4　矢量量化228

　8.3　有损信号压缩229

　　8.3.1　音频压缩扩展229

　　8.3.2　线性预测编码230

　　8.3.3　变换编码232

　8.4　压缩感知234

　　8.4.1　稀疏和不相干235

　　8.4.