机器学习中的交替方向乘子法

使用机器学习技术解决实际应用问题涉及模型的建立、训练及评估等步骤。优化算法常被用于训练模型的参数，是机器学习的重要组成部分。机器学习模型的训练可以建模成无约束优化问题或带约束优化问题，约束可以为模型增加更多的先验知识。基于梯度的算法（例如加速梯度法、随机梯度法等）是求解无约束优化问题的常用方法，而交替方向乘子法（ADMM）则是求解带约束优化问题的有力工具。
　　《机器学习中的交替方向乘子法》概述了机器学习中ADMM的新进展。《机器学习中的交替方向乘子法》全面介绍了各种情形下的ADMM，包括确定性和随机性的算法、集中式和分布式的算法，以及求解凸问题和非凸问题的算法，深入介绍了各个算法的核心思想，并为算法的收敛性和收敛速度提供了详细的证明。

目录　
《大数据与数据科学专著系列》序　
序一
序二
前言
符号表
第1章绪论　1　
1.1　机器学习中的带约束优化问题举例　1　
1.2　ADMM的代表性工作综述　3　
1.3　关于本书　5　
第2章　ADMM的推导　6　
2.1　从拉格朗日视角推导ADMM　6　
2.1.1　对偶上升法　6　
2.1.2　增广拉格朗日法　7　
2.1.3　交替方向乘子法（ADMM）　10　
2.1.4　与分裂布雷格曼算法的联系　11　
2.2　从算子分裂视角推导ADMM　13　
2.2.1　Douglas-Rachford分裂（DRS）　13　
2.2.2　从DRS到ADMM　15　
第3章　确定性凸优化问题中的ADMM　18　
3.1　经典ADMM　18　
3.1.1　收敛性分析　18　
3.1.2　次线性收敛速度　23　
3.1.3　线性收敛速度　27　
3.2　布雷格曼ADMM　31　
3.2.1　次线性收敛速度　35　
3.2.2　线性收敛速度　41　
3.3　加速线性化ADMM　45　
3.3.1　次线性收敛速度　45　
3.3.2　线性收敛速度　63
3.4　特例：线性化增广拉格朗日算法及其加速　70　
3.5　多变量块ADMM　73　
3.5.1　使用高斯回代的ADMM　74　
3.5.2　使用预测-校正的ADMM　78　
3.5.3　使用并行分裂的线性化ADMM　81　
3.5.4　结合串行与并行更新　83　
3.6　变分不等式视角下的ADMM　84　
3.6.1　统一的变分不等式框架　86　
3.6.2　统一的收敛速度分析　89　
3.7　非线性约束问题　90　
第4章　确定性非凸优化问题中的ADMM　97　
4.1　多变量块布雷格曼ADMM　97　
4.1.1　满射条件下的收敛性分析　98　
4.1.2　对目标函数做更多假设下的收敛性分析　102　
4.2　使用指数平均的邻近ADMM　106　
4.3　多线性约束优化问题的ADMM　118　
第5章　随机优化问题中的ADMM　124　
5.1　随机ADMM　125　
5.2　方差缩减　132　
5.3　冲量加速　142　
5.4　非凸随机ADMM及其加速　167　
5.4.1　非凸随机ADMM　167　
5.4.2　SPIDER加速　172　
第6章　分布式优化问题中的ADMM　181　
6.1　中心化优化　181　
6.1.1　ADMM　181　
6.1.2　线性化ADMM　183　
6.1.3　加速线性化ADMM　185　
6.2　去中心化优化　187　
6.2.1　ADMM　187　
6.2.2　线性化ADMM　193　
6.2.3　加速线性化ADMM　194　
6.3　异步分布式ADMM　196　
6.3.1　收敛性分析　197　
6.3.2　线性收敛速度　203
6.4　非凸分布式ADMM　209　
6.5　求解一般线性约束问题的分布式ADMM　210　
第7章　实践中的问题和总结　212　
7.1　实践中的问题　212　
7.1.1　停止条件　212　
7.1.2　惩罚系数的选择　213　
7.1.3　避免过多的辅助变量　215　
7.1.4　非精确求解子问题　215　
7.1.5　其他考虑　216　
7.2　总结　216　
参考文献　217　
附录A　数学基础　224　
A.1　代数与概率　224　
A.2　凸分析　225　
A.3　非凸分析　231　
缩略语　233　
索引　234　
后记　237　
致谢　238　
《大数据与数据科学专著系列》已出版书目　239