最优化模型

本书内容详实，结构严谨，侧重于介绍优化理论在实际生活中的应用，是学习优化理论不可多得的入门教材。读者将从本书中学到如何识别、简化、建模以及求解相关优化问题，并将其中暗含的基本原理应用到自己正在进展的项目中。本书对线性代数做了清晰而完整的介绍。通过引入相关的实际案例，以易于理解且形象的方式给读者展示核心的数学概念，并帮助其领会问题的实际意义。阅读本书不需要太多的预备知识，读者只需要对几何学、微积分学和概率统计学有一个基本的了解。本书可用于本科生或研究生优化理论学习的教材。

Giuseppe C.Calafiore 是意大利都灵理工大学自动化与信息学院副教授，意大利国家研究委员会电子、计算机和电信工程研究所研究员。
Laurent El Ghaoui 是美国加州大学伯克利分校电气工程和计算机科学系以及工业工程和运筹学系的教授。

最优化理论是应用数学的一个分支，该理论研究在约束条件下某个函数的最小值或最大值.这个领域的诞生可以追溯到高斯年轻时所解决的一个天文学问题.后来随着物理学，特别是力学的发展，一些自然现象可被描述为“能量”函数最小化的问题，这是最优化的前身.现在最优化已经朝着研究和应用计算机算法来求解数学问题的方向发展.
如今，这个领域处于许多学科的交叉点，从统计学到动态系统与控制、复杂性理论和算法.它的应用范围非常广泛，包括机器学习、信息检索、工程设计、经济学、金融学和管理学.随着海量数据集的出现，最优化现在被视为数据科学这一新兴领域的重要组成部分.
在过去的20年里，人们对最优化及其应用领域重新产生了兴趣.最令人振奋的发展之一是一类特殊的优化问题——凸优化.凸模型为开发用来求解最优化问题的软件提供了一个可靠且实用的平台.借助于对用户友好的软件包，建模人员现在可以快速开发出非常高效的代码来求解千奇百怪的凸问题.现在，我们可以像求解规模相似的线性方程组一样轻松地解决凸问题.扩大可处理问题的范围反过来又使我们能够开发出更有效的方法来求解困难的非凸问题.
与此同时，数值线性代数方向也有了很大发展.在20世纪80年代后期对计算机算法进行了一系列开创性工作之后，用户友好型平台如Matlab、R以及最近的Python相继出现，这允许多代用户快速开发代码来求解数值问题.如今，对于求解具有数千个变量和方程的数值线性系统的实际算法和技术的能力，只有少数专家还心存疑虑，其他人则认为求解方案及其底层算法是理所当然的.
优化，更确切地说是凸优化，目前也处于类似阶段.基于这些原因，大多数工科、经济学和理科专业的学生可能会发现，在他们的职业生涯中，有能力识别、简化、建模和解决自己工作中出现的问题非常重要，而实际上只有极少数学生需要研究数值算法的细节.考虑到这个问题，我们将“最优化模型：线性代数模型、凸优化模型及应用”作为本书的标题，以突出强调以下事实：本书专注于“理解”实际问题的性质并将其建模为可求解的优化范例——这是一门“艺术”（通常是通过发现问题中的“隐藏凸性”结构），而不是聚焦于数量众多的特定数值优化算法的技术细节.为了完整起见，本书提供了两个相关章节，一章介绍基本的线性代数算法，而另一章则广泛地讨论所选取的优化算法.不过，跳过这些章节并不会影响对本书其他部分的理解.
近年来，为了满足科学界对凸优化知识日益增长的需求，一些教科书相继出版.这些教科书大多是面向研究生的，其中的确包含了丰富的内容.但本书还包括以下区别于其他书籍的内容：
. 本书既可用于本科线性代数和最优化理论课程，也可用于研究生的凸建模和最优化入门课程.
. 本书侧重于以适当的最优化理论对实际问题建模，而不是解决数学最优化的算法问题，有关算法的内容分为两章：一章讨论矩阵基本计算，而另一章讨论凸优化.
. 本书大约有三分之一的内容在独立介绍线性代数的基本主题及其应用.
. 本书包括许多现实生活中的例子，有几章专门介绍实际应用.
. 我们不刻意讨论一般的非凸模型，但会介绍凸模型如何有助于求解一些特定的非凸模型.
我们选择线性代数作为本书的第一部分，主要有两个考虑. 其一是线性代数可能是凸优化最重要的组成部分. 扎实地掌握线性代数和矩阵理论对于理解凸性、建立凸模型和开发凸优化算法至关重要. 其二是考虑到本科生在线性代数课程中的感知差距. 很多（也许并不是大多数）线性代数教科书都侧重于抽象概念和算法，而介绍实际例子的内容较少. 这些教材常常使学生对线性代数的概念和问题有很好的理解，但并不能让学生完全理解这些问题会出现在什么地方，以及为什么会出现. 例如，根据我们的经验，很少有本科生意识到线性代数是迄今为止使用最广泛的机器学习算法的基础，比如 Google 的网络搜索引擎使用的 PageRank 算法.
另一个常见的困难是：根据这一领域的发展历史，大多数教科书都把大量的篇幅放在一般矩阵的特征值和 Jordan 标准型上. 它们也确实有许多相关的应用，例如在求解常微分方程组时. 但是，奇异值的主要概念（如果有）常常被放在最后几章. 因此，线性代数的经典教学遗漏了一些概念，这些概念对于理解线性代数作为实际优化的构建模块至关重要，这也是本书的重点.
然而，本书对线性代数的处理必然是片面的，并且偏向有助于优化的模型. 因此，本书的线性代数部分并不能代替理论或数值线性代数的参考教科书.
在对线性代数和最优化的联合处理中，我们强调易于处理的模型而不是算法，重要的实际应用要胜过虚构的例子. 我们希望传达这样一个观点：就可靠性而言，应该将某些类型的优化问题与线性代数问题放在同一层面上考虑，即可以放心地使用可靠的模型，而不必太担心其内部的工作原理.
在撰写本书时，我们努力在数学的严谨性和内容的易懂性之间取得平衡. 与抽象或过于笼统的数学定义相比，我们更喜欢 “可操作” 的定义；与结果的全面详尽性相比，我们更倾向于结果的实际相关性. 大部分技巧性结论的证明都在本书中进行了详细说明......

译者序
前言
第 1 章 绪论 1
1.1 启发性的例子 1
1.2 优化问题 4
1.3 优化问题的重要类型 9
1.4 发展历史 13
第一部分 线性代数模型
第 2 章 向量和函数 18
2.1 向量的基本概念 18
2.2 范数与内积 25
2.3 子空间上的投影 35
2.4 函数 41
2.5 习题 52
第 3 章 矩阵 54
3.1 矩阵的基本概念 54
3.2 矩阵作为线性映射 59
3.3 行列式、特征值和特征向量 62
3.4 具有特殊结构和性质的矩阵 73
3.5 矩阵分解 79
3.6 矩阵范数 82
3.7 矩阵函数 85
3.8 习题 89
第 4 章 对称矩阵 94
4.1 基础知识 94
4.2 谱定理 99
4.3 谱分解与优化 103
4.4 半正定矩阵 106
4.5 习题 113
第 5 章 奇异值分解 117
5.1 奇异值分解的基本概念 117
5.2 由 SVD 建立矩阵性质 120
5.3 奇异值分解与优化 126
5.4 习题 138
第 6 章 线性方程组与最小二乘 142
6.1 动机与例子 142
6.2 线性方程组的解集 148
6.3 最小二乘和最小范数解 150
6.4 求解线性方程组和最小二乘问题 158
6.5 解的灵敏性 162
6.6 单位球的正反映射 165
6.7 最小二乘问题的变形 171
6.8 习题 180
第 7 章 矩阵算法 185
7.1 特征值和特征向量的计算 185
7.2 求解平方线性方程组 190
7.3 QR 分解 195
7.4 习题 199
第二部分 凸优化模型
第 8 章 凸性 204
8.1 凸集 204
8.2 凸函数 211
8.3 凸问题 231
8.4 最优性条件 250
8.5 对偶 254
8.6 习题 269
第 9 章 线性、二次与几何模型 273
9.1 二次函数的无约束最小化 273
9.2 线性与凸二次不等式的几何表示 276
9.3 线性规划 281
9.4 二次规划 292
9.5 用 LP 和 QP 建模 301
9.6 与 LS 相关的二次规划 312
9.7 几何规划 315
9.8 习题 321
第 10 章 二阶锥和鲁棒模型 326
10.1 二阶锥规划 326
10.2 SOCP 可表示的问题和例子 332
10.3 鲁棒优化模型 346
10.4 习题 353
第 11 章 半定模型 357
11.1 从线性到锥模型 357
11.2 线性矩阵不等式 358
11.3 半定规划 369
11.4 半定规划模型的例子 375
11.5 习题 393
第 12 章 算法介绍 399
12.1 技术方面的预备知识 400
12.2 光滑无约束极小化算法 405
12.3 光滑凸约束极小化算法 423
12.4 非光滑凸优化算法 443
12.5 坐标下降法 454
12.6 分散式优化方法 457
12.7 习题 465
第三部分 应用
第 13 章 从数据中学习 472
13.1 监督学习概述 472
13.2 基于多项式模型的最小二乘预测 473
13.3 二元分类 478
13.4 一般监督学习问题 485
13.5 ......