机器学习及其应用2023

《机器学习及其应用2023》邀请MLA 2021-2022的部分专家以综述的形式介绍机器学习领域的研究进展，内容涉及到监督学习、深度学习、因果学习、迁移学习、表示学习、演化学习的基本理论和方法，以及ChatGPT浅析，同时介绍了机器学习在计算机视觉、自然语言处理、并行计算中的应用，代表了国内机器学习最新的研究进展。

黄圣君，南京航空航天大学计算机科学与技术学院/人工智能学院教授，人工智能学院副院长，主要研究方向为机器学习、数据挖掘，国家优青、江苏省杰青获得者，曾入选中国科协“青年人才托举工程”，主持科技部科技创新2030——新一代人工智能重大项目、国家自然科学基金等项目。 张利军，南京大学人工智能学院教授，基金委优青，主要研究方向为大规模机器学习与优化，曾获首届达摩院青橙奖、中国科协青年人才托举工程、第26届AAAI人工智能会议最佳论文奖等荣誉。

钱超，南京大学人工智能学院副教授、博导，主要研究方向为演化计算与演化学习，，获国家优秀青年科学基金，并主持科技创新2030“新一代人工智能”重大项目（青年科学家）。

第一台电子计算机诞生于 20世纪 40年代。到目前为止，计算机的发展已远远超出了其创始者的想象。计算机的处理能力越来越强，应用面越来越广，应用领域也从单纯的科学计算渗透到社会生活的方方面面：从工业、国防、医疗、教育、娱乐直至人们的日常生活，计算机的影响可谓无处不在。

计算机之所以能取得上述地位并成为全球最具活力的产业，原因在于其高速的计算能力、庞大的存储能力以及友好灵活的用户界面。而这些新技术及其应用有赖于研究人员多年不懈的努力。学术研究是应用研究的基础，也是技术发展的动力。

自 1992年起，清华大学出版社与广西科学技术出版社为促进我国计算机科学技术与产业的发展，推动计算机科技著作的出版，设立了“计算机学术著作出版基金”，并将资助出版的著作列为中国计算机学会的学术著作丛书。时至今日，本套丛书已出版学术专著近 50种，产生了很好的社会影响，有的专著具有很高的学术水平，有的则奠定了一类学术研究的基础。中国计算机学会一直将学术著作的出版作为学会的一项主要工作。本届理事会将秉承这一传统，继续大力支持本套丛书的出版，鼓励科技工作者写出更多的优秀学术著作，多出好书，多出精品，为提高我国的知识创新和技术创新能力，促进计算机科学技术的发展和进步作出更大的贡献。

中国计算机学会

2002年 6月 14日

2002年秋天，由王珏教授策划和组织，复旦大学智能信息处理开放实验室（即现在

的上海市智能信息处理重点实验室）举办了一次“机器学习及其应用”研讨会。该研讨

会属于实验室的“智能信息处理系列研讨会”之一。十余位学者在综述机器学习各个分

支的发展的同时报告了他们自己的成果。鉴于研讨会取得了非常好的效果，而机器学习

领域又是如此之广阔，有那么多重要的问题还没有涉及或还没有深入， 2004年秋天王珏

教授又和周志华教授联合发起并组织第二届“机器学习及其应用”研讨会，仍由复旦大

学的实验室举办。这次研讨会又取得了非常好的效果，并且参加的学者比上次更多，报

告的内容也更丰富。根据与会者的意见，决定把报告及相关内容编成一本书出版，以便

与广大的国内学者共享研讨会的成果。

机器学习是人工智能研究的核心课题之一，不但有深刻的理论内蕴，也是现代社会

中人们获取和处理知识的重要技术来源。它的活力久盛不衰，并且日呈燎原之势。对此，

国内已经有多种定期和不定期的学术活动。本书的出版反映了机器学习界一种新型的“华山论剑”：小范围、全视角、更专业、更深入，可与大、中型机器学习会议互相补充。值得赞扬的是，它没有任何学派和门户之见，无论是强调基础的“气宗”，还是注重技术的“剑宗”，都能在这里畅所欲言，自由交流。我很高兴地获悉：第三届“机器学习及其应用”研讨会已经于 2005年 11月由周志华教授和王珏教授主持在南京大学成功举行。并且以后还将有第四届、第五届……作为一直跟踪这项活动并从中获得许多教益的一个学习者，我真希望它发展成这个领域的一个品牌，希望机器学习的优秀成果不断地由这里

飞出，飞向全世界。

值得一提的是王珏教授有一篇颇具特色的综述文章为本书开道。长期以来，许多有

识之士为国内学术界缺少热烈的争鸣风气而不安。因为没有争鸣就没有学术繁荣。细心

的读者可以看出，这篇综述的观点并非都是传统观点的翻版，并且很可能不是所有的同

行都认同的。作者深刻反思了机器学习这门学科诞生以来走过的道路，对一些被行内人

士几乎认作定论的观点摆出了自己的不同看法。其目的不是想推出一段惊世骇俗的宏论，

而是为了寻求真理、辨明是非。在这个意义上，王珏教授也可算是一位“独孤求败”。如

机器学习及其应用 2023

果有人能用充分的论据指出其中可能存在的瑕疵，他也许会比听到一片鼓掌之声更感到宽慰。

随着本书的出版，中国计算机学会丛书知识科学系列也正式挂牌了。在衷心庆贺这个系列诞生的同时，我想重复过去说过的一段话：“二十多年来，知识工程主要是一门实验性科学。知识处理的大量理论性问题尚待解决。我们认为对知识的研究应该是一门具有坚实理论基础的科学，应该把知识工程的概念上升为知识科学。知识科学的进步将从根本上回答在知识工程中遇到过，但是没有很好解决的一系列重大问题。 ”本系列为有关领域的学者提供了一个宽松的论坛。衷心感谢王珏、周志华、周傲英三位编者把这本精彩的文集贡献给知识科学系列的首发式。我相信今后机器学习著作仍将是这个系列的一个常客。据悉，第四届机器学习研讨会将于今秋在南京大学举行，届时各种观点又将有进一步的发展和碰撞。欲知争鸣烽火如何再燃，独孤如何锐意求败，且看本系列下回分解。

陆汝钤

2006年 1月

“生成一切”背后的数学原理 雷 娜顾险峰 1 1 传统图像处理方法 1 2 图像生成算法 2 3 3D曲面生成算法 6 4 未来展望 8 参考文献 9

高维样本协方差矩阵的谱性质及其应用简介 王潇逸郑术蓉邹婷婷 11 1 引言11 2 高维框架下传统方法失效的例子 12 3 大维样本协方差矩阵的极限谱分布 14 4 大维样本协方差矩阵的应用 17 5 总结和展望 25 参考文献 25

多目标演化学习：理论与算法进展 钱超 27 1 引言 27 2 理论分析工具 ——调换分析 29 3 理论透视 33 4 多目标演化学习算法 38 5 总结与展望 45 参考文献 46

自监督学习的若干研究进展 杨健陈硕李翔 49 1 引言 49 2 相关工作 51

机器学习及其应用 2023

3 基于对比学习与自编码学习的自监督学习算法 54 4 总结与展望 74 参考文献 74

因果性学习 李梓健蔡瑞初郝志峰 78 1 引言 78 2 基于先验因果结构的因果性学习方法及其应用 80 3 基于因果发现的因果性学习方法及其应用 87 4 小结 91 参考文献 92

先排序后微调：预训练模型库利用的新范式

游凯超刘雍张子阳王建民 Michael I. Jordan 龙明盛 95 1 引言 95 2 相关工作 98 3 对预训练模型进行排序 102 4 LogME算法的理论分析108 5 预训练模型微调 112 6 实验116 7 结论131 附录 132 A 符号对照表132 B 定理 1证明133 C 定理 2证明134 D 推论 1证明135 E 推论 2证明137 F 数据集描述 139 G 图表的原始结果 139 H 提示学习完整结果 142 I 收敛性分析完整图表 142 参考文献145

目 录

迁移学习 庄福振 150

1 引言150 2 相关工作152 3 概述153 4 基于数据的解释 156 5 基于模型的解释 173 6 应用185 7 实验189 8 结论和未来方向 195 参考文献196

基于表示学习的机器学习模型复用 叶翰嘉 211 1 引言211 2 模型复用背景 213 3 模型复用方法 215 4 可复用模型方法 226 5 总结与展望 238 参考文献239

并行算法组自动学习研究简介 刘晟材唐珂 241 1 引言241 2 相关工作243 3 并行算法组自动学习 245 4 总结262 参考文献263

ChatGPT的演进历程与未来发展趋势 朱庆福车万翔 265 1 引言265 2 相关工作266 3 ChatGPT概览 267 4 ChatGPT的关键技术与解决的关键科学问题269 5 ChatGPT对自然语言处理的影响271 6 总结和展望 275 参考文献275