迁移学习

书籍作者：杨强	ISBN：9787111661283
书籍语言：简体中文	连载状态：全集
电子书格式：pdf,txt,epub,mobi,azw3	下载次数：1380
创建日期：2021-02-14	发布日期：2021-02-14
运行环境：PC/Windows/Linux/Mac/IOS/iPhone/iPad/Kindle/Android/安卓/平板

内容简介

迁移学习解决的是系统如何快速地适应新场景、新任务和新环境的问题，在目标域中只有少量标记数据可用时，它赋予了机器学习系统利用辅助数据和模型来解决目标问题的能力。这使得机器学习系统更加可靠和健壮，并且让机器学习模型在面对不可预见的变化时尽可能达到预期的性能。在企业层面，迁移学习允许知识的重复利用，使得每次获得的经验可以重复地应用于现实世界。

本书为迁移学习方向首本算法、理论、应用方面成熟、成体系的总结，相关领域研究的系统性参考。为迁移学习领域的新加入者提供了坚实的基础，也为经验丰富的研究人员和开发人员提供了新的视野。

本书分为两部分。第1部分（第1～14章）介绍迁移学习的基础，其中第1章对迁移学习进行概述，第2～14章介绍迁移学习相关的各种理论和算法。第2部分（第15～22章）讨论迁移学习的许多应用领域。第23章是对全书的总结。

作者简介

杨强微众银行首席人工智能官，香港科技大学计算机科学与工程系讲席教授，第四范式有限公司联合创始人，ACM、AAAI、IEEE、IAPR、CAAI和AAAS会士，香港人工智能与机器人学会理事长，AAAI 2021主席。曾任IJCAI理事长和多个国际顶会主席，包括IJCAI 2015、ACM KDD 2012等。曾获2004/2005 ACM KDDCUP冠军、2017 ACM SIGKDD杰出服务奖、2018 AAAI创新人工智能应用奖、2019 CAAI吴文俊人工智能科学技术杰出贡献奖。曾任华为诺亚方舟实验室创始主任和香港科技大学计算机系主任。曾创立IEEE Transactions on Big Data和ACM Transactions on Intelligent Systems and Technology期刊并任主编。著有《智能规划》《学术研究：你的成功之道》《软件工程中基于约束的设计恢复》和《联邦学习》。毕业于北京大学（天体物理学学士）和美国马里兰大学（计算机专业博士）。

张宇南方科技大学计算机科学与工程系副教授，2011年在香港科技大学计算机科学与工程系获博士学位。在国内外人工智能和机器学习会议及期刊上发表论文约70篇。曾获UAI 2010和PAKDD 2019的最佳论文奖，以及2013年IEEE/WIC/ACM网络智能国际会议的最佳学生论文奖。2019年入选国家特聘专家（青年）。

戴文渊第四范式有限公司创始人兼首席执行官。曾任百度首席架构师和高级科学家，帮助百度开发了机器学习系统。曾任华为诺亚方舟实验室首席科学家。毕业于香港科技大学计算机科学与工程系（博士）、上海交通大学计算机科学与工程系（硕士、学士）。在ICML、NIPS、AAAI、KDD等会议上发表论文多篇。曾获2005年ACM-ICPC总决赛世界冠军、2007年PKDD最佳学生论文奖。入选2017年《麻省理工科技评论》中国青年科技创新人才榜（TR35）发明家和2017年《财富》中国40位40岁以下商界精英。

潘嘉林新加坡南洋理工大学计算机科学与工程学院教务长讲座副教授，曾任新加坡资讯通信研究所（Institute for Infocomm Research）数据分析部门文本分析实验室主任。2011年获香港科技大学计算机科学博士学位。2018年被《IEEE智能系统》评选为“10大AI青年科学家”（AI 10 to Watch）。

译者简介：

庄福振中国科学院计算技术研究所副研究员、硕士生导师，于2011年7月在中国科学院研究生院获得博士学位；2013年9月被聘为副研究员。主要从事迁移学习、多任务学习、推荐系统以及大数据挖掘应用等方面的研究，相关成果已经在本领域、重要国际期刊和国际会议上发表录用论文100余篇。迁移学习的工作曾获得SDM2010和CIKM2010的最佳论文提名，2013年获得中国人工智能学会优秀博士学位论文奖。入选2015年微软亚洲研究院青年教师“铸星计划”，2017入选中国科学院青年创新促进会。

编辑推荐

杨强教授领衔撰写，研究团队十余年艰苦研究工作的积累。
迁移学习“开山之作”，解决人工智能的“zui后一公里”问题。
张钹院士作序，邓力、高文、李开复、周志华（按姓氏拼音排序）联袂推荐。

前言

推荐序

迈向真正的人工智能30多年前我与杨强教授在人工智能（AI）的国际会议上相遇并相识，而后发现我们对AI有着共同的兴趣并从事类似的研究工作。当时正处于第一代AI的高潮，符号主义占主导地位。我们利用以知识为基础的符号推理模型研究AI中的各种问题，如规划、搜索和学习等。这是当时的主流，以机器学习为例，如从观察中学习、基于案例的推理、类比学习和归纳学习等，它们均从模仿人类的宏观学习机制出发，以知识（或经验）驱动为基础。这种学习方法的优点是，学习的模型和结果很容易实现跨领域和跨任务的推广。不难看出，这些学习方法正是当今迁移学习（Transfer Learning）的探路者。可惜，不久它们就遭遇了AI的冬天。由于知识获取与表示的困难，以及当时计算机计算能力的限制，符号主义的主张没有得到应有的发展和大规模的应用，以知识为基础的学习方法也同样受到重创。21世纪初，机器学习中的一个分支——概率统计学习（特别是深度学习）异军突起，获得巨大成功。它不仅建立了较好的理论基础和有效的算法，还成功地得到商业应用，成为推动产业和社会发展的重要力量，使AI进入了以数据驱动为主导的第二代AI发展时代。凭借大数据、强大的算法和算力，第二代AI在模式识别等领域表现出超越人类的性能。可惜，以数据驱动为基础建立的AI系统十分脆弱，推广能力也很差，例如：机器学习模型在某些方面可以具有很高的性能,但当模型应用于有别于训练环境的场景中时，其性能显著下降，甚至完全不能使用，与人类“随机应变”和“举一反三”的真正智能相去甚远。为了迈向真正的AI，我们需要第三代AI，而迁移学习正在向这一道路迈进。迁移学习将知识驱动方法和数据驱动方法结合起来，以打破基于大数据的“黑箱”学习带来的不可解释、脆弱与易受攻击等缺陷，建立可解释与鲁棒的AI理论和方法，开发安全、可信、可靠和可扩展的AI技术。由于能同时利用知识、数据、算法和算力这四大要素，AI一定可以再创辉煌。本书展示了在通往真正AI的道路上作者在机器学习领域已经取得的成果。

迁移学习如何将基于数据学习得到的模型从一种场景更新或者迁移到另一场景，从而实现跨领域和跨任务的推广？具体的做法如下：首先，从学习训练的环境（包括训练数据与方法）出发，发现哪些（具有某种通用性的）知识可以跨领域或者跨任务进行迁移，哪些只是针对单个领域或单个任务的特定知识，并利用通用的知识帮助提升目标域或目标任务的性能。这些通用知识主要通过以下4种渠道迁移到目标域中，即源域中可利用的样本、源域和目标域中可共享的特征、源域模型中可利用的部分、源域中实体之间的特定规则。

本书是杨强教授与其学生在多年研究的基础上撰写的，它包含了迁移学习的基础、方法、技术和应用。本书主要由两部分组成：第1部分从代表性方法和理论研究的角度介绍迁移学习的基础；第2部分讨论迁移学习中的一些新热点,以及展示一些成功应用迁移学习的场景。本书包含很多原创性的成果，是一部值得广大读者阅读的专著。本书向我们展示了作者为走向真正AI所做出的努力，因此不仅适合关注迁移学习的读者，而且对于所有关心人工智能的读者都是有益处的。

张钹院士

清华大学人工智能研究院院长

译者序

迁移学习是机器学习中一种新的学习范式，旨在解决目标领域中只有少量甚至没有标记样本的富有挑战性的学习问题。本书英文版作者——香港科技大学的杨强教授指出：迁移学习能够解决人工智能的最后一公里问题，它就像人类一样，能够举一反三，有效地把模型从一个场景迁移到另一个场景，从而突破传统机器学习必须有大量标记数据作为前提的要求。在过去的十几年里，不管是在算法、理论研究还是实际场景应用方面，迁移学习都得到了越来越广泛的关注和研究。

当我通过机械工业出版社华章公司得知杨强教授撰写的本书时，我感到非常兴奋和激动，因为终于有一本比较成熟的书系统地对迁移学习的算法、理论、应用以及相关领域研究进行了总结。首先，非常感谢华章公司的委托以及杨强教授的信任，让我有幸负责组织全书的中文翻译工作。全书凝聚了杨强教授及其团队在迁移学习以及相关领域的研究成果，包括迁移学习、多任务学习、迁移学习理论、自动迁移学习、小样本学习、终身机器学习，以及迁移学习在计算机视觉、自然语言处理、推荐系统、生物信息学、行为识别等方面的研究成果。这是一本系统而全面的书。本人目前的主要研究方向包括迁移学习、多任务学习、多视图学习以及推荐系统等，也有幸从2007年开始，在罗平师兄的指导下开展迁移学习算法的研究，主要研究方向有文本分类、情感分析、推荐系统、异常检测等应用。令人欣慰的是，我们最近也完成了一篇关于近十年来迁移学习研究工作进展的系统综述，该综述主要从数据和模型角度对迁移学习算法进行了总结，也比较全面地涵盖了本人及团队在该领域的研究成果，详见arxiv上的预印版本　A Comprehensive Survey on Transfer Learning:https://arxiv.org/abs/1911.02685。

从2019年5月接受委托开始本书的翻译工作以来，本人前后历时约8个月，终于顺利完成了翻译工作。本书之所以能够顺利完成，离不开我的学生、朋友及家人的积极参与、关心和支持。在这里我要特别感谢他们，包括何佳、张钊、陈敬伍、奚冬博、孙莹、朱勇椿、王天鑫、汪润川、周干斌、应豪超、张啸、弋飞、赵洁洁、陈天柱、段柯宇、郭桐嘉、黄婷、张函玉(排名不分先后)。当然，这也离不开出版社编辑的仔细校对，在这里一并表示感谢。由于时间仓促，本书虽然经历了几轮反复梳理和校对，但难免还有一些翻译习惯上的差异以及瑕疵。若有发现，请及时反馈给本人或出版社进行修正，不胜感激。

最后，迁移学习作为一种新的机器学习范式，虽然近十年来已经得到广泛的关注和研究，但本人认为该领域还非常年轻，还有很多事情可以做。比如真实场景中的实际应用，虽然其中有一些实际数据的应用，但其算法主要还停留在实验阶段，离实用性还有一定距离。另外，现实世界中存在着各种各样的应用需求，也急需对迁移学习做进一步开发和探索。我希望本书作为迁移学习领域的第一本书籍，可以吸引越来越多的读者和研究人员来从事这方面的研究，从而推动该领域的发展，为迁移学习解决人工智能的最后一公里问题做出贡献。

庄福振

中国科学院计算技术研究所

2019年12月31日

前言

本书介绍迁移学习的基础、方法、技术和应用。迁移学习解决的是学习系统如何快速适应新场景、新任务和新环境的问题。迁移学习是机器学习中一个特别重要的领域，我们可以从几个角度来理解。

第1，从小数据中学习的能力似乎是人类智能的一个特别强大的方面。例如，我们观察到婴儿可以仅从一些例子中学习，并能快速而有效地从这些例子中归纳出概念。这种从小数据中学习的能力在某种程度上可以解释为人类利用和调整以前的经验和预先训练的模型来帮助解决未来目标问题的能力。适配（adaptation）是智能生物的一种先天能力，人工智能主体当然也应该被赋予迁移学习能力。

第2，在机器学习实践中，我们经常遇到大量的小型数据集，这些数据集通常是孤立的、碎片化的。许多机构由于很多限制而没有能力收集到大规模数据集，这些限制包括资源限制、组织利益、法规和对用户隐私的考虑等。当这些机构把人工智能技术应用到其问题中时，这种小数据的挑战是其面临的一个严重问题。迁移学习是针对这一挑战的一种合适的解决方案，因为它可以利用许多辅助数据和外部模型，并调整它们来解决目标问题。

第3，迁移学习可以使人工智能和机器学习系统更加可靠和鲁棒。建立一个机器学习模型通常遇到的情况是，人们不能预见所有未来的情况。在机器学习中，这个问题通常使用一种称为正则化的技术来解决，这种技术通过限制模型的复杂性来为将来的变化留下空间。迁移学习进一步采用了这种方法，它允许模型保持复杂性，同时为实际出现的变化做好准备。

此外，当把学习到的模型用于跨领域边界并面临不可预见的变化时，迁移学习仍然可以确保模型性能不会与预期性能相差太大。通过这种方式，迁移学习可以让知识重复利用，从而使获得的经验可以重复地应用到现实世界中。从软件系统的角度来看，如果系统能够通过迁移学习调整自身以适应新领域，那么当外部环境发生变化时，可以认为系统变得更加鲁棒和可靠。在工程实践中，这样的系统通常是首选的。

如果在机器学习实践中继续应用迁移学习，我们就可以获得终身机器学习系统，它可以从一系列解决问题的经验中汲取知识，无论是在很长一段时间内还是从大量的任务中。迁移学习赋予智能系统终身学习的能力。

最后，迁移学习系统可以成为一个严格保护用户隐私的良好商业模型的支柱。这样，一个预训练的模型就可以被下载和适配到计算机网络的边缘，而不泄露从边缘积累的或位于云端的用户数据。通过将模型从服务器端转移到客户端，可以有效地保护客户端的隐私。此外，通过仔细构造迁移学习算法，还可以保护云上的用户私人信息。

就像人工智能特别是机器学习一样，迁移学习的概念也经历了几十年的演化。从早年的人工智能开始，研究人员就把迁移知识的能力当作智能的根本基石之一。迁移学习也有不同的名称，并以不同的形式进行探索，包括类比学习（learning by analogy）、基于案例的推理（case-based reasoning）、知识重用和重建、终身机器学习（lifelong machine learning）、永无止境的学习（never-ending learning）和域适应（domain adaptation）等。除了人工智能和计算机科学外，迁移学习的概念也以不同的术语被研究。例如，在教育理论和学习心理学领域，学习迁移（transfer of learning）的概念一直是教育工作者研究有效学习和教学建模的一个重要课题，人们坚信，最好的教学能使学生学会“如何学习”，并使所学知识适应未来的情况。尽管名称不同，但其本质是相似的：能够利用自己过去的经验，帮助自己在未来做出更有效的决定。

迁移学习的研究涉及科学和工程的许多领域，包括人工智能、算法理论、概率和统计等。随着人们对人工智能的兴趣的增长，该领域也在经历着快速的变化，许多新的研究也对该领域做出了贡献。作为第一本关于该领域的书，我们希望它能成为机器学习研究和应用领域的新加入者的工具，同时也希望它成为经验丰富的机器学习研究人员和应用程序开发人员的参考书。

本书分为两部分。第1部分（第1~14章）介绍迁移学习的基础，其中第1章对迁移学习进行概述，第2~14章介绍迁移学习相关的各种理论和算法。第2部分（第15~22章）讨论迁移学习的许多应用领域。第23章是对全书的总结。

本书是研究人员十多年艰苦研究工作的积累，主要研究人员包括杨强教授的现在和往届的研究生、博士后研究人员和研究助理。每章的作者包括一位或几位学生。四位主要作者负责一些章节的撰写或深入各章来帮助精练内容，或者两者兼而有之。以下是每章的作者。

第1章：潘嘉林、杨强

第2章：张翔

第3章：耿栩

第4章：吴学阳

第5章：田晗

第6章：魏颖

第7章：张颖华

第8章：刘博

第9章：张宇

第10章：张宇

第11章：谭奔

第12章：张宇、魏颖

第13章：邓锦亮

第14章：李良豪、杨强

第15章：郭夏玮、陈雨强、涂威威、戴文渊

第16章：张颖华、王伟俨

第17章：肖文怡、李正

第18章：莫凯翔

第19章：潘微科、胡光能

第20章：徐倩、刘博、杨强

第21章：郑文琛、胡昊

第22章：王乐业、李叶昕

第23章：杨强、张宇、戴文渊、潘嘉林

最后，感谢邓玉桃的管理工作，她帮助我们制定了严格的时间表，并进行了团队管理工作。在此向以上贡献者表示衷心的感谢！如果没有他们的努力，本书是不可能完成的。

还要感谢多年的同事、组织和合作者。感谢香港科技大学、香港研资局CERG基金、香港创新及科技基金、第四范式公司、新加坡南洋理工大学、微众银行等机构的鼎力支持。

最后，感谢家人的支持，他们的耐心和鼓励让我们最终完成了本书。

短评

杨强老师的大作，市面上确实也没有迁移学习的书，书刚出，价格有点贵了。支持一下！

2020-08-09 08:10:17

迁移学习

内容简介

作者简介

编辑推荐

前言

目录

短评

标签

产品特色