迁移学习导论

迁移学习作为机器学习和人工智能领域的重要方法，在计算机视觉、自然语言处理、语音识别等领域都得到了广泛的应用。

《迁移学习导论》的编写目的是帮助迁移学习及机器学习相关领域的初学者快速入门。全书主要分为背景与概念、方法与技术、扩展与探索及应用与展望四大部分。除此之外，《迁移学习导论》还配有相关的代码、数据和论文资料，最大限度地降低初学者的学习和使用门槛。

《迁移学习导论》适合对迁移学习感兴趣的读者阅读，也可以作为相关课程的配套教材。

王晋东

微软亚洲研究院研究员、中国科学院计算技术研究所博士，主要从事迁移学习、机器学习和深度学习方面的研究。

研究成果发表在IEEE TNNLS、ACM TIST、CVPR、IJCAI、ACMMM、UbiComp等顶级期刊和会议，获得国家奖学金、中国科学院优秀博士论文奖、中科院计算所所长特别奖学金等。担任国际会议IJCAI 2019的宣传主席、顶级国际期刊会议IEEE TPAMI、TKDE、ICML、NeurIPS、ICLR、CVPR等的审稿人或程序委员会委员。

热心知识分享，在知乎的博客文章浏览次数逾700万次。

陈益强

中国科学院计算技术研究所所务委员、研究员、CCF Fellow，主要研究人机交互与普适计算，联邦学习与迁移学习等。

任北京市移动计算与新型终端重点实验室主任、中科院计算所泛在计算系统研究中心主任；曾入选国家“万人计划”科技创新领军人才、科技部中青年科技创新领军人才、北京市科技新星等；国务院特殊津贴专家，东京大学、南洋理工大学兼职教授，IEEE计算智能等6个刊物的编委，IEEE可穿戴与智能交互技术委员会创始委员等。获 IJCAI-FL等人工智能和普适计算领域最佳论文奖 6 项；相关成果获国家科技进步二等奖及中国计算机学会技术发明一等奖等。

《迁移学习导论》独辟蹊径，从初学者角度出发，以“讲课”的形式，归纳分析各类迁移学习方法，使读者能快速理解迁移学习的本质问题、抓住重点、举一反三、迅速入门。

《迁移学习导论》一大亮点是对“两头“的把握：

一是源头，抓问题和场景，做到“师出有名”，讲清楚针对什么问题、用在哪里；

二是笔头，抓代码与实践，做到“落地结果”，在实战中巩固和深化对技术的理解。

考虑多方位学习的需求，《迁移学习导论》配有实践代码、学习资料、相关笔记和文章，并持续更新。

零基础入门！一书入手，一步到位！

前言

本书的编写目的是帮助迁移学习领域的初学者快速入门。本书尽可能绕开过于理论化的概念，专注介绍经验方法。除此之外，本书还配有相关的代码、数据和论文资料，最大限度地方便初学者学习。

本书共分四大部分：背景与概念、方法与技术、扩展与探索，以及应用与展望。第一部分为背景与概念，由第1 章到第3 章构成。其中第1 章为绪论，从宏观角度介绍了迁移学习的基本概念及其必要性，并且简单分析了它与已有概念的区别和联系。这一章也介绍了迁移学习的一些应用领域，目的是使读者对迁移学习有较为系统的了解。第2 章从机器学习开始，逐步过渡到迁移学习的概念上。第3 章介绍了迁移学习领域的基本研究问题。第二部分为方法与技术，这是全书最重要的部分，由第4 章到第11 章构成。第4 章以较为严谨的学术风格对迁移学习的基本问题进行了形式化定义，并描述了一个较为完整的迁移学习过程，以及对迁移学习理论分析的一些总结。这一章应该视为余下章节的起点。第5658 章对应三大类迁移学习的基本方法：第5 章对应样本权重迁移法，第6章、第7章分别介绍基于统计距离和几何特征的特征变换迁移方法，这两章合起来对应特征变换迁移法。由于此类方法的相关工作最为丰硕，因此我们分为两个章节讲述。第8 章则对应基于模型的迁移，特别是在深度模型中的预训练方法。

第9章和第10章重点讲述深度迁移学习和对抗迁移学习的基本思路和方法。读者应当注意的是，深度网络中的迁移方法不应当与之前的三大类基本方法割裂开，而应该被视为三种基本方法在深度网络中的具体体现。因此，这也是为什么我们不直接谈深度方法而首先介绍三大类基本方法的原因。第11 章介绍了迁移学习领域若干热门研究问题和相关工作。这些从不同视角出发的问题从各个方面对经典的迁移学习场景进行了扩展，在目前仍然是热门的研究方向。

第三部分为扩展与探索，由第12 章到第14 章构成。所谓扩展，指的是不局限于固定的迁移学习问题，旨在探索迁移学习新方向的一些研究成果。我们重点选择了领域泛化（第12 章）和元学习（第13章）这两个研究方向进行探究和分析。第14 章则给出了在迁移学习模型选择方面的一些代表工作。

第四部分为应用与展望，由第15章和第16章构成。第15章是迁移学习的应用，介绍了迁移学习在包括计算机视觉、自然语言处理、语音识别、普适计算、医疗健康等领域要解决的问题及应用的方式，向读者展示迁移学习是如何被应用到特定的任务，用以解决该应用的痛点问题的。读者将迁移学习应用于自己的任务时，可以借鉴本章所述的应用及解决方案。第16 章介绍了几个迁移学习的前沿问题。

另外，附录部分提供了一些常用的研究资料，供初学者学习研究。

由于作者水平有限，不足和错误之处，敬请不吝批评指正。

目录

第一部分背景与概念

第1 章绪论3

1.1 迁移学习3

1.2 相关研究领域 6

1.3 迁移学习的必要性8

1.3.1 大数据与少标注之间的矛盾 8

1.3.2 大数据与弱计算能力的矛盾 8

1.3.3 有限数据与模型泛化能力的矛盾 9

1.3.4 普适化模型与个性化需求的矛盾 9

1.3.5 特定应用的需求10

1.4 迁移学习的研究领域 11

1.4.1 按特征空间分类12

1.4.2 按目标域有无标签分类 12

1.4.3 按学习方法分类12

1.4.4 按离线与在线形式分类 13

1.5 迁移学习的应用14

1.5.1 计算机视觉14

1.5.2 自然语言处理 15

1.5.3 普适计算与人机交互16

1.5.4 医疗健康17

1.6 学术会议和工业界中的迁移学习 18

第2 章从机器学习到迁移学习21

2.1 机器学习及基本概念 21

2.2 结构风险最小化22

2.3 数据的概率分布23

2.4 概念与符号25

2.5 迁移学习的问题定义 26

第3 章迁移学习基本问题29

3.1 何处迁移30

3.2 何时迁移32

3.3 如何迁移32

3.4 失败的迁移：负迁移 33

3.5 完整的迁移学习过程 35

第二部分方法与技术

第4 章迁移学习方法总览39

4.1 迁移学习总体思路39

4.2 分布差异的度量40

4.2.1 百花齐放的迁移学习分布度量41

4.2.2 分布差异的统一表征42

4.2.3 分布自适应因子的计算 44

4.3 迁移学习统一表征45

4.3.1 样本权重迁移法46

4.3.2 特征变换迁移法47

4.3.3 模型预训练迁移法 48

4.3.4 小结 48

4.4 上手实践48

4.4.1 数据准备49

4.4.2 基准模型构建：KNN 51

4.5 迁移学习理论 53

4.5.1 概念与符号54

4.5.2 基于H-divergence 的理论分析 54

4.5.3 基于HΔH-distance 的理论分析55

4.5.4 基于差异距离的理论分析57

4.5.5 结合标签函数差异的理论分析58

第5 章样本权重迁移法 59

5.1 问题定义59

5.1.1 样本权重迁移法的可行性分析59

5.1.2 形式化定义60

5.2 基于样本选择的方法 61

5.2.1 基于非强化学习的样本选择法62

5.2.2 基于强化学习的样本选择法 63

5.3 基于权重自适应的方法 64

5.4 上手实践66

5.5 小结68

第6 章统计特征变换迁移法 69

6.1 问题定义69

6.2 最大均值差异法70

6.2.1 基本概念70

6.2.2 基于最大均值差异的迁移方法72

6.2.3 求解与计算75

6.2.4 应用与扩展76

6.3 度量学习法78

6.3.1 从预定义的距离到可学习的距离 78

6.3.2 度量学习及其形式化79

6.3.3 基于度量学习的迁移学习80

6.4 上手实践81

6.4.1 算法精炼81

6.4.2 编写代码82

6.5 小结84

第7 章几何特征变换迁移法 85

7.1 问题定义85

7.2 子空间变换法 86

7.3 流形学习法87

7.3.1 流形学习87

7.3.2 基于流形学习的迁移学习方法88

7.4 最优传输法91

7.4.1 最优传输91

7.4.2 基于最优传输法的迁移学习方法 92

7.5 上手实践94

7.6 小结97

第8 章预训练方法99

8.1 深度网络的可迁移性 99

8.2 预训练–微调102

8.3 预训练方法的有效性分析105

8.4 自适应的预训练方法 106

8.5 重新思考预训练模型的使用 108

8.6 上手实践110

8.7 小结113

第9 章深度迁移学习115

9.1 总体思路116

9.2 深度迁移学习的网络结构117

9.2.1 单流结构118

9.2.2 双流结构118

9.3 数据分布自适应的深度迁移学习方法120

9.3.1 边缘分布自适应120

9.3.2 条件、联合与动态分布自适应121

9.4 结构自适应的深度迁移学习方法 122

9.4.1 批归一化123

9.4.2 批归一化用于迁移学习 123

9.4.3 基于多表示学习的迁移网络结构 124

9.5 知识蒸馏125

9.6 上手实践127

9.6.1 网络结构127

9.6.2 损失 129

9.6.3 训练 131

9.6.4 测试 132

9.7 小结133

第10 章对抗迁移学习135

10.1 生成对抗网络 135

10.2 对抗迁移学习基本思路 136

10.3 数据分布自适应的对抗迁移方法137

10.4 基于信息解耦的对抗迁移方法 140

10.5 基于数据生成的对抗迁移方法 141

10.6 上手实践 142

10.6.1 领域判别器143

10.6.2 分布差异计算 143

10.6.3 梯度反转层144

10.7 小结 145

第11 章迁移学习热门研究问题 147

11.1 类别不均衡的迁移学习 148

11.2 多源迁移学习 150

11.3 开放集迁移学习153

11.4 时间序列的迁移学习154

11.5 联邦迁移学习 158

11.5.1 联邦学习158

11.5.2 联邦迁移学习 160

11.6 基于因果关系的迁移学习161

11.6.1 什么是因果关系161

11.6.2 因果关系与迁移学习163

11.7 自动迁移学习 168

11.8 在线迁移学习 171

第三部分扩展与探索

第12 章领域泛化177

12.1 领域泛化问题 177

12.1.1 背景177

12.1.2 问题定义179

12.1.3 常用方法180

12.2 基于数据分布自适应的方法181

12.2.1 领域无关成分分析DICA181

12.2.2 深度数据分布自适应183

12.3 基于解耦的方法184

12.4 基于集成模型的方法186

12.5 基于数据生成的方法187

12.5.1 领域随机法187

12.5.2 对抗数据生成 188

12.6 基于元学习的方法 190

12.7 小结 191

第13 章元学习193

13.1 元学习简介193

13.1.1 问题背景193

13.1.2 元学习 194

13.2 基于模型的元学习方法 196

13.3 基于度量的元学习方法 198

13.4 基于优化的元学习方法 199

13.5 元学习的应用与挑战201

13.5.1 应用201

13.5.2 现存的挑战202

13.6 小结 202

第14 章迁移学习模型选择205

14.1 模型选择 205

14.2 基于密度估计的模型选择206

14.3 迁移交叉验证 207

14.4 小结 208

第四部分应用与展望

第15 章迁移学习的应用211

15.1 计算机视觉212

15.2 自然语言处理 214

15.3 语音识别与合成216

15.4 普适计算与人机交互218

15.5 医疗健康领域 220

15.6 其他应用 223

15.7 小结 225

第16 章迁移学习前沿227

16.1 融合人类经验的迁移227

16.2 迁移强化学习 228

16.3 迁移学习的可解释性228

16.4 迁移学习系统 229

附录A231

A.1 常用度量准则 231

A.1.1 常见的几种距离231

A.1.2 余弦相似度232

A.1.3 互信息 232

A.1.4 相关系数232

A.1.5 KL 散度与JS 距离233

A.1.6 最大均值差异MMD 233

A.1.7 Principal Angle 234

A.1.8 A-distance234

A.1.9 希尔伯特–施密特独立性系数234

A.1.10 Wasserstein Distance234

A.2 迁移学习常用数据集235

A.2.1 手写体识别图像数据集 235

A.2.2 对象识别数据集236

A.2.3 图像分类数据集237

A.2.4 通用文本分类数据集237

A.2.5 行为识别公开数据集238

A.3 本书相关资源 238

参考文献241

机器学习