元学习：基础与应用

本书介绍了元学习方法的发展历史、起源、思想、近来流行的元学习方法，以及这些方法的组织思路、改进方案、相互继承、如何应用。本书共11章，分为两部分：元学习方法思想的介绍和元学习应用场景中模型的介绍。这些内容介绍了如何在元学习框架下融入强化学习、模仿学习、在线学习、无监督学习、迁移学习等，实现对实际应用中深度模型的改进，以适应复杂多变的实际任务。

彭慧民，2012年毕业于清华大学水利水电工程系，获工程学学士、经济学学士双学位；2017年毕业于美国北卡罗莱纳州立大学统计系，获统计学博士学位，研究方向是高维数据和因果推断；2019年完成在清华大学金融系的博士后工作，研究方向是公募基金业绩评价。之后在浪潮（北京）电子信息产业有限公司做国家重点实验室研究员，从事机器学习的研究工作。

本书是市面上不多见的系统阐述元学习知识体系的著作，特色有四：

全方位：梳理元学习发展脉络，理清关键知识点

立体化：阐述元学习的基本理论框架与技术方法

多维度：分析元学习与人工智能其他方法的综合运用

实用度：介绍元学习应用场景中的模型，以适应多变的实际任务

前言

元学习（Meta-Learning）的概念起源于强人工智能（General AI）的范畴，是指让机器学会学习（Learning-to-Learn），从而让机器变得更加智能，代替人类完成复杂多变的任务。近来，MAML（Model-Agnostic Meta-Learning）的兴起带火了元学习的概念，MAML将元学习视为深度学习模型的补充，引入MAML模块，通过适当的组合、调试，可以在保持深度模型精度的同时，额外提高深度学习模型的泛化能力，避免了过拟合问题的出现，提高了深度学习模型在分布外任务的精度。泛化能力的作用有以下这些：（1）可以减小模型过拟合的可能性；（2）可以提高模型的样本外预测能力；（3）扩大模型适用的范围，提高模型的适应性；（4）有利于在不同场景之间模型的融合，在同一场景下有更多模型可供考虑和选择，既可以重新训练模型，也可以从类似任务的深度模型泛化而来；（5）提供模型之间互相借鉴的通道和框架，有利于不同模型和机器学习框架的交流和合作，基础学习器和元学习器可以是不同种类的机器学习模型。

其实元学习并不是一个新概念，早在1987年，科学家就已经提出了元学习的概念，指的是机器通过与环境进行交互，不断获取信息，进行自我更新调整，从而不断地适应环境，在没有任何人为干预的场景下，机器能自发地适应并且进化，智能化地学会怎么解决遇到的任何任务。元学习框架包括两个部分，（1）解决任务的基础层，对应每个任务上的基础学习器，（2）综合所有任务并且对基础学习器进行指导的元层，元层指导基础学习器更快适应新任务、更好解决新问题。元层是综合所有解决问题的经验并且进行分析的指挥层，元层代表知识层级中更加本质、普适的知识逻辑，可以很好地推广到新任务。基础层和元层是任务中知识层级的天然表达形式，基础层代表每个任务特性的知识，元层代表所有任务共性的知识。

本书介绍了元学习方法的发展历史、起源、思想、近来流行的元学习方法，以及这些方法的组织思路、改进方案、相互继承、如何应用。实际上，元学习这个领域的范畴并没有一个明确的界定，元学习最早是作为强人工智能的概念提出，主要通过模型与环境的交互实现模型的自更新，也可以认为元学习和迁移学习是同样的概念，都是将已有的模型应用于解决新的任务，而不用重新训练模型，事实上，许多近代元学习方法借鉴了迁移学习方法的思路。本书的内容来源于对最早期元学习理论和近年来元学习方法文献的整理，笔者对元学习的理解也不一定全面准确，读者可对本书内容进行批判型阅读，在此过程中读者也可对元学习的当代应用和早期起源有更多了解，在读者的科研工作中，遇到可以用元学习解决的问题，也可考虑设计合适的元学习方案。当下，元学习的应用场景主要有以下这些，（1）数据量很小却需要深度学习模型的场景，（2）在线学习需要及时更新深度模型，每个时刻获取的数据包都很小，（3）优化问题及其复杂，包括许多连续和离散的超参数需要优化，元学习器指导基础学习器优先探索更有希望的超参数组合，（4）解决重头训练深度模型过于复杂或者无法实现的场景，必须依靠过去的经验对深度模型的训练进行加速。

笔者2017年获得美国北卡罗莱纳州立大学统计学博士，目前从事人工智能研究。笔者接触元学习是在2018年，当时笔者使用频率较低（每半年）的公募基金持仓数据计算了频率较低的反映基金盈利能力的指标，然而笔者又希望根据频率较低的指标进行基金未来表现的预测，例如，根据仅有的3-4个观测点预测未来走势。这个问题本身并不是一个好问题，数据量太小，但是笔者尝试用了最简单的直线斜率来直接预测未来走势，得到的预测结果竟然对大多数基金有用，可是，仍然有部分基金无法预测。笔者希望找到方法将这部分无法预测的基金比例降低，遍寻无果，笔者开始转向人工智能方向寻找。由于深度学习适用于数据量较大的情况，所以对于小样本的情形无法使用，而元学习适用于小样本问题的解决，由此，

笔者开始对元学习领域感兴趣。除了笔者遇到的情形之外，元学习可以解决许多小样本的实际问题，例如任何数据量不足或者任务环境剧烈变化的场景。其实，元学习不仅限于解决小样本问题，本书中介绍的元学习思想也不仅限于解决小样本问题。元学习最早提出时是为了实现强人工智能，让机器学会学习，从而机器可以学会解决小样本问题。元学习的终极目标是让机器变得更加智能，可以自行学会解决新问题，而不用每次都要收集大量有标注数据，花大量时间和计算资源来训练深度模型。科研的过程就像是探险，解决一个谜团之后，不会带来终结，之后只会带来更多需要解决的谜团，需要人们前赴后继地去探索追寻。

笔者写这本书时的愿望如下：（1）期待元学习的发展让机器学会学习，促进强人工智能的进步，最终实现让机器将人类从繁琐的重复性劳动中解放出来，让人类将精力放在更加重要的领域，让人类的工作变得轻松，提高人类的工作效率；（2）元学习算法的框架灵活多变，对任何任务的适应性都不错，可以促进人工智能和传统领域的双赢融合，达到应用场景更好的解决方案，人工智能的发展并不仅限于在现有的任务上实现更高精度、更快速度、更好效果，还要将人工智能方法更好地与传统领域结合，扩大人工智能的应用范围，将人工智能渗透到传统领域；（3）希望元学习的思想能促进基础领域研究的发展，通常认为的是基础领域研究的进步促进了所有其他领域的发展，而元学习的思想却可以影响到基础领域的理论研究，提高理论的适应性，扩大理论的适应范围，放松理论成立要求的苛刻假设条件；（4）提供解决问题的新思路，元学习的基本思想和框架下，可以灵活地组合和改动现有的方法，解决复杂问题，化繁为简，实现问题分解；（5）促进统计学习和深度学习的融合发展，元学习提供了融合这些方法的灵活框架。

本书分为11个章节，在宏观上可以分为两大部分：元学习方法思想的介绍和元学习应用场景中模型的具体介绍。第1章是元学习介绍，讲述元学习思想的起源和发展脉络，第2章是元学习研究框架，介绍元学习研究中搭建的理论框架，这两章作为对元学习这本书的引入。第3章是神经网络元学习方法，第4章是基于度量学习的元学习方法，第5章是基础学习器和元学习器结合的元学习方法，第6章是贝叶斯思想下的元学习方法，这些章节分别介绍了元学习方法的主要框架，给出了元学习框架的基础理论。第7章详细介绍了元学习的实际应用场景，之后，第8章讲述了元强化学习，第9章描述了元模仿学习，第10章介绍了在线元学习，第11章是无监督元学习，这些章节介绍了在实际应用中，元学习框架下融入了强化学习、模仿学习、在线学习、无监督学习、迁移学习等，实现了对实际应用中深度模型的改进，适应复杂多变的实际任务。

本书中介绍的方法都来自论文，每个章节中引用过的论文都列在每个章节的最后一小节中，每个章节中引用论文的数字编号都对应于每个章节后引用文献列表中的文献编号。引用文献列表中的论文都有对应的代码在Github上，代码可以在Github上面搜索得到。本书中涉及的论文年代都是最新的论文版本对应的论文年代，而不是论文最初那个版本对应的论文年代，每个章节的论文大致是按照年代来排序的，反映这些方法之间的相互继承关系和发展脉络。本书介绍了许多近来热门的元学习方法，却没能够很好地体现出元学习思想的全部，是本书的遗憾之一，相较于本书介绍的内容，元学习思想更加深远，发展几十年，影响很广，相信未来会有更多优秀的元学习方法出现，读者可以实时关注元学习最新的发展动向。

元学习的基础思想可以混搭组合、灵活多变，适用于许多实际问题的解决，不降低模型精度的情况下，提高模型的泛化能力，从而让模型额外获得在泛化能力上更好的表现。本书适用于希望了解元学习并且对机器学习有基础的读者，对于金融领域经常需要做样本外预测工作的读者非常适用，对于机器人研究领域，需要进行连续控制和适应复杂多变环境的工作也适用，对于样本量少且需要进行预测的小样本图片分类任务也适用。元学习致力于让机器达成更高的智能，实现更深程度的自动化和智能化，以此改进现有模型的效果。

前言 1
目录 3
1 元学习介绍 8
1．1 研究背景 13
1．1．1 元学习与深度学习的区别和联系 15
1．1．2 元学习应用举例 19
1．2 元学习起源 21
1．2．1 1987年的Jürgen Schmidhuber 21
1．2．2 1990年的Stuart Russell和Eric H． Wefald 24
1．3 近期发展 25
1．3．1 1997年长短期记忆网络LSTM 26
1．3．2 2001年LSTM元学习系统 27
1．3．3 2017年MAML算法 28
1．3．4 2019年基于LSTM的元学习器 28
1．3．5 2019年基于高效基础学习器的元学习 29
1．4 参考文献和扩展阅读 30
2 元学习框架 32
2．1 元学习研究常用数据集 33
2．2 定义任务 36
2．2．1 元学习任务的定义 37
2．2．2 元强化学习任务的定义 38
2．2．3 任务分解 39
2．3 元学习训练框架 40
2．4 元学习方法分类 42
2．4．1 神经网络适应法 42
2．4．2 度量学习适应法 43
2．4．3 基础学习器和元学习器适应法 44
2．4．4 贝叶斯元学习适应法 44
2．4．5 元学习与其他学习框架结合 45
2．5 元学习方法比较 46
2．6 参考文献和扩展阅读 48
3 元学习神经网络方法 49
3．1 神经网络 51
3．1．1 神经元 51
3．1．2 权重、偏差和激活函数 52
3．1．3 网络反向传播算法 54
3．1．4 学习率、批尺寸、动量和权值衰减 56
3．1．5 神经网络模型的正则化 58
3．1．6 批归一化 59
3．1．7 随机失活 61
3．2 卷积神经网络 62
3．2．1 卷积层和滤波器 62
3．2．2 池化层和下采样层 64
3．2．3 全连接层和上采样层 66
3．2．4 经典卷积神经网络 67
3．3 残差网络 69
3．3．1 残差网络模块 69
3．3．2 高速路神经网络 70
3．3．3 宽残差网络 70
3．4 元学习神经网络模型 71
3．4．1 学会学习的神经网络学习器 72
3．4．2 预训练深度神经网络的适应 73
3．4．3 具有适应性的神经元设计 75
3．5 自动化机器学习 80
3．5．1 超参数优化 80
3．5．2 元学习和自动化机器学习 81
3．5．3 加速自动化机器学习 84
3．5．4 决策式自动化机器学习 88
3．5．5 渐进式自动化机器学习 90
3．6 总结 95
3．7 参考文献和扩展阅读 95
4 基于度量的元学习方法 98
4．1 基于度量的学习 99
4．1．1 度量的定义 100
4．1．2 度量学习的应用 102
4．1．3 有监督度量学习 103
4．1．4 半监督度量学习 106
4．1．5 无监督度量学习 108
4．2 注意力模型 108
4．3 记忆模块 109
4．4 SNAIL算法 113
4．5 Relation Network算法 115
4．6 Prototypical Network算法 118
4．7 TADAM算法 120
4．8 Dynamic Few-Shot算法 123
4．9 mAP算法 128
4．10 总结 132
4．11 参考文献和扩展阅读 133
5 基础学习器和元学习器结合的元学习 134
5．1 基础学习器 137
5．2 元学习器 138
5．3 MAML算法 139
5．4 Reptile算法 145
5．5 Recurrent Neural Network 149
5．5．1 RNN基础结构 149
5．5．2 Bidirectional RNN 152
5．5．3 Long Short-Term Memory 153
5．5．4 Gated Recurrent Unit 156
5．6 RNN元学习算法 158
5．7 Meta-LSTM算法 160
5．8 R2D2算法 164
5．9 LR2D2算法 167
5．10 MetaOptNet算法 170
5．11 Transductive Propagation Network算法 173
5．12 Latent Embedding Optimization算法 178
5．13 参考文献和扩展阅读 182
6 贝叶斯思想下的元学习方法 184
6．1 Bayesian Program Learning算法 186
6．2 Neural Statistician算法 189
6．3 LLAMA算法 192
6．4 BMAML算法 197
6．5 PLATIPUS算法 202
6．6 VERSA算法 204
6．7 参考文献和扩展阅读 207
7 元学习的应用场景 208
7．1 元迁移学习 211
7．2 元强化学习 212
7．3 元模仿学习 213
7．4 在线元学习 213
7．5 无监督元学习 214
7．6 参考文献和扩展阅读 215
8 元强化学习 216
8．1 强化学习 216
8．2 基于MAML的元强化学习 218
8．3 GrBAL算法 219
8．4 参考文献和扩展阅读 222
9 元模仿学习 223
9．1 模仿学习 223
9．2 MAML算法用于元模仿学习 225
9．3 MetaMimic算法 226
9．4 参考文献和扩展阅读 229
10 在线元学习 229
10．1 在线学习 229
10．2 FTML算法 231
10．3 参考文献和扩展阅读 233
11 无监督元学习 233
11．1 无监督学习 233
11．2 CACTUs算法 235
11．3 参考文献和扩展阅读 236