[notes] model-agnostic meta-learning

Posted 2020-09-29 林小奚

智能的一个关键特征就是多面性（versatility）.

学习去学习是实现真正只能的必经之途。

学习新任务的学习者 & 训练学习者的元学习者

元学习方法通常属于下面三个范畴：循环模型（recurrent model）、度量学习(metric learning)和学习优化器（learning optimizer）.

• 循环模型（LSTM）
• 度量学习： 学习一个度量空间。像素空间进行图像对比的效果并不好。可以训练一个Siamese网络或在学习的度量空间里进行图像对比。元学习通过梯度下降（或其他神经网络优化器）来进行，而学习者对应对比机制，即在元学习度量空间里对比最近邻。
• 学习优化器：用一个网络学习如何更新另一个网络。元学习者通常是一个循环网络。

MAML没有对模型的形式作出任何假设，没有为元学习引入其他参数，学习策略使用的是已知的优化过程（gradient descent）.