🥵 什么是元学习？

• 定义：元学习（Meta Learning）是一种让机器学会“学习”的技术，属于机器学习的子领域。

• 目标：赋予机器快速学习新任务的能力，类似人类通过少量新信息快速适应新领域。

• 背景：
• 传统监督学习的局限性：只能学习固定任务，当切换到新任务时需重新训练模型。
• 元学习通过学习“学习的能力”，使机器可以利用已有知识快速适应新任务。

元学习的方法分类

• 基于模型的方法（未在此处详细展开）。

• 基于度量的方法。

• 基于优化的方法。

基于度量的元学习

核心思想

• 特征向量的相似性度量：在深度神经网络中，不同数据输入后会产生不同的特征向量，其特征空间中的距离可对应实际语义的相似性。

• 目标：通过学习相似性度量，快速判断新任务中样本的类别。

实现方法

• 孪生神经网络（Siamese Network）
• 应用场景：
• 类别多但每类样本少。
• 训练样本不足以用传统分类方法训练模型。
• 结构：
• 共享卷积神经网络：提取特征。
• 距离度量模块：计算特征向量间的距离。
• 输入形式：
• 两张图片 (X1, X2) 和对应标注 (Y)：
• Y = 0：X1 和 X2 是同一类。
• Y = 1：X1 和 X2 是不同类。
• 学习目标：
• 相同类别：度量距离尽量小。
• 不同类别：度量距离尽量大。
• 优势：
• 在新增类别的情况下，无需大量样本即可通过新样本与其他样本的距离实现分类。

• 其他方法
• 匹配网络（Matching Network）：通过特征向量间的最近邻匹配实现分类。
• 关系网络（Relation Network）：进一步建模特征向量间的关系。

基于优化的元学习

核心思想

• 深度学习需要通过优化算法（如梯度下降）寻找网络参数的最优解。

• 基于优化的元学习通过提升超参数优化过程（如初始化参数），加速新任务的学习。

实现方法

• MAML（Model-Agnostic Meta-Learning）
• 核心目标：
• 通过多个训练任务学习一套“初始化参数”（即模型的“先验知识”）。
• 该初始化参数非某个任务的最优解，而是多个任务的折中最优解。
• 新任务中利用这套参数可以更快、更高效地优化模型。
• 工作机制：
• 设计 N 个训练任务，通过这些任务找到对所有任务折中的初始化参数。
• 训练时从这些初始化参数开始，快速优化以适应新任务。
• 与迁移学习的区别：
• MAML：在多个任务中学习“折中初始化参数”，从而快速优化新任务。
• 迁移学习：从源域任务中学到最优参数，迁移到目标域任务。

• Reptile
• 特点：更简化的优化方法。
• 目标：通过更少计算实现与 MAML 类似的效果。

元学习方法对比表格

总结与展望

• 元学习的意义：赋予机器快速适应新任务的能力，大幅降低新任务对大规模数据和长时间训练的依赖。

• 基于度量与优化方法的协同：结合特征相似性度量与高效优化策略，可进一步提升元学习性能。

• 未来研究方向：
• 优化算法的效率与泛化能力。
• 新的特征度量方法与网络架构设计。
• 元学习与其他技术（如迁移学习、自监督学习）的融合。