深度学习与图神经网络核心技术实践应用高级研修班-Day3迁移学习（Transfer Learning）

Posted 2021-09-08 ZSYL

迁移学习（Transfer Learning）

• 1. 迁移学习概述
• • 1.1 什么是迁移学习？
  • 1.2 为什么需要迁移学习？
• 2. 迁移学习分类
• • 2.1 基于深度学习的问题分类
  • • 2.2.1 技术方法分类
    • 2.2.2 基于实例算法：TrAdaBoost
    • 2.2.3 基于特征算法：迁移成分分析（TCA）
  • 2.2 深度迁移
• 3. 深度迁移算法
• • DDC算法
• 4. 迁移学习前沿
• • 4.1 传递式迁移学习
  • 4.2 迁移强化学习
  • 4.3 终身迁移学习

1. 迁移学习概述

1.1 什么是迁移学习？

迁移学习和领域自适应指的是利用一个情景中已经学到的内容去改善另一个情景中的泛化情况。
-----《Deep Learning》

1.2 为什么需要迁移学习？

• 有些任务难以获取数据标签
• 传统的机器学习难以扩展
• 从头建立模型复杂且耗时

2. 迁移学习分类

2.1 基于深度学习的问题分类

2.2.1 技术方法分类

2.2.2 基于实例算法：TrAdaBoost

主要思想

• 增加误分类的源训练数据的权重
• 减小误分类的目标训练数据的权重

2.2.3 基于特征算法：迁移成分分析（TCA）

主要思想

• 将两个领域分布不同的数据映射到一个高维空间，使其边缘分布相同
• 使用最大均值差异（MMD，maximum mean discrepancy）计算映射后距离
• 引入核函数表示MMD距离，进行求解

2.2 深度迁移

深度神经网络的可迁移性

• 对于一个深度网络，随着网络层数的加深，网络越来越依赖于特定任务；
• 深度神经网络的浅层学习一个大概（general）的特征，可用来迁移；
• 网络层数的迁移可以加速网络的学习和优化。

3. 深度迁移算法

• DaNN
• DDC
• DAN

DDC算法

主要思想

• 针对预训练的AlexNet（8层）网络
• 在第7层（feature层）加入了MMD距离来减小source和target之间的差异
• 损失函数分为两部分：有标签数据分类误差，以及MMD计算的两个域距离

4. 迁移学习前沿

4.1 传递式迁移学习

• 找到两个领域的相似性
• 可以由中间的领域构成联系
• 参考文章：Transitive transfer learning Distant Domain Transfer Learning

4.2 迁移强化学习

• 目前，深度强化学习缺乏足够的数据
• 使用迁移学习利用其它数据训练好的模型帮助训练
• 参考文章：Transfer learning for reinforcement learning domains: A survey

4.3 终身迁移学习

• 如何选择迁移学习算法？
• 从已有的迁移学习方法中学习迁移的经验
• 将这些经验应用到新的数据
• 参考文章：Learning to Transfer

加油!

感谢!

努力!