有关迁移学习论文

Posted 2021-02-12 zhxuxu

Application of Transfer Learning in Continuous Time Series for Anomaly Detection in Commercial Aircraft Flight Data

https://ieeexplore.ieee.org/document/8513709

 

论文开始介绍了用于处理时间序列的两个主要的模型RNN和LSTM，同时介绍了什么是迁移学习

一 迁移学习的方法

1 基于样例的迁移学习（instance-based transfer-learning ）

 这种方法以重新加权的方式重用目标域中源域中的部分数据。在这种情况下，实例重新加权和重要性抽样是两种主要的技术。

2 基于特征的迁移学习（ feature-representation-transfer method）

这种方法是在源域中不断学习，从数据中提取好的特征，然后以代码的形式迁移到目标域中。 使用新的特征表示，目标任务的性能有望显著提高。

3 参数迁移

当模型建立时，它假定源域和目标域之间的一些参数是相同的。在迁移过程中，这些参数只需要直接从源域复制到目标域集，通过发现共享的参数或先验，就可以跨任务传递知识。

4 关系迁移

这种方法比较抽象。在机器学习领域中，各个领域的要素都会呈现出一定的关系，而对这些关系的充分理解可以帮助我们建立更好的模型。关系-知识-转移方法是指在具有相似关系结构的两个领域之间转移对这种关系的理解。

例如:老板和员工之前开会的关系和老师与学生上课的关系有相似之处，这种关系可以迁移。

二 三类迁移学习

 　　1 归纳迁移学习:在这类任务中，无论源域和目标域是否相同，目标任务都与源任务(Ts ≠Tt)不同。

　　  2 直推式迁移学习：在这个类别中，目标域不同于源域(Ds≠ DT)，而它们的任务是相同的(TS=TT)

　　  3 非监督迁移学习：就像归纳转移学习一样，任务与源任务不同，但又相关。

 

 时间序列问题不同于分类问题。它变化较大，时间序列标签的特征空间不像分类问题那么有限（图相识别属于分类问题）。它需要在源域中构建和训练一个模型，潜在的数据更改存储在权重中。

三 试验

数据集是 商用飞机飞行数据

1 将连续时间序列转换为监督学习数据（这个我的博客有提），规范化数据集。

2 建立LSTM和全连接层的训练模型

3 训练出一个比较好的模型，保存权重把它用于目标域。

4 使用较少的数据集来训练这个模型，获得最终的迁移模型。

四 模型的评估

结果表明使用迁移学习后使用少量的训练集和相同的迭代次数时的准确性要高于没有使用迁移学习的模型，并且可以从损失函数的曲线看出。

 

五 总结

迁移学习的确可以提高准确性和减少时间的消耗，但是它的使用要求也有限制，有的时候反而会适得其反，目前为止我看到的迁移学习用于时间序列的论文，大多使用LSTM，GRU模型，在相似时间序列中的迁移。似乎看上去整体的步骤相似，没有突破之处。他们的研究往往仅限于表面，并没有深入的研究数据，我认为迁移学习的运用应该更加广泛，那么可以从细化时间序列上，或者通过变换，现在有个大致方向。