论文笔记----Multi-subject data augmentation for target subject semantic decoding with deep multi-view ad

Posted 2021-10-23 沃·夏澈德

所读论文：Multi-subject data augmentation for target subject semantic decoding with deep multi-view adversarial learning
基于GAN的特征迁移。阅读重点，如何cross-subject。

全文核心：在使用不同被试的数据的时候，主要面临两个困难：１.特征不匹配。２.分布不匹配。文中提出了一种多被试特征增强方法来解决这两个问题。通过多个特定被试的编码器，解码器以及分类器，一个被试的信息可以转移到另一个被试中。编码器将不同被试映射到同一个隐空间中，从而解决特征不匹配的问题；解码器和分类器组成对抗神经网络解决了分布不一致的问题。同时，为了保证潜在空间的表示能够保留输入空间的信息，该方法不仅最小化了局部数据重建损失，而且保留了整个输入空间数据集上的稀疏重建(语义)关系。

如何做到cross-subject的？

如文中图3，4所示，所有被试都有专属的编码器、解码器、判别器。其中编码器将源特征映射到同一个隐空间中，然后通过各自的解码器（GAN）将隐空间中的特征解码成和自己空间中特征、分布相似的新特征，从而训练判别器。

如何保证是同一个隐空间？

通过损失函数的最后一项，保护编码器与整个数据集间的重构相关。