利用GAN实现非成对的多模态MR图像生成2019-10-28

Posted 2023-04-05

参考技术A 原文： Unpaired Multi-contrast MR Image Synthesis Using Generative Adversarial Networks
论文来自2019MICCAI

一些医学图像在某些情况下可能不容易获得，因此从能得到的图像出发生成不能得到的图像有较大的医学价值。普通的GAN不能使用一个生成器和判别器生成多种与之相对应的不同模态的图像，因此对于生成多个模态的图像需要多个模型。针对这个问题，本文提出了新的模型，使用Star-GAN来实现一到多的生成。本文引入了新的损失函数，它强制生成器生成高质量的图像，在视觉上更真实，并且有很好的结构相似性。在IXI数据集上学习所有可能的映射（T1,T2,PD,MRA），定性和定量都比较好。

因为深度学习的训练需要很多数据，但是标注代价昂贵因此为了提高深度学习的表现，通过生成一些图像的方法来实现数据增广是有研究价值的。传统方法通过cycle-gan 、c-gan 、wasserstein-gan或者pix2pix来实现一对一的生成。我们使用star-gan和U-NET来实现一对多的生成。模型能够以无监督的形式训练，这样能够使生成器学习不同种模态的通用的几何特征。无监督的方式也消除了成对数据的要求，因此对数据的限制较小。
在损失方面，使用结构相似性来约束小细节特征。除此之外还采用了‘学习感知图像块相似性’（ Learned Perceptual Image Patch Similarity (LPIPS)不知道怎么翻译，目前第一次看到。）模型实现1输入4输出。

能够实现四种模态之间的转化，输入一个和一个目标域能够产生出相对的图像。

U-net用来实现两种生成，一种是输入一个域和另一个域的标签，通过深度级联（depth-wise concatenat）然后生成另一个域的假的图像。另一中是输入假的图像和原始的标签生成由假图重建的图像。第一步的生成用来计算对抗损失和分类损失。第二部分的生成中用来计算相似性的损失包括（L1范数，DSSIM,LPIPS）
过程和star-gan一样

本文使用正则化的带有梯度惩罚的Wassersteing GAN (WGAN-GP)，能够稳定学习，和增强生成图像的质量。定义如下：

第一项损失是WGAN-GP损失，第二项是正则化项

x' and x''是与x相近的相距很近的数据。D_是从第二层到最后一层判别器的输出。

这部分看的不是太明白。具体可能因为WGAN没有看过把。应该原始论文中有，需要后面完善。

使生成器生成正确域的图像

第一个式子使真图的分类损失，第二个是假图的分类损失。

生成器是Unet结构。判别器是基于PatchGAN的判别器。

使用LXI数据集 IXI dataset

emmmm不应该和star-gan比较把。应该和介绍中提到的其他方法比较把。cycle，cgan之类的把。star-gan直接应用在这上面肯定效果不是很好啊。这个比较个人觉得无意义。

用GAN进行图像压缩 by ch

论文连接：https://arxiv.org/abs/1804.02958v1

一.简介

       利用生成对抗网络进行图像压缩，其实就相当于用一个生成器代替了原来的decoder。decoder将编码后的图片恢复成原始图片，靠的是encoder生成的编码，所以生成图像的质量和码字的长度直接相关，这也就限制了编码率的进一步减小。本文的作者提出利用生成对抗网络作为decoder就是为了解决这个问题。编码过程中，不再对整个图像进行编码，而是只对其中的某一部分进行编码，然后恢复原始图像时，编码部分通过解码进行恢复，没有编码的部分则通过生成器G自动生成，这样就只需要对一部分图片进行编码，可以极大地提高压缩率。

二.网络结构

1.Global generative compression

       具体的网络结构包括两种，第一种叫做Global generative compression(GC)，这种方式适用于对整幅图像进行保存。其中哪一部分需要保存，哪一部分需要生成则由网络自己根据语义图以及优化目标自动选择。

        这里的目标函数包含了三部分，前两个式子是GAN的目标函数，第三个式子是控制生成图片相对于原始图片的失真，最后一个式子是控制压缩率，可以通过调整β的大小来调整压缩率。

 

 

2.Selective generative compression

       第二种结构叫做Selective generative compression(SC),这种结构一般用于某些特定场景下，比如在视频通话中，人们往往更注重的是视频中的人，而对于背景并不在意。所以只对人像部分进行编码，而背景部分则由生成器自动生成。对于哪一部分编码，哪一部分生成，则是通过一个二进制的图控制，需要生成的部分数值为0，需要保存的部分数值为1。

 

 

        训练方式有两种，一种是随机选取每个训练图片中的25%进行保存，其余部分生成；另一种是设置一个固定尺寸的窗口，窗口内部保存，窗口外的部分生成。使用SC时的目标函数和GC大致相同，只不过在训练过程中，目标函数的第三部分，只对需要保存的区域进行计算，因为已经假定这一部分不重要。

 

 

 

 

三.评价标准

        在当压缩率特别小的时候，用PSNR和SSIM来衡量图片质量已经没有意义。因为以PSNR为例，它更关心的是局部信息丢失了多少，而在压缩率趋近0的情况下，图像失真已经非常大，人们更关心的是图像的整体变化，而不再是局部的信息丢失，因此此时用PSNR来衡量图像质量意义不大。于是作者用mIoU来估计图片的质量，作者比较的是对压缩后的图像和原始图像进行语义分割后得到的图像的差异。

 

 

        此外，作者还通过用户调查的方式来验证通过这种方式得到的压缩图像具有更好的视觉效果。