论文笔记图像分割和图像配准联合学习模型——DeepAtlas

Posted 2022-09-24 棉花糖灬

本文是论文《DeepAtlas: Joint Semi-Supervised Learning of Image Registration and Segmentation》的阅读笔记。

文章第一个提出了一个图像配准和图像分割联合学习的网络模型 DeepAtlas，该模型实现了弱监督的图像配准和半监督的图像分割。在图像配准时使用图像的分割标签作为监督数据，如果没有分割标签，则通过分割网络产生；而经过配准后的图像增加了在图像分割时可利用的训练数据的量，相当于是一种数据增强。该模型不仅在分割和配准的精度上有所提升，并且还可以在训练数据有限的情况下实现较好的效果。

一、记号

• $I_m$：浮动图像（moving image）
• $I_t$：目标图像（target image）
• ${\mathcal{F}}_R$：配准网络
• ${\theta }_r$：配准网络的参数
• ${\mathcal{F}}_S$：分割网络
• ${\theta }_s$：分割网络的参数
• $u={\mathcal{F}}_R(I_m,I_t;{\theta }_r)$：形变场
• ${\varphi }^{-1}=u+id$：形变图，其中 $id$ 是恒等变换
• $I_m^w=I_m\circ {\varphi }^{-1}$：配准后的图像
• $S_t$：目标图像分割标签
• $S_m^w=S_m\circ {\varphi }^{-1}$：配准后图像分割标签

二、网络结构

DeepAtlas 的目的是当数据集中只有少量的分割标签可用时，通过联合训练来让分割和配准实现较高的精度。

网络的结构如上图所示，蓝色的实线表示弱监督的配准，黄色虚线表示半监督的分割。

文章在附件中给出了分割网络和配准网络的具体结构，如下图左右两图所示：

1. 配准网络

配准网络的损失主要有三个损失函数组成：配准正则损失 ${\mathcal{L}}_r$，图像相似度损失 ${\mathcal{L}}_i$ 和解剖损失（分割相似度损失） ${\mathcal{L}}_a$。配准正则损失 ${\mathcal{L}}_r$ 可以让形变场 $\varphi$ 变得光滑，图像相似度损失 ${\mathcal{L}}_i$ 用来评价浮动图像 $I_m$ 和配准后图像 $I_m^w$ 之间的相似度，解剖损失（分割相似度损失） ${\mathcal{L}}_a$ 是目标图像分割标签 $S_t$ 和配准后图像分割标签 $S_m^w$ 之间的相似度损失。

如此一来，配准学习的过程可以由下式表示：
$${\theta }_r^{\star }=\underset{{\theta }_r}{\mathrm{argmin}}{\mathcal{L}}_i\left(I_m\circ {\Phi }^{-1},I_t\right)+{\lambda }_r{\mathcal{L}}_r\left({\Phi }^{-1}\right)+{\lambda }_a{\mathcal{L}}_a\left(S_m\circ {\Phi }^{-1},S_t\right)$$
其中 ${\lambda }_r,{\lambda }_a\ge 0$。

2. 分割网络

分割网络的输入是一张图像 $I$，输出相应的分割结果 $\hat{S}={\mathcal{F}}_S(I;{\theta }_s)$，分割网络的损失主要有两个损失函数组成：解剖损失 ${\mathcal{L}}_a$ 和有监督分割损失 ${\mathcal{L}}_{sp}$。解剖损失和配准网络中的相同，有监督的分割损失 ${\mathcal{L}}_{sp}(\hat{S},S)$ 是分割网络的分割结果 $\hat{S}$ 和人工分割结果 $S$ 之间的相似度损失。但是浮动图像 $I_m$ 和目标图像 $I_t$ 的分割标签的存在情况有多种可能，所以相应的损失函数也存在以下四种情况：
L a = L a ( S m ∘ Φ − 1 , F S ( I t ) )  and  L s p = L s p ( F S ( I m ) , S m ) ,  if  I t  is unlabeled;  L a = L a ( F S ( I m ) ∘ Φ − 1 , S t )