文献阅读：基于双中心迁移学习的卷积神经网络在乳腺癌DCE-MRI分子亚型预测中的应用

Posted 2022-10-19 芯魂

 

 【文献题目】Prediction of breast cancer molecular subtypes on DCE-MRI using convolutional neural network with transfer learning between two centers.

[Yang Zhang, Jeon-Hor Chen, Yezhi Lin, Siwa Chan, Jiejie Zhou, Daniel Chow, Peter Chang, Tiffany Kwong, Dah-Cherng Yeh, Xinxin Wang, Ritesh Parajuli, Rita S. Mehta, Meihao Wang, Min-Ying Su. Prediction of breast cancer molecular subtypes on DCE-MRI using convolutional neural network with transfer learning between two centers. European Radiology (2021) 31:2559–2567]

目的：应用传统卷积神经网络（CNN）和递归CNN的深度学习算法，在MRI上区分三种乳腺癌分子亚型。

方法：根据激素受体（HR）和HER2受体分为3个亚型：（HR+/HER2−), HER2+ 和三重阴性（TN）；利用传统CNN和卷积长短期记忆网络（CLSTM），以覆盖肿瘤ROI的最小包围盒作为深度学习的输入，在训练数据集中建立模型；然后，运用迁移学习对模型进行重新调整，并在测试集中进行评估。

结果：在训练数据集中，使用十倍交叉验证评估平均准确度，CLSTM的结果（0.91）远高于CNN（0.79）；将所建立的模型应用于独立测试数据集，其精度为0.4-0.5；通过调整参数进行迁移学习，在测试集1上，CNN和CLSTM的平均准确度分别达到0.91和0.83，在测试集2上，CNN和CLSTM的准确度分别从0.47和0.39提高到0.78和0.74。总体而言，迁移学习可以提高分类准确率30%以上。

结论：结合CLSTM的递归网络可以跟踪DCE采集过程中信号强度的变化，与传统CNN相比，在训练过程中获得了更高的精度。对于使用不同设置获取的数据集，可以应用迁移学习来重新调整模型并提高精度。

本研究目的是应用深度学习网络在MRI上区分乳腺癌的三种分子亚型，包括：HR阳性&HER2阴性（HR+/HER2−), HR阴性&HER2阴性（即三重阴性，TN），以及HER2阳性（HER2+）。以包含肿瘤和肿瘤周围组织的最小边界框作为输入，利用传统CNN和卷积长短期记忆（CLSTM）的递归网络，在DCE-MRI中考虑时间信息，并对所得结果进行比较。另外，通过迁移学习对模型进行重新调整，以研究其在不同临床环境下的普遍应用。

1、3D肿瘤分割：

利用模糊C均值（FCM）聚类算法，从第2帧DCE图像中减去对比前图像，在对比增强图上分割肿瘤；

2、深度学习网络：

（1）CNN

图1 卷积神经网络（CNN）结构示意图

共7层卷积，输入32*32*5，卷积核3*3，stride = 2，分别作用于第2, 4, 6个卷积层，每个卷积层后都有一个ReLU函数，以保证快速训练和稀疏表示；训练使用Adam优化器，采用 L2 正则化项，学习率为0.001。

（2）CLSTM

图2 卷积长短期记忆网络（CLSTM）结构示意图

CLSTM是一种递归神经网络（RNN），具有卷积层来实现输入变换和递归变换，该架构可以从一系列按时间顺序获取的图像中提取空间特征和时间特征。输入为32*32*1，5个DCE集分别输入，输出3个子类别。

3、模型评估和迁移学习

• 第一个模型是使用十折交叉验证的训练数据集开发的。每个病例都有一次机会被纳入验证组。
• 除3-亚型分类外，采用二元分类法绘制ROC曲线，并用DeLong检验对CNN和CLSTM的结果进行统计学比较。

为了考虑使用不同设置获得的数据集，应用迁移学习对参数进行微调，针对测试数据集开发了另一个模型。

• 在迁移学习中，用训练数据集建立的预训练模型作为基础，而不是在反向传播过程中使用随机He初始化方法，也就是说，使用训练数据集中训练网络的权值作为初始值。
• 采用10倍交叉验证法对测试-1的病例进行迁移学习训练，并对测试-2进行评价；然后反过来用测试-2进行训练，用测试-1进行评价。
• 这种替代方法可用于评估迁移学习方法的鲁棒性。

4、结果