如果整个ground truth都是黑色的，则进行医学图像分割

Posted 2023-03-27

【中文标题】如果整个ground truth都是黑色的，则进行医学图像分割

【英文标题】：Medical Image Segmentation if the entire ground truth is black

【发布时间】：2021-07-07 02:54:52

【问题描述】：

我是深度学习的新手。我正在研究 CT 扫描医学图像。我想使用 UNet 架构来预测 图像分割。我已经成功实现了 UNet，但是，我的预测完全是黑色的。我认为这是因为有图像，其对应的ground truth是黑色的（相当多的图像）。所以，我想这可能会导致问题。

如果整个蒙版是黑色的，则表示 图像 中没有所需的对象。下面是一个示例图像；

下面是对应的ground truth。

我不确定如何处理这种情况。我应该删除所有 (image, ground truth) 对吗？ CT 图像是体积图像。因此，当我的模型预测新测试集中的分割时，它还应该检测其中没有所需对象的图像。如果有人指导我，我将不胜感激。

数据集：https://www.doc.ic.ac.uk/~rkarim/la_lv_framework/wall/index.html

【问题讨论】：

我的建议是删除这些样本，看看模型是否变得更好。这些图像占总样本的比例是多少？

@thushv89，我现在检查了。我的 object 与 no_object 的比率是 4409:8386。也就是12795张里面有8386张黑色图片，太糟糕了。

哇！这是相当高的。难怪你的模型出了问题......再次尝试删除它们，看看是否有帮助。我假设您在这里解决二进制分类问题？虽然我不能保证，但我认为你能够以你所拥有的 ~4400 达到一个体面的状态。

@thushv89。我正在解决图像分割问题。我会按照你的建议尝试。如果您有任何其他想法，请分享。非常感谢。

【参考方案1】：

图像分割更像pixel classification而不是图像分类。 因此，您不应该看“空白图像”/“对象图像”的比率，而应该看“空白像素”/“对象像素”的比率。我猜这个比例更倾向于“空白”像素。

这意味着你正在处理严重的class imbalance。

This answer 将焦点损失和在线硬负挖掘列为处理类不平衡的好方法。