图像分割走进基于深度学习的图像分割

Posted 2021-07-30 AI浩

深度学习中的图像分割

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像素赋予相同的编号。基于深度学习的图像分割算法主要分为两类：
1.语义分割
为图像中的每个像素分配一个类别，如把画面中的所有物体都指出它们各自的类别。

2.实例分割
与语义分割不同，实例分割只对特定物体进行类别分配，这一点与目标检测有点相似，但目标检测输出的是边界框和类别，而实例分割输出的是掩膜（mask）和类别。

应用领域

1. 医学影像。
包括:
（1）肿瘤和其他病理的定位
（2）组织体积的测量
（3）计算机引导的手术
（4）诊断
（5）治疗方案的定制
（6）解剖学结构的研究
2. 在卫星图像中定位物体
（1）建筑物变化检测
（2）农作物、森林、土地等面积的计算
（3）道路提取
（4）建筑物分割
3．无人驾驶领域
4、人脸检测和识别、指纹检测、虹膜识别等。

深度学习中的图像分割模型

FCN
U-Net：
SegNet
RefineNet
PSPNet
DeepLabv1
DeepLabv2
DeepLabv3
DeepLabv3+
Mask-R-CNN
Transformer

深度学习常用数据集

Pascal VOC
地址链接：http://host.robots.ox.ac.uk/pascal/VOC/
VOC 数据集分为20类，包括背景为21类，分别如下：
• Person: person
• Animal: bird, cat, cow, dog, horse, sheep
• Vehicle: aeroplane, bicycle, boat, bus, car, motorbike, train
• Indoor: bottle, chair, dining table, potted plant, sofa, tv/monitor
VOC 数据集中用于分割比赛的图片实例如下，包含原图以及图像分类分割和图像物体分割两种图（PNG格式）。图像分类分割是在20种物体中，ground-turth图片上每个物体的轮廓填充都有一个特定的颜色，一共20种颜色。

MS COCO
地址链接：https://cocodataset.org/#home
MS COCO 是最大图像分割数据集，提供的类别有 80 类，有超过 33 万张图片，其中 20 万张有标注，整个数据集中个体的数目超过 150 万个。MS COCO是目前难度最大，挑战最高的图像分割数据集。

Cityscapes
地址链接：https://www.cityscapes-dataset.com/
Cityscapes 是驾驶领域进行效果和性能测试的图像分割数据集，它包含了5000张精细标注的图像和20000张粗略标注的图像，这些图像包含50个城市的不同场景、不同背景、不同街景，以及30类涵盖地面、建筑、交通标志、自然、天空、人和车辆等的物体标注。Cityscapes评测集有两项任务：像素级（Pixel-level）图像场景分割（以下简称语义分割）与实例级（Instance-level）图像场景分割（以下简称实例分割）。

ADE20K

官网：http://groups.csail.mit.edu/vision/datasets/ADE20K/
整个数据集（包含所有的图像和分割在内）的大小为 3.8Gb，训练集20210张图片，验证集200张，场景比较丰富包括：室内，室外，自然场景等。单张场景的类别也较多，共150个类别。

常用的损失函数

1. Binary Cross Entropy
2. Weighted Cross Entropy
3. Balanced Cross Entropy
4. Dice Loss
5. Focal loss
6. Tversky loss
7. Focal Tversky loss
8. log-cosh dice loss

推荐一个好用的图像分割库

segmentation_models_pytorch是一个基于PyTorch的图像分割神经网络

这个新集合由俄罗斯的程序员小哥Pavel Yakubovskiy一手打造。
github地址：https://github.com/qubvel/segmentation_models.pytorch

使用方法：
https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/116245088?spm=1001.2014.3001.5501