基于PaddleSeg实现眼底血管分割——助力医疗人员更高效检测视网膜疾病

Posted 百度大脑

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了基于PaddleSeg实现眼底血管分割——助力医疗人员更高效检测视网膜疾病相关的知识，希望对你有一定的参考价值。

点击左上方蓝字关注我们

【飞桨开发者说】郑博培，北京联合大学机器人学院2018级自动化专业本科生，飞桨开发者技术专家PPDE，深圳市柴火创客空间认证会员，百度大脑智能对话训练师


项目背景

研究表明，各类眼科疾病以及心脑血管疾病会对视网膜血管造成形变、出血等不同程度的影响。随着生活水平的提高，这类疾病的发病率呈现逐年增长的趋势。临床上，医疗人员能够从检眼镜采集的彩色眼底图像中提取视网膜血管，然后通过对血管形态状况的分析达到诊断这类疾病的目的。

但是，由于受眼底图像采集技术的限制，图像中往往存在大量噪声，再加之视网膜血管自身结构复杂多变，使得视网膜血管的分割变得困难重重。

传统方法中依靠人工手动分割视网膜血管，不仅工作量巨大极为耗时，而且受主观因素影响严重。

因此，利用计算机技术，找到一种能够快速、准确分割视网膜血管的算法，实现对眼底图像血管特征的实时提取，对辅助医疗人员诊断眼科疾病、心脑血管疾病等具有重要作用。

但是，现有的深度学习框架，如TF、pytorch等框架对初学者的门槛较高，而飞桨PaddlePaddle作为我们的国产框架，有很多基础模型库、端到端开发套件、工具组件等，对于开发者而言，能快速且高效地开发一个项目，且用PaddlePaddle开发的深度学习模型，其各方面性能要优于其他框架，因此，这里我选择使用飞桨来完成眼底血管分割这一项目。

数据集介绍及数据处理

本项目使用的数据集照片来自荷兰的糖尿病视网膜病变筛查项目。筛查人群包括400名年龄在25-90岁之间的糖尿病患者。但只有40张照片被选取，其中33张没有显示任何糖尿病视网膜病变的迹象，7张显示轻度早期糖尿病视网膜病变的迹象。

AI Studio上已经有DRIVE糖尿病人眼底血管分割数据集了，但是数据量相对较少。因此，我在处理数据时做了一些处理来增加我的训练集数据量。


原数据集里的眼底图像：

原数据集手工分好的的血管图像：


仔细看一下图片格式：

  • 眼底图像格式是.tif

  • 手工标注的血管图像格式是.gif

这里我做了图片格式的转换：

  • 把眼底图像格式转换为.jpg

  • 把手工标注的血管图像格式转换为.png


血管标签图像二值化：

如果直接将格式转换后的图像送入模型，会发现最多有256个标签，这是因为PaddleSeg采用单通道标注图片，每一种像素值代表一种类别，像素标注类别需要从0开始递增，例如0，1，2，3表示有4种类别，所以标注类别最多为256类。

但其实我们只需要找到血管的位置，因此血管就作为一个类，其背景作为另一个类别，这样总共有2个类别。下面来看一下如何使用opencv做图像二值化处理。

先来看看如何使用opencv读取图片，下面是未处理的图片0.png。

使用opencv读取原图像：

# 使用opencv读取原图像
import cv2
import matplotlib.pyplot as plt
img = cv2.imread("work/0.png") # 读取的图片路径
plt.imshow(img)
plt.show()

使用opencv将原图像转换为灰度图：

# 使用opencv读取图像
import cv2
import matplotlib.pyplot as plt
img = cv2.imread("work/0.png") # 读取的图片路径
# 转换为灰度图
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
plt.imshow(img_gray)
plt.show()

使用opencv将原图像转换为二值图：

# 使用opencv读取图像
import cv2
import matplotlib.pyplot as plt
img = cv2.imread("work/0.png") # 读取的图片路径
# 转换为灰度图
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 将灰度极差的一半作为阈值
difference = (img_gray.max() - img_gray.min()) // 2
# 将图像二值化
_, img_binary = cv2.threshold(img_gray, difference, 1, cv2.THRESH_BINARY)
print("阈值：", _)
plt.imshow(img_binary)
plt.show()

将上面的代码整理一下，可以整理出如下代码：

import cv2
import matplotlib.pyplot as plt

#循环灰度图片并保存
def grayImg():
    for x in range(200):
        #读取图片
        img = cv2.imread("FundusVessels/Annotations/.png".format(str(x)))
        img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
        difference = (img_gray.max() - img_gray.min()) // 2
        _, img_binary = cv2.threshold(img_gray, difference, 1, cv2.THRESH_BINARY)
        # print("阈值：", _)
        #保存灰度后的新图片
        cv2.imwrite("FundusVessels/.png".format(str(x)), img_binary)
    plt.imshow(img_binary)
    plt.show()
grayImg()

以上代码可以将像素值在0-255的图像转换成0-1二值图像。最后我已经将整理好的数据集上传至AI Studio上了：

 https://aistudio.baidu.com/aistudio/datasetdetail/56726

我们也可以把数据集导入PaddleX可视化地看一下： 

  


生成图像列表：

PaddleSeg采用通用的文件列表方式组织训练集、验证集和测试集。在训练、评估、可视化过程前必须准备好相应的文件列表。

文件列表组织形式如下：

原始图片路径 [SEP] 标注图片路径

其中[SEP]是文件路径分割符，可以在DATASET.SEPARATOR配置项中修改, 默认为空格。文件列表的路径以数据集根目录作为相对路径起始点，DATASET.DATA_DIR即为数据集根目录。

如下图所示，左边为原图的图片路径，右边为图片对应的标注路径：



PaddleSeg的安装

PaddleSeg是基于PaddlePaddle开发的端到端图像分割开发套件，覆盖了DeepLabv3+, U-Net, ICNet, PSPNet, HRNet, Fast-SCNN等主流分割网络。通过模块化的设计，以配置化方式驱动模型组合，帮助开发者更便捷地完成从训练到部署的全流程图像分割应用。

1. 安装PaddlePaddle

版本要求：

  • PaddlePaddle >= 1.7.0

  • Python >= 3.5+

由于图像分割模型计算开销大，推荐在GPU版本的PaddlePaddle下使用PaddleSeg.

安装教程请见PaddlePaddle官网。

2. 下载PaddleSeg代码

git clone https://github.com/PaddlePaddle/PaddleSeg

3. 安装PaddleSeg依赖

通过以下命令安装python包依赖，请确保在该分支上至少执行过一次以下命令：

cd PaddleSeg
pip install -r requirements.txt

配置文件进行训练

这里我们需要使用两个文件:

  • 训练文件：PaddleSeg/pdseg/train.py

  • 训练的配置文件：

    PaddleSeg/configs/unet_optic.yaml

这里使用U-Net，大家可以尝试使用其他网络进行配置。


.yaml文件的配置:

下面是我配置的.yaml文件

# 数据集配置
DATASET:
DATA_DIR: ""
NUM_CLASSES: 2
TEST_FILE_LIST: "train_list.txt"
TRAIN_FILE_LIST: "train_list.txt"
VAL_FILE_LIST: "val_list.txt"
VIS_FILE_LIST: "train_list.txt"

# 预训练模型配置
MODEL:
MODEL_NAME: "unet"
DEFAULT_NORM_TYPE: "bn"

# 其他配置
TRAIN_CROP_SIZE: (565, 584)
EVAL_CROP_SIZE: (565, 584)
AUG:
AUG_METHOD: "unpadding"
FIX_RESIZE_SIZE: (565, 584)
BATCH_SIZE: 4
TRAIN:
# PRETRAINED_MODEL_DIR: "./pretrained_model/unet_bn_coco/"
MODEL_SAVE_DIR: "./saved_model/unet_optic/"
SNAPSHOT_EPOCH: 2
TEST:
TEST_MODEL: "./saved_model/unet_optic/final"
SOLVER:
NUM_EPOCHS: 10
LR: 0.001
LR_POLICY: "poly"
OPTIMIZER: "adam"

开始训练：

训练命令的格式参考：

python PaddleSeg/pdseg/train.py --cfg configs/unet_optic.yaml \\
--use_gpu \\
--do_eval \\
--use_vdl \\
--vdl_log_dir train_log \\
BATCH_SIZE 4 \\
SOLVER.LR 0.001

运行下面的命令即可开始训练:

!python PaddleSeg/pdseg/train.py  --cfg PaddleSeg/configs/unet_optic.yaml

下面是部分训练输出：

模型评估

模型评估的命令与训练的命令格式一致。下面是模型评估的命令：

!python PaddleSeg/pdseg/eval.py  --cfg PaddleSeg/configs/unet_optic.yaml

下面是部分输出：

由以上的输出中可以看出我们的模型效果：

[EVAL]step=1 loss=0.15743 acc=0.9396 IoU=0.7404 step/sec=2.02 | ETA 00:00:23
[EVAL]step=2 loss=0.14508 acc=0.9417 IoU=0.7482 step/sec=7.37 | ETA 00:00:06
[EVAL]#image=7 acc=0.9417 IoU=0.7482
[EVAL]Category IoU: [0.9371 0.5592]
[EVAL]Category Acc: [0.9445 0.9105]
[EVAL]Kappa:0.6865

模型导出

通过训练得到一个满足要求的模型后，如果想要将该模型接入到C++预测库或者Serving服务，我们需要通过pdseg/export_model.py来导出该模型。

该脚本的使用方法和train.py/eval.py/vis.py完全一样。下面是模型导出的命令：

!python PaddleSeg/pdseg/export_model.py --cfg PaddleSeg/configs/unet_optic.yaml TEST.TEST_MODEL ./saved_model/unet_optic/final

预测模型会导出到freeze_model目录，用于C++或者Python预测的模型配置会导出到freeze_model/deploy.yaml下

PaddleSeg Python 预测部署

在预测前，我们需要使用pip安装Python依赖包：

!pip install -r PaddleSeg/deploy/python/requirements.txt

使用以下命令进行预测:

python infer.py --conf=/path/to/deploy.yaml --input_dir=/path/to/images_directory

运行后程序会扫描input_dir 目录下所有指定格式图片，并生成预测mask和可视化的结果。

对于图片a.jpeg, 预测mask 存在a_jpeg.png 中，而可视化结果则在a_jpeg_result.png 中。

总结

前不久，安定医院在做脑科学的研究，招募志愿者，我报名且有幸被录取去安定医院做志愿者，在此期间，我了解到目前的医学生在做医学影像分析，用的也是神经网络，但毕竟是学科交叉，对医学生来说还是有一定的困难的。

因此，我在想，能不能做些什么帮助他们。回来以后，我找了很多医学影像的数据集，最后选择了这个糖尿病人的眼底血管数据集，我想把这个项目当作使用PaddleSeg研究医学影像图像分割的Hello World。

我在AI Studio上获得钻石等级，点亮8个徽章，来互关呀~

https://aistudio.baidu.com/aistudio/personalcenter/thirdview/147378

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础，是中国首个开源开放、技术领先、功能完备的产业级深度学习平台，包括飞桨开源平台和飞桨企业版。飞桨开源平台包含核心框架、基础模型库、端到端开发套件与工具组件，持续开源核心能力，为产业、学术、科研创新提供基础底座。飞桨企业版基于飞桨开源平台，针对企业级需求增强了相应特性，包含零门槛AI开发平台EasyDL和全功能AI开发平台BML。EasyDL主要面向中小企业，提供零门槛、预置丰富网络和模型、便捷高效的开发平台；BML是为大型企业提供的功能全面、可灵活定制和被深度集成的开发平台。

如在使用过程中有问题，可加入飞桨官方QQ群进行交流：1108045677。

如果您想详细了解更多飞桨的相关内容，请参阅以下文档。

·飞桨PaddleDetection目标检测套件项目地址·

GitHub: 

https://github.com/PaddlePaddle/PaddleDetection 

Gitee: 

https://gitee.com/paddlepaddle/PaddleDetection

·飞桨官网地址·

https://www.paddlepaddle.org.cn/


扫描二维码 ｜ 关注我们

微信号 : PaddleOpenSource

END

精彩赛事

以上是关于基于PaddleSeg实现眼底血管分割——助力医疗人员更高效检测视网膜疾病的主要内容，如果未能解决你的问题，请参考以下文章

paddleseg学习记录

LesionNet 医疗图像分割网络模型实现皮肤病灶分割

Python基于逻辑回归的糖尿病视网膜病变检测（数据集messidor_features.arff）

深度学习|飞桨图像分割利器PaddleSeg技术分享

PaddleSeg图像分割库再添新武器，新增压缩部署方案FLOPs降低51%

眼底分割相关code收集