李就好：作物叶部病害图像识别研究

Posted 2021-04-06 广东省农业机械学会

作物叶部病害图像识别研究直播回放

病虫害是严重危害农业生产的自然灾害之一。根据联合国粮农组织估计，全世界的粮食和棉花生产因病害常年损失在10%以上。植物病害不仅可引起农作物产量的减少，而且在一定程度上还严重威胁到农产品的质量安全及其国际贸易。本次是“AI·农业智汇云讲堂”的第六期，主题是“作物叶部病害图像识别研究”。

为此，本期我们请到了华南农业大学农业机械化工程学博士、华南农业大学水利与土木工程学院博士生导师、广东省农村科技特派员、广东省农业财政研究会副会长、中国农业工程学会农业水土工程专业委员会委员李就好教授，为我们带来作物叶部病害图像识别研究的分享。本次分享李就好教授先从选择这个研究课题的机缘说起，讲述了作物叶部病害图像识别研究的研究概述，并在研究结论论述中为大家分享了优于传统方法的三种作物叶部病害图像研究的方法。‍

研究的机缘

李就好教授对于作物叶部病毒图像识别的研究起源于2012年其学生的一篇博士论文《基于无线图像传感器的作物图像传输与状态分析研究》。

当时无线传感器网络在农业环境监测方面有了很多应用，而且图像处理技术在作物状态分析方面的研究也已取得了较大的进展，但基于作物监测的无线图像传感器网络的大规模应用还在努力建设。

同时部署和使用图像传感器网络监测作物面临着很大的挑战：

1、基于作物监测目的的传感器节点往往需要部署在恶劣的环境中，例如雨季的潮湿环境和夏季高温环境。各种仪器设备由于在复杂的环境下长时间工作而极易受到损坏并影响工作。

2、在图像传输方面，无线传感器传输的能力相对较弱。相较于其他类型的传感器采集的数据，图像传感器采集的图像数据庞大。传输图像需要消耗大量的能量，然而图像传感器节点的电源大多采用电池供电，电源能量有限。因此通信设备难以使用大功率的通信设备，通常使用极低功耗的无线通信芯片，传输的范围受到了限制，一般传感器节点的通信能力多在一百至数百米的范围内。

3、采集的数据大多需要做一系列处理，比如压缩和纠错编码，再进行无线传输。但传感器节点大多使用价格低功耗小的处理器和存储设备，这必然导致其处理能力较弱且存储容量较小。

4、许多计算机中的图像处理算法无法在图像传感器中实现。

5、作物状态分析需要高质量的图像。作者使用了当前市场上20多种不同的图像采集芯片对作物图像进行采集实验，发现目前大多低成本的图像采集芯片在农田强光环境下采集图像无法达到分析的质量要求。

6、虽然实验中使用单反相机和FitPc组合方式取得了高质量的图像采集效果，但是成本昂贵，限制了其大规模应用。

也就是说，图像采集作为作物叶部病害图像识别研究的基础和前提，不论是在客观环境还是主观条件上，都受到了很多的限制。

而针对这个问题，当时也提出了一个研究思路：针对当前无线图像传感器网络在作物监测方面的需求，研究了基于无线图像传感器网络的监测作物状态的某些关键技术。

在此基础上，关于作物叶部病害图像识别研究承担了三个大型的项目，都对无线传感网络与果蔬病虫害监测相结合的相关研究课题起到了一个引导、示范作用。

研究概况

果蔬病虫害监测研究意义

根据联合国粮农组织2008-2017年的生产统计数据，全世界每年因病虫害引起的粮食减产约占总产量的20-40%。在我国每年发生的病虫草害面积达2.36亿公顷次， 每年因此而损失果蔬25% 以上。

农作物病害不仅会引起农产品减产和品质下降，还会引起农药的大量投入以及防治费用的上升。研究对作物病害精确实时地诊断对于我国以及全世界农业经济发展都具有十分重要的战略意义。

国内外作物病害诊断的研究现状‍

而目前在国内外对于作物病害的诊断方法主要包括：

1、人工田间症状观察识别

2、利用统计学方法预测识别

3、基于专家系统的作物病害识别

4、基于化学和分子生物学的病害检测

5、基于光谱技术的病害检测

6、基于可见光图像的病害识别

7、基于可见光图像的作物病害识别

而李教授，正是选取了基于可见光图像的病害识别方式作为基础，结合人工智能深度学习、卷积神经网络等技术，提出新的作物叶部病害图像研究方法。

基于可见光图像的作物病害识别，是先利用图像处理技术提取图像中的病害特征，然后通过机器学习的方法学习样本数据建立模型，从而实现对未知样本的病害识别。

深度学习是当前人工智能发展中最为关键的技术之一，它是一种特定类型的机器学习。由于深度学习是通过神经网络学习训练数据自动提取有效特征的方式，让深度学习成为是一种可以实现任务迁移的方法。

而卷积神经网络则是是参考人类视觉系统结构而提出的，具有很强的图像特征提取能力。一个完整的CNN结构主要包含卷积层、池化层和全连接层。

以番茄作物为研究对象的图像采集与处理

机器学习是从给定的数据中学习模式特征，深度学习的成功是建立在大数据的基础之上。

因此需要建立多来源番茄病害图像数据集，并利用图像处理的方法对原始图像数据进行扩充，以满足建模要求。

多来源的番茄病害图像数据集包括了：

1、基础数据集

2、PlantVillage数据集

3、网络数据集

大数据是图像识别训练的基础，通过数据扩充，建立足够大的数据集之后，也面临着另外的一些问题：比如不同数据集之间与数据集内部的不均衡问题。

为了消除这个问题，和由拍摄原因产生的噪声，利用图像增强的方法对原始图像进行数据扩充。主要有直方图均衡，灰度变换，锐化，旋转、平移和裁剪等操作转换。

这些转换是建立在卷积神经网络对平移、旋转、尺度等及其组合具有不变性的基础之上。

通常将上述图像处理方法设置不同的参数随机组合使用，最终得到图像增强后的扩充图像效果。

融合颜色指数的自适应聚类数作物病害图像分割算法

在得到数量庞大且效果显著的大量图像之后，需要进行叶片图像分割训练。

叶片图像分割是图像识别的关键。通过背景分割，可以有效地去除图像中的干扰噪声。使用无噪声的图像有助于设计更适当的特征提取网络。

通过对颜色指数分割算法和聚类分割算法的研究，对不同背景的番茄病害图像实现快速准确地叶片图像分割。

同时实验成像效果比对，对于绿色叶片图像选择ExG-ExR颜色指数分割，对于非绿色叶片的情况需使用其他算法。

图像分割的目标是将图像中各个不同目标区域进行分离，而聚类的目的是将一组数据中具有相同性质的点划分成一类。这两者本质上目标是一致的。

在应用中发现K-means聚类方法存在需要预先设定聚类数目，且随机选取的初始中心不当，会导致聚类结果陷入局部最优值等局限。因此研究设计了一种基于自适应聚类数K-means算法的作物叶片图像分割方法。

通过不同的聚类数实验发现，对于不同的图像应该使用不同的聚类数才能聚类出最佳的分割图像。

以每次聚类结果的Davies-Bouldin指标（DB）, Calinski-Harabasz 指标（CH）和轮廓系数Silhouette Coefficient（SC）三个有效性指标进行计算，最终得到一个融合颜色指数自适应聚类数的聚类算法—组合算法。

从图中可以看出，提出的算法能在有其他叶片阴影的情况下，都能完好地分割叶片。

总体上组合算法的分割结果最佳，DBSCAN和MeanShift算法由于对参数的敏感性更容易出现过分割和欠分割的情况，ExG-ExR颜色指数对绿色的敏感性非常强。

对不同来源作物病害图像数据集的分类识别研究

通过对过拟合问题和算法效率的分析及优化，对模型网络结构的调整，提高模型的泛化性能。

利用一个数据集作为训练数据，另一数据集作为测试集，即用新基础数据集训练，测试PlantVillage数据集（以下简称策略1）；或者反之（以下简称策略2）。

设计了如表所示三个的模型来探究全连接层神经元个数的影响。三个模型均除全连接层外，其余网络结构相同。

采用不同的策略对这三个模型进行训练20个周期（epoch），模型的训练准确率变化如图：

因为图为模型测试准确率都不高，虽然与训练周期少有一定的关系，但模型的训练准确率均已达到95%以上，这说明模型已经拟合了，所以需要调整模型的特征提取网络结构。

模型网络结构

对比分析三种不同特征提取网络VGG16，InceptionV3和Resnet50。利用迁移学习的方法，重设输出层。采用策略2训练模型，利用线上增强的方式在训练中扩充数据，增加训练周期到100。

针对多来源数据的卷积神经网络性能优化

为了优化其卷积神经网络性能，可以将图像初始尺寸224*224增大为256*256，299*299进行训练。结果表明：测试准确率随着尺寸的增大而提高。增大训练图像的尺寸是有利于提升模型泛化性能。

网络结构的优化方法

优化方向分为对每一层神经元规模的调整(横向调整)和对网络层深度的调整(纵向调整)。

模型网络规模的增加，参数量也增加。因此在对网络规模进行增加的时候需要在保留网络具有较好表达能力的同时，尽可能的降低训练参数量。这可以通过卷积核优化和卷积层通道优化来实现。

优化卷积核后的模型较优化前减少了28%的参数量。而优化卷积层通道后的模型较优化前的模型减少了74%，模型加深了6倍。

可见优化卷积核与卷积层通道有利于提升模型的表达能力。卷积核尺寸为1*1的卷积层实现了网络跨通道的信息组合。

拟合问题的优化方法

过拟合是模型过度的学习训练数据中的细节和噪音，将训练数据中的噪音或者随机波动也当作有效数据进行了学习。为了避免过拟合和提高模型的泛化能力，可以通过：

正则化

随机失活

随机失活（Dropout）方法，它是在神经网络的训练过程中，输入层的神经元按照一定概率随机的将其暂时从网络中丢弃，以达到改变网络结构的目的，相当于对完整的神经网络抽样出一些子集，每次只更新子网络的参数，其示意图如图所示，右图中使用随机失活的神经网络结构在训练中隐藏了部分神经元，对网络模型进行了“瘦身”。

批规范化

批规范化(Batch Normalization，BN)算法是将数据分布进行归一化的方法，将每一层的输入数据归一化至均值为0、方差为1的分布，以降低前层输入数据分布的显著变化对后层输入数据分布的影响。在实际应用中，可在网络的每一层数据输入激活函数前，插入一个BN归一化层，对数据进行归一化处理。

全局池化

模型8的总体训练效果最佳。综合对比分析后，结论是BN算法可以提升泛化性能。Dropout的参数p设置为0.5时训练效果最佳。使用GMP比GAP效果更好。正则化的λ参数不宜设置过大。

综上，利用Inception v3网络的骨架，重设分类结构，使用全局最大池化层（Global Max Pooling layer）替换Flatten层，加入了批规范化层（Batch Normalization layer），同时在输出层前加入了随机失活层（Dropout layer）。最终得到模型结构如图所示：

数据集混合

经数据扩充之后，将新基础数据集和Plant Village数据集混合，分为训练集，测试集，验证集。最终数据集的构成如表所示：

算法的鲁棒性测试

模型在300个训练周期中准确率和损失的变化如上图所示。训练准确率和验证准确率都接近平缓并趋向于1，说明模型得到了充分的训练。

模型有效性可视化研究

使用显著图来探索模型学习到的特征是否与作物病害病理知识相吻合。观察图中的TEB，TLB，TLM，TSL和TTS的重叠图，模型对这些番茄病害所关注的像素均为病害叶片中的病斑区域。而对于TSM和TYLCV两种病害模型关注的区域则分别为叶片上的蜘蛛螨和病害叶片的边缘。这些区域均与对应的番茄病害病理特征一致，由此可说明模型所学习到的特征有效的。

作物病害图像分类识别android应用程序开发 

将模型部署到Android设备中。为了使模型运行在移动设备上，在Tensorflow-lite中对模型进行了压缩，结果如表所示，总体而言减少12.6%安装包体积的代价是8.3%测试精度的下降。

目前在Google Play上有一个功能相似的应用程序Plantix，为了严格对比分析TomatoGuard 和Plantix的性能，另收集了127张番茄叶片图像测试，结果如图所示，TomatoGuard 在每一类番茄叶图像上的测试准确率都比Plantix高。

TomatoGuard的工作流程图

面向田间复杂背景作物病害图像的诊断方法研究

在基于图像的病害诊断研究中，使用田间背景的作物图像才能符合实际生产的场景。

针对田间复杂背景作物病害图像含有多张叶片的特点，利用基于深度学习的目标检测技术，研究了复杂背景下的作物病害诊断方法。

数据标记

基础数据集中的白纸背景图像和PlantVillage数据集图像使用第三章提出图像分割算法将图像中的叶片分割出来，从而确定叶片的最小外接矩形即可标记图像中的叶片位置。对于基础数据集中的田间背景图像和网络数据集中的图像则使用Labelimg人工逐张标记。最终标记效果如图所示：

标记后的训练集有21721张图像，验证集有2419张图像。测试集共1037张图像，包含10112个标记框。

基于目标检测算法的田间复杂背景作物病害图像诊断

two-stage方法的准确率比one-stage方法高，原因在于two-stage方法中有更多的候选框，但也更多的计算资源，耗时较长，不具备实时检测的能力。

相反one-stage方法，虽然精度略低，但识别速度快，可以满足实时性要求，而且随着研究的进步，两类方法的检测精度非常接近。

由于Faster R-CNN的检测速度不满足田间现场实时检测的要求，研究利用SSD，YOLO两种模型的骨架，微调模型结构，对比两种模型的优劣，找到一种对田间背景番茄病害叶片图像实时检测的方法。

算法试验结果

两种算法的识别能力对比图。对于简单背景的图像，YOLOv3和SSD的检测效果相近，而对于复杂背景YOLOv3比SSD表现更好。

结语

 (1) 结合多数作物叶片颜色为绿色的特点，提出了一种融合颜色指数的自适应聚类数番茄病害图像分割算法，与传统k-means、ExG-ExR、Mean Shift和DBSCAN方法对比，提出的组合算法分割效果最佳，能实现对农作物病害图像的准确快速的背景分割。

(2) 针对使用单一来源数据训练的模型泛化性能不强的问题，提出了一种对不同来源作物病害图像数据集的分类识别方法。该方法中使用多个来源的病害数据，将训练好的模型部署到了Android平台上，同时还对训练好的模型进行显著图和激活值最大的可视化。结果表明，研究开发的方法能实现番茄9种叶部病害和健康叶片的快速且稳定地准确识别。

(3)针对田间复杂背景的作物病害图像的背景复杂、叶片多等特点，研究了基于深度学习的目标检测方法对田间背景病害图像诊断的有效性，提出了一种面向田间背景作物病害图像的诊断方法。

李就好教授”作物叶部病害图像识别研究“直播

——观众提问整理集中问答

作为广东省农村科技特派员，您在实际过程中发现的作物叶部病害，有多少可以被此应用识别呢？

因为机器识别、智能识别要通过训练，如果是之前没有见过的东西，让它识别是识别不了的。

刚刚也讲了我们的数据集包含的信息量比较少，所以现在来说，原来我们要针对一个作物的一个病害要开发一个程序，现在一个程序可以对一个作物的多种病害进行识别。所以目前还是比较难实现能解决大部分作物病害的通用型程序，由于收集的数据库不够大，量不够多。

今年年底会争取在农业部申请到针对丝瓜病害的文章，等到之后数据库信息足够丰富，就能够提高识别作物病害的种类。

感谢李老师~

李老师您好，您目前建立了番茄叶片的相关叶部病害图像识别，您认为这个模型可以运用到其他作物上吗？如果不能，需要做哪些调试呢？

我们刚刚讲的是以番茄为主，我们即将发展的是丝瓜的叶部病害。要将这个模型应用到别的作物上还是有一定的难度，如果有这个作物病害的图库进行训练之后，就可以识别，就好像我们见过这个人，以后再见到他就可以认得他，如果没有见过他，那就不知道他是谁，大概就是这样的意思。

好的，谢谢~

李老师，请问叶斑和叶片颜色不一致，怎样通过聚类和颜色特征组合将含有病斑的叶片分割出来？

图像分割也是我们要解决的问题，我们也用了很多不同的方法。目前来看，就像刚刚报告中所讲的那样，融合颜色指数自适应聚类数的聚类算法，首先把叶片分割出来，再在叶片上识别是哪些病害，斑点是什么病毒。通过这样的训练后，才渐渐提高识别率。

也不是一拿到就能够想到这样的方法，而是通过大量的计算机仿真模拟、计算，然后监测结果如何，这样慢慢摸索出来的。

感谢李教授的讲解！

您认为如何减少数据的“批次效应”，使数据可以形成系统的数据集供大家使用呢？

我也讲到我有在申请国家基金来做这事，形成我们国家比较大的主要作物病害数据库，为我们所有从事农业研究和应用的人提供一个基础的数据库。

我们看到国外的Plant Village有很多数据，但相对整个农业系统来讲还是不够大。现在我们通过种植、到野外采集数据，还是一个漫长的过程。这么多年过来，比如到了番茄种植阶段，如广东是秋季之后种植，我们就下去，但是它不一定发病，因为发病会影响产量，生产方就会做好防控，因此我们不容易采集到相应病害的数据，所以需要大量的人力物力来收集。

我希望可以形成国家层面的一个大的数据系统，无论是其他的应用或研究都可以应用其中的数据进行开发。

感谢李教授，您真是为农业在做一件大事！

您认为未来作物病虫害识别的趋势是什么呢

我认为未来的趋势肯定是利用人工智能，能够快速准确识别作物病虫害。因为无论是病虫害还是杂草都有人在做这方面的研究了。可能病害是最头痛的一个，虫害对农户容易防治一些，病害还是比较难以驾驭的领域。希望通过发展之后，能够快速准确的发出病害预警，为农业稳产丰产作出贡献。

好的，感谢您的回复~

李老师，您课题组的数据集可以开源吗？

我们已经准备公开，目前还未上传至网络平台，慢慢的我们会将这些数据公开，上传至网络。

我们原来做了一个数据库，托管给学校的网络中心，后来因着信息安全等原因，就暂时拿回来了。所以后面会继续完善公开。

公开后大家都可以用。在此之前，数据库的一些程序还需要重新调整，尽量快一些实现这个开源的目标。

期待您的数据~

李老师，田间环境下病害图像识别的关键难点是什么呢？

难点就好像我们汉字中的“同音不同字”、“同意不同词”，可能在监测时相同的表现，但是可能是不同的病。因此有时候不是靠单独的叶部监测，之前与农科院植保专家一起查看，单独叶片看不出来什么病害，但是看整株的状态就知道了这个应该是什么病害。所以存在鲁棒性问题，需要不断摸索探索，进行二次开发，不然达不到精准度，有一些要辅以整株识别的技术。

在田间，我们刚刚讲的YOLOv3这个程序比较好，现在能够在环境不太复杂的情况下对多个叶片或一个叶片的多个病毒识别。

好的(　＾∀＾)，谢谢~

李老师，您提到您的团队申请了资助建设病害数据集。这是非常有意义的基础工作，您的数据集能像Plant Village一样开源吗？

我们想国家支持做这个事肯定就会像Plant Village一样开源。做好了放在家里也没用，我也希望大家在这个基础上为我们的农业人工智能共同作出贡献，这是个研究不完的问题。希望大家都参与到这个领域中来。

感谢李老师！

END

好看的人才能点