卷积神经网络性能优化

Posted 2022-01-26 Python数据科学

链接：，

链接：链接：

链接：链接：链接：链接：链接：链接：链接：链接：链接：链接：）

）

）

）

通用矩阵乘（GEMM）优化算法 （ 链接：https://jackwish.net/gemm-optimization.html ）

The Indirect Convolution Algorithm

推荐阅读

1. pandas100个骚操作

2. 机器学习原创系列

3. 数据科学干货下载

最后给大家分享《10本数据挖掘电子书》，包括数据分析、统计学、数据挖掘、机器学习。

现在免费分享出来，有需要的读者可以下载学习，在下面的公众号「数据挖掘工程师」里回复关键字：数据挖掘，就行。

RCR新文：基于优化卷积神经网络的废弃物分类

原文链接：

https://www.sciencedirect.com/science/article/pii/S0921344920304493

图片来源于网络（侵删）

文章亮点

1. 基于图像识别的自动分类算法能够减少废弃物回收的人力劳动；

2. 可使用卷积神经网络（CNN）模型识别废弃物；

3. 可通过扩充训练数据扩充来提升CNN模型的分类性能。

4. 优化CNN模型的完全连接层可提升CNN的分类性能。

文章导读

    回收废弃物能够有效减少废物产生量，缓解环境和改善国家经济。然而，废弃物回收的效率和质量在很大程度上取决于分选原料的纯度和准确性，需要耗费大量的人工成本。在此背景下，计算机视觉和深度学习（DL）技术开始被应用于废弃物的自动分类任务中，特别是卷积神经网络(convolutional neural network, CNN)，如AlexNet、VGG、ResNet和DenseNet。

    然而，可用于训练CNN模型的数据集十分有限，CNN模型存在计算效率低和过度拟合的缺陷，当前废弃物的分类精确度较低。因此，本研究扩充了TrashNet废弃物数据集，利用遗传算法优化了DenseNet121模型，提高了模型分类精度。并且，本研究生成的梯度加权类激活映射（Grad-CAM）可以解释模型的分类结果，帮助识别各类废弃物的主要分类特征。本文的其余部分的结构如下：第2节介绍了垃圾数据集和数据扩充设置，并说明方法和基本环境设置。实验结果在第3节中显示。结论在第4节中得出。

文章摘要

    利用机器人实现废弃物自动分类和回收任务能够减少大量人工成本。卷积神经网络（CNN）模型，例如DenseNet121，改进了传统的图像识别技术，并且是当前图像识别的主要方法。著名的基准数据集，即TrashNet，共有2527张图像和六种不同的废物类别组成，能够评估CNN模型的性能。为了提高CNN模型的废物分类结果准确性，可以采用数据增强方法，但是还没有研究使用微调CNN模型全连接层的超参数的方式。因此，除数据扩充外，本研究旨在利用遗传算法优化DenseNet121的全连接层，以提高TrashNet上DenseNet121的分类准确性。结果表明，与其他CNN模型相比，优化的DenseNet121最高达到了99.6％的准确性。与针对TrashNet优化DenseNet121的全连接层相比，数据增强可以在提高图像分类的准确性上实现更高的效率。用全连接层替换DenseNet121原始分类器的功能可以提高DenseNet121的性能。优化的DenseNet121进一步提高了准确性，并证明了使用遗传算法优化神经元数量和全连接层，能够提升分类效率。梯度加权的类激活映射有助于突出显示废物图像的粗略特征，并提供对优化DenseNet121的可扩展性的更多了解。

图1 优化模型的架构

图2 优化模型的工作流程图

图3 模型结构比较

图4 Grad-CAM结果

原文信息

Abstract

An automatic classification robot based on effective image recognition could help reduce huge labors of re-cycling tasks. Convolutional neural network (CNN) model, such as DenseNet121, improved the traditional imagerecognition technology and was the currently dominant approach to image recognition. A famous benchmarkdataset, i.e., TrashNet, comprised of a total of 2527 images with six different waste categories was used toevaluate the CNNs’ performance. To enhance the accuracy of waste classification driven by CNNs, the dataaugmentation method could be adopted to do so, but fine-tuning optimally hyper-parameters of CNN's fully-connected-layer was never used. Therefore, besides data augmentation, this study aims to utilize a genetic al-gorithm (GA) to optimize the fully-connected-layer of DenseNet121 for improving the classification accuracy ofDenseNet121 on TrashNet and proposes the optimized DenseNet121.

The results show that the optimized DenseNet121 achieved the highest accuracy of 99.6%, when comparedwith other studies’ CNNs. The data augmentation could perform higher efficiency on accuracy improvement ofimage classification than optimizing fully-connected-layer of DenseNet121 for TrashNet. To replace the functionof the original classifier of DenseNet121 with fully-connected-layer can improve DenseNet121’s performance.The optimized DenseNet121 further improved the accuracy and demonstrated the efficiency of using GA tooptimize the neuron number and the dropout rate of fully-connected-layer. Gradient-weighted class activationmapping helped highlight the coarse features of the waste image and provide additional insight into the ex-plainability of optimized DenseNet121.

本期小编：

陈楚珂，中国科学院城市环境研究所，博士研究生

更多优秀论文

尽在RCR

Resources 丨 Conservation 丨 Recycling

2019年影响因子：8.086

[e-mail]

谈笑有鸿儒：请留言！

都说点赞会变美！不信你试试

点击蓝字

球分享

球点赞

球在看