YOLO系列（YOLOv1-YOLOv5）算法详细介绍和总结
Posted 白羊by
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了YOLO系列（YOLOv1-YOLOv5）算法详细介绍和总结相关的知识，希望对你有一定的参考价值。
YOLO系列（YOLOv1-YOLOv5）算法详细介绍和总结
文章目录
前言
本文对YOLO系列网络进行了介绍，也是站在了“巨人”的肩膀上，将YOLO系列网络进行了总结。
YOLOv1
YOLOv1思想
如上图所示，将一幅图像分成SxS个网格(grid cell),如果某个object的中心落在这个网格中，则这个网格就负责预测这个object。
每个网格要预测B个bounding box，每个bounding box除了要预测位置之外，还要附带预测一个confidence值。每个网格还要预测c个类别的分数。
通过正向传播特征提取网络最后输出7x7、深度为30的特征矩阵，我们可以单独看延深度方向的一行向量（图中浅黄色），由于深度为30，所以这个向量有30个数值，将数值进一步拆分，因为每一个网格需要预测两个bounding box，每个bounding box预测5个数值，每个数值包括四个坐标信息和一个confidence，同时还包括20个类别分数。
YOLOv1网络结构
YOLOv1的损失函数
YOLOv1的损失包含三部分：bounding box损失、confidence损失和classes损失。在计算损失时主要都是用的误差平方和求解
YOLOv1的问题
- 对一些群体性的小目标检测结果比较差
- 当目标出现新的尺寸和配置时目标检测结果比较差
- 定位不准确
YOLOv2
YOLOv2在YOLOv1的基础上做了如下尝试
1. Batch Normalization
通过使用Batch Normalization对模型的训练收敛具有很大帮助，同时减少了正则化处理，在MAP值上达到2%的提升，还可以移除dropout操作。
2. High Resolution Classifier
在YOLOv1中训练分类器时使用的是224x244的输入，而在 YOLOv2中作者采用了448x448的尺寸作为输入，论文总表明，采用更大的分辨率作为输入可以得到MAP值4%的提升。
3. Convolutional With Anchor Boxes
在YOLOv1中时直接预测边界框的中心坐标、宽度和高度，使用这种方式定位效果比较差，所以在YOLOv2中作者采用anchor进行目标框的预测，采用anchor也可以使网络更容易的去学习和收敛。
4. Dimension Clusters
根据训练集中的标注框采用K-means算法聚类得到先验框。
5. Direct location prediction
直接是使用anchor进行预测时发现，在训练模型的时候训练不稳定，通过观察发现大部分不稳定因素来自中心坐标的预测部分导致，所以作者提出采用如下anchor预测方式。
6. Fine-Grained Features
底层的特征信息会包含更多的特征细节，这些细节是在检测小目标时所需要的，所以将高层信息和低层信息进行融合。
7. Multi-Scale Training
为了提高网络的鲁棒性，使用不同的图像尺寸作为输入进行训练。每迭代10个batch就随机选择网络的输入尺寸，由于YOLOv2中的特征图缩放因子为32，所以网络中所用的特征图都是32的整数倍（320、352…609）。
Backbone：Darknet-19
Darknet-19包含19个卷积层，6个池化和一个Softmax。
YOLOv2模型框架
通过移除最后一个卷积层来修改这个网络进行检测，而是添加三个 3 x 3 卷积层，每个卷积层有 1024 个过滤器，然后是最终的 1 x 1 卷积层，其中包含我们需要检测的输出数量。 对于 VOC，我们预测 5 个框，每个框有 5 个坐标，每个框有 20 个类，因此使用125 个卷积核。 我们还从最后的 3 × 3 × 512 层到倒数第二个卷积层添加了一个特征融合层，以便模型可以使用细粒度特征。
YOLOv3
Backbone：Darknet53
YOLOv3在YOLOv2的基础上改进了backbone，YOLOv3的backbone如图
YOLOv3采用darknet-53作为backbone，其中53表示有53层卷积层，darknet-53并没有卷积层。
YOLOv3网络框架
YOLOv3结构示意图如图1所示，YOLOv3使用全卷积网络Darknet53作为特征提取网络，Darknet53由5组不同尺度的特征提取层组成，每组特征提取层包括下采样卷积单元和残差结构单元（Residual），下采样卷积单元包括卷积核为3×3、步幅为2的卷积、批量归一化层（bath normalization，BN）和激活函数（Leaky Relu），使用批量归一化和Leak Relu激活函数能加速算法的收敛速度。残差结构单元由两条支路组成，第一条支路将上一层输出的特征图进行卷积核为3×3和1×1的卷积操作，首先使用1×1的卷积对输入特征图进行通道压缩，然后使用3×3的卷积进行特征提取。第二条支路将上一层输出的特征图进行恒等映射，最后将两条支路对应通道上的特征图进行融合，这种残差结构通过卷积核之间跳转相连（skip connection）的方式增加了模型对于特征图的复用程度，同时避免了因网络深度不断增加导致的网络性能退化问题。
随着卷积网络的不断深入，深层卷积得到的特征图语义信息越抽象，从而使小目标的特征信息容易丢失。YOLOv3借鉴特征金字塔网络结构（FPN，feature pyramid networks）实行多尺度检测的方法。将416×416尺寸的图像输入YOLOv3算法中，经过5次下采样后得到13×13、26×26和52×52尺寸的特征图，首先将13×13尺寸的特征图二倍上采样后与26×26尺寸的特征图融合，获得包含浅层特征信息和深层特征信息的特征图，然后将特征图再次二倍上采样与52×52尺寸的特征图融合，最后分别在13×13、26×26和52×52尺寸的特征图上进行目标检测。
目标边界框的预测
YOLOv3中的anchor机制和YOLOv2是一样的，但是与SSD和Faster RCNN不一样的是，SSD和Faster RCNN预测的有关目标中心点的参数是相对于anchor而言的，但是在YOLOv3中预测的有关目标中心点的参数相对于cell左上角点而言。
图中虚线对应的矩形框就是anchor，我们只需要关注anchor的宽度P_w和高度P_h两个参数，蓝色矩形框是网络最终预测的目标位置和大小。需要注意的是由于Sigmoid函数结果是0~1之间，所以最终预测的b_x、b_y也是在0和1之间，所以Sigmoid函数将预测的边界框中心点限制当前cell之间，从而加框网络收敛。
正负样本的匹配
针对每一个bounding box 都会分配一个bounding box prior，即针对每一个ground truth 都会分配一个正样本，一张图像中有几个ground truth就有几个正样本，分配原则其实也很简单，就是将与ground truth重合程度最大的bounding box prior作为正样本，如果与ground truth重合程度不是最大的但是又超过了某个阈值的bounding box prior，就直接丢弃，将最后剩下的样本作为负样本。
YOLOv3损失函数
YOLOv3的损失包括三部分：置信度损失、分类损失和定位损失。
置信度损失为二值交叉熵损失
其中o_i表示预测目标边界框与真实目标边界框的IOU，c为预测值，c_hat为c通过Sigmoid函数得到的预测置信度，N为正负样本个数。
类别损失同样采用的是二值交叉熵损失
其中o_ij表示预测目标边界框i中是否存在第j类目标，C_ij为预测值，C_ij_hat为C_ij通过Sigmoid函数得到的目标概率，N_pos为正样本个数。
定位损失
YOLOv4
YOLOv4网络结构
- Backbone：CSPDarknet53
- Neck：SPP，PAN
- Head：YOLOv3
优化策略
- Eliminate grid sensitivity
- Mosaic data augmentation
- IoU threshold(match posotive samples)
- Optimizered Anchors
- CIOU
Backbone：CSPDarknet53
YOLOv4使用的CSPDarknet53相比YOLOv3的Darknet53添加了CSP结构，如图
添加CSP可以提高CNN学习的能力，移除计算瓶颈，降低显存的使用。
Neck：SPP
SPP模块经输入的特征层依次输入kernel为5x5、9x9和13x13的最大池化下采样层，且stride都是1，通过padding操作后输出尺寸和通道数和输出完全一样，然后将三个最大池化后的输出和原输入进行拼接。
Neck：PAN
（a）中在backbone提取的特征图上构建特征金字塔，即FPN模块，FPN模块将高层的语义信息通过上采样与低层的 语义信息融合，（b）中的过程正好相反，将低层的特征图通过下采样再与高层的特征图融合，而（a）和（b）共同构成了PAN模块。
还要注意的是，原始的PAN模块特征图的融合使用的是add策略，在YOLOv4中使用concate策略，将两个特征图在深度方向进行拼接
优化策略—Eliminate grid sensitivity
首先回忆一下YOLOv3如何进行目标边界框预测的，CNN网络计算每个cell中的每个anchor预测目标边界框回归参数以及针对每个类别的score分数，其中sigmoid函数将anchor中心点的位置限制在一个cell内部，这就会面临一个问题，就是如果目标框的中心点在cell的边界时sigmoid函数将不再适用，为了解决这个问题，YOLOv4在原来公式的基础上加了一个缩放因子scale。
YOLOv4改进后的预测目标边界框回归参数公式如下
目前主流的选择scale为2，则公式对应如下
优化策略—Mosaic data augmentation
在输入网络进行训练时，将四张不同的图片按一定的规则拼接在一起，这样在做具有以下优势：
- 增加数据的多样性
- 增加目标个数
- BN能一次性统计多张图片的参数
优化策略—IoU threshold(match posotive samples)
将每一个GT和anchor temple进行匹配，针对每一个检测层都对应3
个不同的模板AT1、AT2和AT3，将每一个GT和anchor左上角对其计算IoU，并将IoU大于阈值的anchor作为正样本。
优化策略—Optimizered Anchors
YOLOv4用的YOLOv3不同
优化策略—CIOU
YOLOv5
YOLOv5网络结构
- Backbone: New CSP-Darknet53
- Neck: SPPF, New CSP-PAN
- Head : YOLOv3 Head
SPPF
SPPF中依次将输入串联通过3个5x5的最大池化层，然后再与书瑞进行拼接，为什么要这么做呢，因为将两个5x5的池化层进行串联等价于使用一个9x9的最大池化，而使用3个5x5的最大池化又等价于一个13x13的最大池化，但是使用SPPF比SPP效率更高。
YOLOv5中的数据增强策略
- Mosaic（图像拼接）
- Copy paste（将不同图像中的目标进行负值和粘贴）
- Random affine（随机仿射变换：旋转、平移等）
- MixUp（将两张图片按一定透明程度混合成一张图片）
- Albumentations（滤波、直方图均衡化以及改变图片质量等等）
- Augment HSV（调整图像色度、透明度和饱和度）
- Random horizontal flip（水平翻转）
YOLOv5训练策略
- Multi-scale training(0.5~1.5x)（多尺度训练）
- AutoAnchor(For training custom data)（重新生成anchor）
- Warmup and Cosine LR scheduler（学习率的调整）
- EMA(Exponential Moving Average)Mixed precision（将学习变量添加一个动量）
- Mixed precision（混合精度训练）
- Evolve hyper-parameters
YOLOv5损失函数
YOLOv5的损失由三部分组成：
- Classes loss，分类损失，采用的是BCE loss（二值交叉熵损失），注意只计算正样本的分类损失。
- objectness loss，obj损失，采用的依然是BCE loss，注意这里的obj指的是网络预测的目标边界框与GT
Box的CIoU。这里计算的是所有样本的obj损失。 - Location loss，定位损失，采用的是CIoU loss，注意只计算正样本的定位损失。
本文参考：https://blog.csdn.net/qq_37541097?type=blog
如果本文对您有帮助的话，记得点赞哦！
写作不易，您的支持是对我最大的鼓励！！！
以上是关于YOLO系列（YOLOv1-YOLOv5）算法详细介绍和总结的主要内容，如果未能解决你的问题，请参考以下文章
基于YOLO的目标检测界面化部署实现（支持yolov1-yolov5yolopyolox）