《南溪的目标检测学习笔记》——权重初始化

Posted songyuc

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了《南溪的目标检测学习笔记》——权重初始化相关的知识,希望对你有一定的参考价值。

1 介绍

在使用CNN搭建目标检测模型时,有一个很重要的步骤就是需要进行权重初始化,那么为什么需要进行权重初始化呢?

2 权重初始化的原因

原因一:权重初始化使训练稳定(收敛加快)

此原因来自于李沐老师的课程《14 数值稳定性 + 模型初始化和激活函数【动手学深度学习v2】》
权重初始化使训练稳定,其实现方式主要是使模型参数在训练过程中数值范围更加稳定,

李沐老师:“可以提高数值稳定性”。

这里可以看看有三老师的课件,

以上是关于《南溪的目标检测学习笔记》——权重初始化的主要内容,如果未能解决你的问题,请参考以下文章

《南溪的目标检测学习笔记》——基础算子的学习笔记

《南溪的目标检测学习笔记》——目标检测的评价指标(mAP)

《南溪的目标检测学习笔记》——性能优化的学习笔记

《南溪的目标检测学习笔记》——深度学习的假设

《南溪的目标检测学习笔记》——预训练微调的学习笔记

《南溪的目标检测学习笔记》——COCO数据集的学习笔记