残差网络

Posted 2020-09-29

https://www.leiphone.com/news/201609/UpmXTWh9gYOqnl0c.html

原文：

残差网络（ResNet） 和卷积神经网络（ ConvNet） 之间是平行概念，互不排斥。

ResNet的基本思想可以和卷积神经网络结合，也可和其它任何类型的神经网络结合。ResNet的核心思想是在不改变网络表达力和复杂度的情形下改变损失函数势能面的状况，从而使优化到最佳点的途径变得顺利些。

卷积神经网络主要用于图像识别，因为图像中的每个像素都与其邻近像素关连，而全部的这种关联，空间关系决定了一个图像的表征。卷积神经网络的设计就是为了提取这些特征，并通过大量例子训练模型。

换句话说有一个局部感受野的想法，图像中相邻像素构成了一个表达，因此用卷积滤波器很合适。

有些问题，其变量之间的相互作用关系不明确，无法套用卷积神经网络。这时可以采用全连接网络，或根据已知或猜测到的相互作用关系建立网络连接（这样可大大减少参数量）。实际应用中还涉及模型的效率（速度）问题。 如果一个神经网络过大，无论是训练还是用于打分都会较慢，如需提速，必须减少模型的大小。

 

 

提问：除了图像之外，对于其它有一定相互关联性的信号，是否都可以借鉴卷积网络，比如一些时间上有一定关联的信号的机器学习？

 

可以，但比较麻烦，因为你不知道怎样归类，对于音频完全可以，时间和频率构成二维图像。（不用考虑相位吗？二维图像以什么样的方式构成）