全连接层提速
Posted pacino12134
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了全连接层提速相关的知识，希望对你有一定的参考价值。
分类和位置调整都是通过全连接层(fc)实现的，设前一级数据为
后一级为
，全连接层参数为
，尺寸
，一次前向传播(forward)即为：
计算复杂度为。
将进行SVD分解，并用前t个特征值近似：
原来的前向传播分解成两步：
计算复杂度变为 
。
在实现时，相当于把一个全连接层拆分成两个，中间以一个低维数据相连：
以上是关于全连接层提速的主要内容，如果未能解决你的问题，请参考以下文章