PyTorch里面的torch.nn.Parameter()

Posted jfdwd

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了PyTorch里面的torch.nn.Parameter()相关的知识,希望对你有一定的参考价值。

在刷官方Tutorial的时候发现了一个用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),看了官方教程里面的解释也是云里雾里,于是在栈溢网看到了一篇解释,并做了几个实验才算完全理解了这个函数。首先可以把这个函数理解为类型转换函数,将一个不可训练的类型Tensor转换成可以训练的类型parameter并将这个parameter绑定到这个module里面(net.parameter()中就有这个绑定的parameter,所以在参数优化的时候可以进行优化的),所以经过类型转换这个self.v变成了模型的一部分,成为了模型中根据训练可以改动的参数了。使用这个函数的目的也是想让某些变量在学习的过程中不断的修改其值以达到最优化。

 
技术图片
出现这个函数的地方

concat注意力机制中,权值V是不断学习的所以要是parameter类型,不直接使用一个torch.nn.Linear()可能是因为学习的效果不好。
通过做下面的实验发现,linear里面的weightbias就是parameter类型,且不能够使用tensor类型替换,还有linear里面的weight甚至可能通过指定一个不同于初始化时候的形状进行模型的更改。
 
技术图片
做的实验

 
技术图片
self.v被绑定到模型中了,所以可以在训练的时候优化


作者:VanJordan
链接:https://www.jianshu.com/p/d8b77cc02410
来源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

以上是关于PyTorch里面的torch.nn.Parameter()的主要内容,如果未能解决你的问题,请参考以下文章

Pytorch 里面model部分属性简析

[深度学习]pytorch yolov3 result.txt里面数字含义

CNN的Pytorch实现(LeNet)

pytorch构建自己的数据集

怎么看pytorch库下没下好

在 Pytorch 中使用逻辑回归的预测返回无穷大