pytorch的常用操作技巧注意事项

Posted 2021-03-18 mlgjb

pytorch官方文档：https://pytorch.org/docs/stable/index.html

1. pytorch的数学基本运算：https://blog.csdn.net/weicao1990/article/details/93738722
2. pytorch中一些向量的拼接操作：https://www.cnblogs.com/yifdu25/p/9399047.html
3. pytorch中合理设置参数提高显卡和CPU的利用率：https://blog.csdn.net/qq_32998593/article/details/92849585
4. 使用torch.Tensor() 创建张量，加上requires_grad参数报错：https://blog.csdn.net/qq_36653505/article/details/88416170 。注意torch.tensor和torch.Tensor的接口是不一样的前者是整数，后者是浮点数，并且API的接口也不一样。
5. pytorch 实现L2正则化：https://blog.csdn.net/LoseInVain/article/details/81708474
6. PyTorch中在反向传播前为什么要手动将梯度清零：https://www.zhihu.com/question/303070254/answer/573037166
7. pytorch实现梯度反转操作：https://blog.csdn.net/tsq292978891/article/details/79364140
8. pytorch中reshape，view，transpose，permute的区别：前两个一样，[batch, seq_len]用reshape来交换维度是错误的写法，reshape(seq_len, batch)错误reshape的基本原理是将所有数据铺平、展开，再来改变维度[2, 3, 1, 1]变[2, 3]可以[2, 3, 2]变[2, 6]可以reshape一般只用于增加维度或减少维度。transpose用来交换维度的顺序，但是只能交换两维。permute可以用来交换任意高维度的。
9. softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数：https://blog.csdn.net/hao5335156/article/details/80607732
10. pytorch动态调整学习率：http://www.spytensor.com/index.php/archives/32/?gobwji=eyt9m1&smfubc=81w3s1
11. pytorch中模型的保存和加载：https://blog.csdn.net/lscelory/article/details/81482586
12. pytorch中cpu变量和gpu变量：GPU上的tensor无法直接转成numpy，需要先转换成CPU版的tensor。len()里可以是GPU的tenor也可以是CPU的tensor。深度学习的程序，一部分在CPU上跑，还有一部分在GPU上跑，我们需要弄清楚，程序每一部分在GPU上跑还是在CPU上跑，只有tensor才分GPU版和CPU版本，其余算出来的标量都在CPU上。
13. k-max-pooling pytorch：https://blog.csdn.net/jacke121/article/details/94408100
14. pytorch选择优化器：https://ptorch.com/news/54.html 对抗训练一般使用Momentum，adam收敛快但往往不是最优值
15. optimizer.zero_grad()和model.zero_grad()的区别：前者是只将优化器对应的参数，梯度进行清零，后者是将整个网络的梯度进行清零
16. pytorch参数初始化：
    https://blog.csdn.net/ccbrid/article/details/89353817
    https://blog.csdn.net/dss_dssssd/article/details/83990511
    https://blog.csdn.net/ys1305/article/details/94332007
    https://blog.csdn.net/luoxuexiong/article/details/95772045
17. pytorch中的随机种子：https://www.jianshu.com/p/1b9e18146045