Autograd:自动微分

Posted monkeyt

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Autograd:自动微分相关的知识,希望对你有一定的参考价值。

Autograd

1、深度学习的算法本质上是通过反向传播求导数,Pytorch的Autograd模块实现了此功能;在Tensor上的所有操作,Autograd都能为他们自动提供微分,避免手动计算导数的复杂过程。
2、autograd.Variable是Autograd中的核心类,它简单的封装了Tensor,并支持几乎所有Tensor操作;Tensor被封装为Variable之后,可以调用它的.backward()实现反向传播,自动计算所有的梯度。
3、Variable主要包含三个属性:
        data:保存Variable所包含的Tensor;
        grad:保存data对应的梯度,grad也是个Variable,而不是Tensor,它和data的形状一样;
        grad_fn:指向一个Function对象,这个Function用来反向传播计算输入的梯度。

具体代码解析

 
  1. #_Author_:Monkey  
  2. #!/usr/bin/env python  
  3. #-*- coding:utf-8 -*-  
  4. import torch as t  
  5. from  torch.autograd import Variable  
  6.   
  7. x = Variable(t.ones(2,2),requires_grad = True)  
  8. print(x)  
  9. ‘‘‘‘‘tensor([[1., 1.], 
  10.         [1., 1.]], requires_grad=True)‘‘‘  
  11. y = x.sum()  
  12. print(y)  
  13. ‘‘‘‘‘tensor(4., grad_fn=<SumBackward0>)‘‘‘  
  14. print(y.grad_fn)    #指向一个Function对象,这个Function用来反向传播计算输入的梯度  
  15. ‘‘‘‘‘<SumBackward0 object at 0x000002D4240AB860>‘‘‘  
  16. y.backward()  
  17. print(x.grad)  
  18. ‘‘‘‘‘tensor([[1., 1.], 
  19.         [1., 1.]])‘‘‘  
  20. y.backward()  
  21. print(x.grad)  
  22. ‘‘‘‘‘tensor([[2., 2.], 
  23.         [2., 2.]])‘‘‘  
  24. y.backward()  
  25. print( x.grad )  
  26. ‘‘‘‘‘tensor([[3., 3.], 
  27.         [3., 3.]])‘‘‘  
  28. ‘‘‘‘‘grad在反向传播过程中时累加的(accumulated),这意味着运行 
  29. 反向传播,梯度都会累加之前的梯度,所以反向传播之前需要梯度清零‘‘‘  
  30. print( x.grad.data.zero_() )  
  31. ‘‘‘‘‘tensor([[0., 0.], 
  32.         [0., 0.]])‘‘‘  
  33.   
  34. y.backward()  
  35. print( x.grad )  
  36. ‘‘‘‘‘tensor([[1., 1.], 
  37.         [1., 1.]])‘‘‘  
  38.   
  39. m = Variable(t.ones(4,5))  
  40. n = t.cos(m)  
  41. print(m)  
  42. print(n)  
  43. ‘‘‘‘‘tensor([[1., 1., 1., 1., 1.], 
  44.         [1., 1., 1., 1., 1.], 
  45.         [1., 1., 1., 1., 1.], 
  46.         [1., 1., 1., 1., 1.]]) 
  47. tensor([[0.5403, 0.5403, 0.5403, 0.5403, 0.5403], 
  48.         [0.5403, 0.5403, 0.5403, 0.5403, 0.5403], 
  49.         [0.5403, 0.5403, 0.5403, 0.5403, 0.5403], 
  50.         [0.5403, 0.5403, 0.5403, 0.5403, 0.5403]])‘‘‘  
  51. m_tensor_cos = t.cos(m.data)  
  52. print(m_tensor_cos)  
  53. ‘‘‘‘‘ensor([[0.5403, 0.5403, 0.5403, 0.5403, 0.5403], 
  54.         [0.5403, 0.5403, 0.5403, 0.5403, 0.5403], 
  55.         [0.5403, 0.5403, 0.5403, 0.5403, 0.5403], 
  56.         [0.5403, 0.5403, 0.5403, 0.5403, 0.5403]])‘‘‘  

以上是关于Autograd:自动微分的主要内容,如果未能解决你的问题,请参考以下文章

PyTorch - autograd自动微分

第二篇:自动微分

第二篇:自动微分

OneFlow源码解析:自动微分机制

PyTorch入门学习:Autogard之自动求梯度

TensorFlow vs PyTorch 4: 自动微分