Pytorch中的自动求梯度机制和Variable类

　　自动求导机制是每个深度学习框架中重要的性质，免去了手动计算导数，下面用代码介绍并举例说明Pytorch的自动求导机制。python

　　首先介绍Variable，Variable是对Tensor的一个封装，操做和Tensor是同样的，可是每一个Variable都有三个属性：Varibale的Tensor自己的.data，对应Tensor的梯度.grad，以及这个Variable是经过什么方式获得的.grad_fn，根据最新消息，在pytorch0.4更新后，torch和torch.autograd.Variable如今是同一类。torch.Tensor能像Variable那样追踪历史和反向传播。Variable仍能正确工做，可是返回的是Tensor。框架

　　咱们拥抱这些新特性，看看Pytorch怎么进行自动求梯度。函数

1 #encoding:utf-8
2 import torch 3 
4 x = torch.tensor([2.],requires_grad=True) #新建一个tensor,容许自动求梯度,这一项默认是false.
5 y = (x+2)**2 + 3 #y的表达式中包含x,所以y能进行自动求梯度
6 y.backward() 7 print(x.grad)

　　输出结果是：学习

tensor([8.])

　　这里添加一个小知识点，即torch.Tensor和torch.tensor的不一样。两者都可以生成新的张量，但torch.Tensor()是python类，是默认张量类型torch.FloatTensor()的别名，使用torch.Tensor()会调用构造函数，生成单精度浮点类型的张量。ui

　　而torch.tensor()是函数，其中data能够是list,tuple,numpy,ndarray,scalar和其余类型，但只有浮点类型的张量可以自动求梯度。spa

torch.tensor(data, dtype=None, device=None, requires_grad=False)

　　言归正传，上一个例子的变量本质上是标量。下面一个例子对矩阵求导。scala

 1 #encoding:utf-8
 2 import torch  3 
 4 x = torch.ones((2,4),requires_grad=True)  5 y = torch.ones((2,1),requires_grad=True)  6 W = torch.ones((4,1),requires_grad=True)  7 
 8 J = torch.sum(y - torch.matmul(x,W)) #torch.matmul()表示对矩阵做乘法
 9 J.backward() 10 print(x.grad) 11 print(y.grad) 12 print(W.grad)

　　输出结果是：code

tensor([[-1., -1., -1., -1.], [-1., -1., -1., -1.]]) tensor([[1.], [1.]]) tensor([[-2.], [-2.], [-2.], [-2.]])