Pytorch中的自动求梯度机制和Variable类实例
自动求导机制是每一个深度学习框架中重要的性质，免去了手动计算导数，下面用代码介绍并举例说明Pytorch的自动求导机制。
首先介绍Variable，Variable是对Tensor的一个封装，操作和Tensor是一样的，但是每个Variable都有三个属性：Varibale的Tensor本身的.data，对应Tensor的梯度.grad，以及这个Variable是通过什么方式得到的.grad_fn，根据最新消息，在pytorch0.4更新后，torch和torch.autograd.Variable现在是同一类。torch.Tensor能像Variable那样追踪历史和反向传播。Variable仍能正确工作，但是返回的是Tensor。
我们拥抱这些新特性，看看Pytorch怎么进行自动求梯度。
#encoding:utf-8 importtorch x=torch.tensor([2.],requires_grad=True)#新建一个tensor,允许自动求梯度,这一项默认是false. y=(x+2)**2+3#y的表达式中包含x,因此y能进行自动求梯度 y.backward() print(x.grad)
输出结果是：
tensor([8.])
这里添加一个小知识点，即torch.Tensor和torch.tensor的不同。二者均可以生成新的张量，但torch.Tensor()是python类，是默认张量类型torch.FloatTensor()的别名，使用torch.Tensor()会调用构造函数，生成单精度浮点类型的张量。
而torch.tensor()是函数，其中data可以是list,tuple,numpy,ndarray,scalar和其他类型，但只有浮点类型的张量能够自动求梯度。
torch.tensor(data,dtype=None,device=None,requires_grad=False)
言归正传，上一个例子的变量本质上是标量。下面一个例子对矩阵求导。
#encoding:utf-8 importtorch x=torch.ones((2,4),requires_grad=True) y=torch.ones((2,1),requires_grad=True) W=torch.ones((4,1),requires_grad=True) J=torch.sum(y-torch.matmul(x,W))#torch.matmul()表示对矩阵作乘法 J.backward() print(x.grad) print(y.grad) print(W.grad)
输出结果是：
tensor([[-1.,-1.,-1.,-1.], [-1.,-1.,-1.,-1.]]) tensor([[1.], [1.]]) tensor([[-2.], [-2.], [-2.], [-2.]])
以上这篇Pytorch中的自动求梯度机制和Variable类实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。