[人工智能]pytorch autograd.grad

pytorch是动态图，即计算图的搭建和运算是同时的，随时可以输出结果；而tensorflow是静态图。

在pytorch的计算图里只有两种元素：数据（tensor）和运算（operation）

运算包括：加减乘除、开方、幂指对、三角函数等可求导运算。

数据可分为：叶子节点和非叶子节点；叶子节点是用户创建的节点，不依赖其他节点；叶子节点和非叶子节点的区别在于反向传播结束后，非叶子节点的梯度会被释放掉，只保留叶子节点的梯度，这样就节省了内存。如果想要保留非叶子节点的梯度，可以使用retain_grad()方法。

torch.tensor具有以下属性：

• 查看是否可以求导：requires_grad
• 查看运算名称：grad_fn
• 查看是否为叶子节点：is_leaf
• 查看导数值：grad

对于requires_grad属性，自己定义的叶子节点默认为False，而非叶子节点默认为True，神经网络中的权重默认为True。判断哪些节点是True/False的一个原则就是从我们需要求导的叶子节点到loss节点之间是一条可求导的通路。

当我们想要对某个Tensor变量求梯度时，需要先指定requires_grad属性为True，指定方式主要有以下两种：

x=torch.tensor(1.).requires_grad_()

x=torch.tensor(1.,requires_grad=True)

pytorch提供两种求梯度的方法：backward()和torch.autograd.grad()，这两种方法的区别在于前者是给叶子节点填充.grad字段，而后者是直接返回梯度。需要知道的一点是y.backward()其实等同于torch.autograd.backward(y)

一个简单的求导例子是$y=(x+1)\times (x+2)$，计算$\frac{?y}{?x}$，假定$x=2$，先画出计算图：

整个链式求导过程为：

$$\frac{?y}{?x}=\frac{?y}{?a}\frac{?a}{?x}+\frac{?y}{?b}\frac{?b}{?x}=(x+2)\times 1+(x+1)\times 1\to 7$$

使用backward():

x = torch.tensor(2., requires_grad=True)

a = torch.add(x, 1)
b = torch.add(x, 2)
y = torch.mul(a, b)

y.backward()
print(x.grad)
>>>tensor(7.)

观察下这几个tensor的属性：

print("requires_grad: ", x.requires_grad, a.requires_grad, b.requires_grad, y.requires_grad)
print("is_leaf: ", x.is_leaf, a.is_leaf, b.is_leaf, y.is_leaf)
print("grad: ", x.grad, a.grad, b.grad, y.grad)

>>>requires_grad:  True True True True
>>>is_leaf:  True False False False
>>>grad:  tensor(7.) None None None

使用backward()函数反向传播计算tensor的梯度时，并不计算所有tensor的梯度，而是只计算满足这几个条件的tensor的梯度：1.类型为叶子节点、2.requires_grad=True、3.依赖该tensor的所有tensor的requires_grad=True。所有满足条件的变量梯度会自动保存到对应的grad属性里。

使用autograd.grad()

x = torch.tensor(2., requires_grad=True)

a = torch.add(x, 1)
b = torch.add(x, 2)
y = torch.mul(a, b)

grad = torch.autograd.grad(outputs=y, inputs=x)
print(grad)

# (tensor(7.),)

因为指定了输出y，输入x，所以返回值就是$\frac{?y}{?x}$这一梯度，完整的返回值其实是一个元素，我们仅需要元组的第一个元素。

再举另外一个复杂一点且高阶求导的例子：$z=x^{2}y$，计算$\frac{?z}{?x},\frac{?z}{?y},\frac{{?}^{2}z}{{?}^{2}x}$，假设给定$x=2,y=3$

手算可以得到：

$$\frac{?z}{?x}=2xy\to 12,\frac{?z}{?y}=x^2\to 4,\frac{{?}^{2}z}{{?}^{2}x}=2y\to 6$$

求一阶导可以用backward()

x = torch.tensor(2., requires_grad=True)
y = torch.tensor(3., requires_grad=True)

z = x * x * y

z.backward()
print(x.grad, y.grad)
>>>tensor(12.) tensor(4.)

我们也可以使用autograd.grad()

x = torch.tensor(2.).requires_grad_()
y = torch.tensor(3.).requires_grad_()

z = x * x * y

grad_x = torch.autograd.grad(outputs=z, inputs=x)
print(grad_x[0])
>>>tensor(12.)

为什么不在这里面同时也求对y的导数呢？因为无论是backward还是autograd.grad在计算一次梯度后图就被释放了，如果想要保留，需要添加retain_graph=True

x = torch.tensor(2.).requires_grad_()
y = torch.tensor(3.).requires_grad_()

z = x * x * y

grad_x = torch.autograd.grad(outputs=z, inputs=x, retain_graph=True)
grad_y = torch.autograd.grad(outputs=z, inputs=y)

print(grad_x[0], grad_y[0])
>>>tensor(12.) tensor(4.) 

接下来看如何求高阶导，理论上其实是上面的grad_x再对x求梯度：

x = torch.tensor(2.).requires_grad_()
y = torch.tensor(3.).requires_grad_()

z = x * x * y

grad_x = torch.autograd.grad(outputs=z, inputs=x, retain_graph=True)
grad_xx = torch.autograd.grad(outputs=grad_x, inputs=x)

print(grad_xx[0])
>>>RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

这里出现了报错，虽然retain_graph=True保留了计算图和中间变量梯度，但没有保存grad_x的运算方式，需要使用create_graph=True在保留原图的基础上再建立额外的求导计算图，也就是会把$\frac{?z}{?x}=2xy$这样的运算存下来：

# autograd.grad() + autograd.grad()
x = torch.tensor(2.).requires_grad_()
y = torch.tensor(3.).requires_grad_()

z = x * x * y

grad_x = torch.autograd.grad(outputs=z, inputs=x, create_graph=True)
grad_xx = torch.autograd.grad(outputs=grad_x, inputs=x)

print(grad_xx[0])
>>>tensor(6.)