[人工智能]pytorch torch: slice赋值以及clone不会截断梯度

下面代码tensor b的梯度能不能正常传递给a

a = torch.tensor([1, 2, 3]).float()
a.requires_grad_()
b = a.new_full((4,), 0)
b[[1, 2, 3]] = a 

答案是可以。

• 下面的前两个输出表明赋值是深拷贝，不是浅拷贝。a,b是两个不同的内存
• 最后两个输出表明，b不被重新赋值的部分能够将梯度反传回a。

import torch

a = torch.tensor([1, 2, 3]).float()
a.requires_grad_()

b = a.new_full((4,), 0)
b[[1, 2, 3]] = a  # 这里写 b[[1, 2, 3]] = a.clone() 结果也是一样的
b[1] = 100
print(a, b)
# tensor([1., 2., 3.], requires_grad=True)
# tensor([  0., 100.,   2.,   3.], grad_fn=<CopySlices>)

((b - 1.5) ** 2).sum().backward()
print(a.grad)
# tensor([0., 1., 3.])

a = torch.tensor([1, 2, 3]).float()
a.requires_grad_()
((a - 1.5) ** 2).sum().backward()
print(a.grad)
# tensor([-1.,  1.,  3.])

pytorch里面，clone, 赋值都是可导的，梯度是不会被截断的，只有detach才会截断。