写在前面：最近在看一本书，做点笔记。《tensorflow+pytorch深度学习从算法到实践》。主要学习的是pytorch部分的内容，所以就跳过tensorflow部分。
tensorflow：静态计算图语言
pytorch：动态计算图语言
1 张量
0维的张量：标量
1维的张量：向量
2维的张量：矩阵
3维及以上的张量：是一般意义上我们所认为的张量。
1.1 pytorch的数据类型
创建一个张量：
import torch as t
a1 = t.tensor(1, dtype=t.float32)
a1
tensor(1.)
1.2 pytorch的标量算术计算
b1 = t.tensor(3, dtype=t.float32)
b2 = t.tensor(4, dtype=t.float32)
b3 = b1 + b2
b3
tensor(7.)
总结：对于pytorch而言，运算要比tensorflow简单一点，也不需要会话。sess = tf.Session()
2 计算图与流程控制
2.1 静态计算图与TensorFlow
包括：比较、逻辑运算、流程控制和调试运算。
2.2 动态计算图与PyTorch的流程控制
- 比较操作 toch.eq
注意的是，这里返回的是一个张量的值
t1 = t.tensor(1)
t2 = t.tensor(2)
print(t.eq(t1, t2))
tensor(False)
- 比较操作 torch.equal
这里返回一个bool值
3 代码01
import torch
a = torch.tensor(3.)
b = torch.tensor(4., requires_grad=True)
a.requires_grad_(True)
f1 = 2 * a
f2 = a * b
z = f1 + f2
z.backward()
print(f"a.grad={a.grad}")
print(f"b.grad={b.grad}")
-
requires_grad=True
Tensor变量的requires_grad的属性默认为False,若一个节点requires_grad被设置为True，那么所有依赖它的节点的requires_grad都为True。 -
backwqrd()
只有标量才能backward -
整个程序的作用：
创建一个张量x，并设置其 requires_grad参数为True
程序将会追踪所有对于该张量的操作，当完成计算后通过调用 .backward()
自动计算所有的梯度， 这个张量的所有梯度将会自动积累到 .grad 属性。
|