[人工智能]数据操作及数据预处理

一、数据操作

1、N维数组（机器学习和神经网络的主要数据结构）

• 0-d（标量）
• 1-d（向量）
• 2-d（矩阵）
• 3-d（RGB图片）
• 4-d（一个RGB图片批量）
• 5-d（一个视频批量）

2、创建数组要求

• 形状
• 数据类型
• 元素值

代码实现：

import torch
#张量表示由一个数组组成的数组
x=torch.arange(12)
#输出张量
x
#输出张量形状
x.shape
#输出张量中元素总数
x.numel()
#通过reshape函数改变张量形状
X=x.reshape(3,4)
X
#使用全0、全1、其他常量或者从特定分布中随机采样的数字
torch.zeros((2,3,4))
torch.ones((2,3,4))
torch.randn(3,4)
#通过使用python列表为张量元素提供确定值
torch.tensor([[1,2,3],[4,5,6],[7,8,9]])
#常见的标准运算符进行张量元素运算
x=torch.tensor([1.0,2,3,4])
y=torch.tensor([2,2,2,2])
x+y,x-y,x*y,x/y,x**y
#将张量进行连接
X=torch.arange(12,dtype=torch.float32).reshape((3,4))
Y=torch.tensor([[1,2,3.0,4],[1,3,1,2],[2,4,2,1]])
torch.cat((X,Y),dim=0),torch.cat((X,Y),dim=1)
#通过逻辑运算符构建二元张量
X==Y
#张量元素求和
X.sum()
#在两张量形状不同时，调用广播机制进行元素操作
a=torch.arange(3).reshape((3,1))
b=torch.arange(2).reshape((1,2))
a,b
a+b
#运行操作可能会导致新结果分配内存
before=id(Y)
Y=Y+X
id(Y)==before
#执行原地操作
Z=torch.zeros_like(Y)
print("id(Z):",id(Z))
Z[:]=X+Y
print("id(Z):",id(Z))
#如果后续计算中没有重复使用X,可以使用X[:]=X+Y或X+=Y来减小操作的内存消耗
before=id(X)
X+=Y
id(X)==before
print(id(X),before)
before=id(X)
X=X+Y
id(X)==before
print(id(X),before)
#张量转换成numpy
A=X.numpy()
B=torch.tensor(A)
type(A),type(B)
a=torch.tensor([3.5])
a,a.item(),float(a),int(a)