线性回归
单层神经网络-线性回归
线性回归是?个单层神经?络
?输?分别为x1和x2，因此输?层的输?个数为2,输?个数也叫特征数或
特征向量维度,输出层的输出个数为1,输出层中的神经元和输?层中各个输?完全连
接,因此，这?的输出层?叫全连接层,即一个简单地线性回归。
?假设我们有三个预测数据：
转化为矩阵运算：
即
代码实现：
首先导入所需要的包：
import torch
import random
import numpy as np
from tqdm import tqdm
生成数据集：
num_input = 2
num_example = 1000 # 1000条样本
# 定义标准的参数
true_w = [2, -3.4]
true_b = 4.2
np.random.seed(2012)
features = torch.tensor(np.random.normal(0,1,(1000,2)))
# 构造标签
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] +true_b
labels += torch.from_numpy(np.random.normal(0, 0.01,size=labels.size()))
print(features,labels)
数据的读取：
def data_item(bach_size,features,labels):
num_examples = len(features)
indices = list(range(num_examples))
random.shuffle(indices) # 样本的读取顺序是随机的
for i in range(0, num_examples, bach_size):
j = torch.LongTensor(indices[i: min(i + bach_size,num_examples)]) # 最后?次可能不??个batch
yield features.index_select(0, j), labels.index_select(0, j)
随机初始化模型参数：
w = torch.tensor(np.random.normal(0, 0.01, (num_input, 1)),dtype=torch.double)
b = torch.zeros(1, dtype=torch.double)
w.requires_grad = True # 定义为可求梯度
b.requires_grad = True
定义线性回归函数，使? mm 函数(矩阵相乘)：
def linear(x,w,b):
return torch.mm(x,w)+b
定义损失函数：
def loss(y_hat, y): # 本函数已保存在d2lzh_pytorch包中?便以后使?
return (y_hat - y.view(y_hat.size())) ** 2 / 2
定义优化函数：
def SGD(params, lr, batch_size): # 本函数已保存在d2lzh_pytorch包中?便以后使?
for param in params:
param.data -= lr * param.grad / batch_size # 修改的的param.data
训练模型：
lr = 0.03
bach_size = 30
net = linear
loss = loss
num_epochs = 5
for epoch in range(num_epochs):
for x,y in data_item(bach_size=bach_size,features=features,labels=labels):
los = loss(linear(x,w,b),y).sum()
los.backward()
SGD([w,b],lr=lr,batch_size=bach_size)
# print(b)
w.grad.zero_()
b.grad.zero_()
train_l = loss(net(features, w, b), labels)
print('epoch %d, loss %f' % (epoch + 1, train_l.mean().item()))
print(true_w, '\n', w)
print(true_b, '\n', b)
喜欢文章可以点赞收藏，欢迎关注，如有错误请指正！
