[人工智能] 《动手深度学习》3.6. softmax回归的从零开始实现

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> 《动手深度学习》3.6. softmax回归的从零开始实现 -> 正文阅读

[人工智能]《动手深度学习》3.6. softmax回归的从零开始实现

3.6. softmax回归的从零开始实现

使用Fashion-MNIST数据集，设置数据迭代器的批量大小为256。

import torch
from IPython import display
from d2l import torch as d2l

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

初始化模型参数

?将28x28的图像转换为len=784的向量表示
?每个样本X为1 $\times$ 784; W为784 $\times$ 10；b为1 $\times$ 10；输出 $\hat{y}$ 为1 $\times$ 10 ( ?注意：b和 $\hat{y}$ 都是行向量，所以下文规范化的时候，是对整行求和sum(1))

与线性回归一样，我们将使用正态分布初始化权重W，偏置b初始化为0。

num_inputs = 784
num_outputs = 10

W = torch.normal(0, 0.01, size=(num_inputs, num_outputs), requires_grad=True)
b = torch.zeros(num_outputs, requires_grad=True)

定义softmax操作

实现softmax由三个步骤组成：

对每个项求幂（使用exp）；
对每一行求和（小批量中每个样本是一行），得到每个样本的规范化常数；
将每一行除以其规范化常数，确保结果的和为1。

def softmax(X):
    X_exp = torch.exp(X)
    partition = X_exp.sum(1, keepdim=True)
    return X_exp / partition  # 这里应用了广播机制

定义softmax回归模型

? 注意，将数据传递到模型之前，我们使用reshape函数将每张原始图像展平为向量。
在这里插入图片描述

def net(X):
    return softmax(torch.matmul(X.reshape((-1, W.shape[0])), W) + b)

定义损失函数

y = torch.tensor([0, 2])
y_hat = torch.tensor([[0.1, 0.3, 0.6], [0.3, 0.2, 0.5]])
y_hat[[0, 1], y]

在这里插入图片描述

假设一个数据样本y_hat，其中包含2个样本在3个类别的预测概率，以及它们对应的标签y。
由y可以知道，第一个样本真实类别是第一类；而第二个样本真实类别是第三类。
然后使用y作为y_hat中概率的索引，得到了预测结果中，选择第一个样本中第一个类的概率和选择第二个样本中第三个类的概率。

在这里插入图片描述
由于只有一个标签，所以可以用上图中画出来的公式进行简化计算，即一个-log运算即可得到这两个样本各自的交叉熵：

def cross_entropy(y_hat, y):
    return - torch.log(y_hat[range(len(y_hat)), y]) 
    '''range(len(y_hat))索引到了y_hat的每一行，即每一个样本；所以y_hat[range(len(y_hat)), y]得到的是每一个样本的真实类别对应的一个概率'''

cross_entropy(y_hat, y)

在这里插入图片描述

?? 哎？？到这儿就结束了吗？多个样本的情况下，不是还得求个平均值嘛？？

在这里插入图片描述
其实，看到后面就会明白，这个求均值的过程被融合到了后面整个训练中！

计算准确率(分类精度)

当预测与标签分类y一致时，即是正确的。 分类精度即正确预测数量与总预测数量之比。

先计算正确预测数量

矩阵y_hat的每一行对应一个样本，各列对应各个类别的预测分数。
∴使用argmax获得每行中最大元素的索引来获得预测类别。然后将预测类别与真实y元素进行"=="比较(必须先统一数据类型再用)。cmp结果是一个包含0（错）和1（对）的张量。
最后，对向量cmp求和会得到正确预测的数量。

def accuracy(y_hat, y):  #@save
    """计算预测正确的数量"""
    if len(y_hat.shape) > 1 and y_hat.shape[1] > 1:
        y_hat = y_hat.argmax(axis=1)
    cmp = y_hat.type(y.dtype) == y
    return float(cmp.type(y.dtype).sum())

再计算任意数据集上的预测准确率

对于任意模型net，任意数据集data_iter：

def evaluate_accuracy(net, data_iter):  #@save
    """计算在指定数据集上模型的精度"""
    if isinstance(net, torch.nn.Module): #isinstance()判断是否为某类型, 类似type()
        net.eval()  # 设置为测试状态
    metric = Accumulator(2)  #实例化两个对象
    with torch.no_grad(): #以下计算不计算梯度
        for X, y in data_iter:
            metric.add(accuracy(net(X), y), y.numel())
            #accuracy(net(X), y)是正确预测数, y,numel()是整个y数组的元素个数，即总数
    return metric[0] / metric[1]

上述关键代码其实就是这三行：

for X, y in data_iter:
        metric.add(accuracy(net(X), y), y.numel())
return metric[0] / metric[1]

对data_iter里所有数据X_i,y_i 计算预测正确的总累加和 metric[0]，和用于预测的全部数量 metric[1]
然后返回它俩的比值，即准确率

其中Accumulator()是为了方便，定义的一个简单的多个变量求和的函数：

class Accumulator:  #@save
    """在n个变量上累加"""
    def __init__(self, n):
        self.data = [0.0] * n

    def add(self, *args):
        self.data = [a + float(b) for a, b in zip(self.data, args)]

    def reset(self):
        self.data = [0.0] * len(self.data)

    def __getitem__(self, idx):
        return self.data[idx]

试一下

用上文刚定义的softmax模型net()试试看，此时还没有经过训练，所有参数W和b是随机生成的，所以就跟盲猜瞎猜是一个道理，所以精确度应该是约等于 $\frac {1} {10}$ (因为现在是一共10个类别)

evaluate_accuracy(net, test_iter)

在这里插入图片描述

训练：

在这里，我们重构训练过程的实现以使其可重复使用。首先，我们定义一个函数来训练一个迭代周期。
请注意，updater是更新模型参数的常用函数，它接受批量大小作为参数。它可以是d2l.sgd函数，也可以是框架的内置优化函数。

训练模型的一个epoch

def train_epoch_ch3(net, train_iter, loss, updater):  #@save
    """训练模型一个迭代周期（定义见第3章）"""
    # 将模型设置为训练模式
    if isinstance(net, torch.nn.Module):
        net.train()
    # 训练损失总和、训练准确度总和、样本数
    metric = Accumulator(3)
    for X, y in train_iter:
        # 计算梯度并更新参数
        y_hat = net(X)
        l = loss(y_hat, y)
        if isinstance(updater, torch.optim.Optimizer):
            # 使用PyTorch内置的优化器和损失函数
            updater.zero_grad()
            l.mean().backward()
            updater.step()
        else:
            #使用自定制的优化器和损失函数:比如我们自己写的那个sgd
            l.sum().backward()
            updater(X.shape[0])
        metric.add(float(l.sum()), accuracy(y_hat, y), y.numel())
    # 返回训练损失和训练精度
    return metric[0] / metric[2], metric[1] / metric[2]

若干epoch的完整训练

这个训练函数train_ch3()，会在train_iter访问到的训练数据集上训练一个模型net。该训练函数将会运行多个迭代周期（由num_epochs指定）。
在每个迭代周期结束时，利用test_iter访问到的测试数据集对模型进行评估。
我们将利用Animator类来可视化训练进度。

def train_ch3(net, train_iter, test_iter, loss, num_epochs, updater):  #@save
    """训练模型（定义见第3章）"""
    animator = Animator(xlabel='epoch', xlim=[1, num_epochs], ylim=[0.3, 0.9],
                        legend=['train loss', 'train acc', 'test acc'])
    for epoch in range(num_epochs):
        train_metrics = train_epoch_ch3(net, train_iter, loss, updater)
        test_acc = evaluate_accuracy(net, test_iter)
        animator.add(epoch + 1, train_metrics + (test_acc,))
    train_loss, train_acc = train_metrics
    assert train_loss < 0.5, train_loss
    assert train_acc <= 1 and train_acc > 0.7, train_acc
    assert test_acc <= 1 and test_acc > 0.7, test_acc

定义一个绘图函数-用于结果可视化：

定义一个在动画中绘制数据的实用程序类Animator，它能够简化本书其余部分的代码。

class Animator:  #@save
    """在动画中绘制数据"""
    def __init__(self, xlabel=None, ylabel=None, legend=None, xlim=None,
                 ylim=None, xscale='linear', yscale='linear',
                 fmts=('-', 'm--', 'g-.', 'r:'), nrows=1, ncols=1,
                 figsize=(3.5, 2.5)):
        # 增量地绘制多条线
        if legend is None:
            legend = []
        d2l.use_svg_display()
        self.fig, self.axes = d2l.plt.subplots(nrows, ncols, figsize=figsize)
        if nrows * ncols == 1:
            self.axes = [self.axes, ]
        # 使用lambda函数捕获参数
        self.config_axes = lambda: d2l.set_axes(
            self.axes[0], xlabel, ylabel, xlim, ylim, xscale, yscale, legend)
        self.X, self.Y, self.fmts = None, None, fmts

    def add(self, x, y):
        # 向图表中添加多个数据点
        if not hasattr(y, "__len__"):
            y = [y]
        n = len(y)
        if not hasattr(x, "__len__"):
            x = [x] * n
        if not self.X:
            self.X = [[] for _ in range(n)]
        if not self.Y:
            self.Y = [[] for _ in range(n)]
        for i, (a, b) in enumerate(zip(x, y)):
            if a is not None and b is not None:
                self.X[i].append(a)
                self.Y[i].append(b)
        self.axes[0].cla()
        for x, y, fmt in zip(self.X, self.Y, self.fmts):
            self.axes[0].plot(x, y, fmt)
        self.config_axes()
        display.display(self.fig)
        display.clear_output(wait=True)

试试看

使用之前咱们3.2里边自己定义的优化函数：小批量随机梯度下降来优化模型的损失函数，设置学习率为0.1。
在这里插入图片描述

lr = 0.1

def updater(batch_size):
    return d2l.sgd([W, b], lr, batch_size)

现在，我们训练模型10个迭代周期。迭代周期num_epochs和学习率lr都是可调节的超参数。通过更改它们的值，可以提高模型的分类精度。

num_epochs = 10
train_ch3(net, train_iter, test_iter, cross_entropy, num_epochs, updater)

哎！！！好神奇哈哈哈，它是动态作图哎~~~~
在这里插入图片描述

预测

现在训练已经完成，接下来进行分类预测。给定一系列图像，我们将比较它们的实际标签（文本输出的第一行）和模型预测（文本输出的第二行）。

def predict_ch3(net, test_iter, n=6):  #@save
    """预测标签（定义见第3章）"""
    for X, y in test_iter:
        break
    trues = d2l.get_fashion_mnist_labels(y)
    preds = d2l.get_fashion_mnist_labels(net(X).argmax(axis=1))
    titles = [true +'\n' + pred for true, pred in zip(trues, preds)]
    d2l.show_images(
        X[0:n].reshape((n, 28, 28)), 1, n, titles=titles[0:n])

predict_ch3(net, test_iter)

在这里插入图片描述

python语法基础

eval() 函数

用来执行一个字符串表达式，并返回表达式的值。
eval(expression[, globals[, locals]])
参数：expression – 表达式; globals – 变量全局作用域，必须是一个字典对象。
locals – 变量局部作用域，可以是任何映射对象。
返回表达式的计算结果

【pytorch系列】model.train(), model.eval()用法详解

模型中有BatchNormalization和Dropout，测试时使用model.eval() 后会将其关闭以免影响预测结果。

什么意思呢？？(参考博文model.eval()的作用)
——主要是区分训练过程和测试过程。

训练过程中BN的作用： 参数是一直在被调整的，此时的BN会不断的计算和累积均值和方差，训练结束后得到最终的均值和方差，在此处将其记为mean_train，variance_train。
测试过程中BN：
如果不使用model.eval()，那么BN层会继续根据输入的预测数据，继续累积均值和方差，假设输入一条预测数据后，BN层计算得到其均值和方差分别为mean_test，variance_test，此时BN层的均值和方差则变成了(mean_train+mean_test),(variance_train+variance_test)，相比于训练过程中的均值和方差发生了变化因此会导致预测结果发生变化。
如果使用model.eval()，则BN层就不会再计算预测数据的均值和方差，即在预测过程中BN层的均值和方差就是训练过程得到的均值和方差mean_train，variance_train，此时预测结果就不会再发生变化。
训练过程中Dropout：
训练过程中依据设置的dropout比例会使一部分的网络连接不进行计算。
测试过程中Dropout：
预测过程中如果不使用model.eval()的话，依然会使一部分的网络连接不进行计算，
而使用model.eval()后就是所有的网络连接均进行计算。