写在前面

今天主要探索的是改变神经网络的权重和阈值的初始值的大小对于模型输出结果的影响，本篇文章首先会介绍一下我对输入数值的归一化处理，然后再通过示例查看初始化参数对于模型输出的影响。

归一化

为了减小MNIST数据本身数值大小的影响，我将MNIST图片的像素数据进行了归一化处理，归一化公式如下图所示：

在这里插入图片描述
程序实现如下图所示，需要注意的是，在程序中，我为了减小数字的位数，我将归一化数值进行了放大100倍的操作：

def  normalization(x):
    max = 0
    min = 999
    for i in range(0, 784):
        if (x[i] > max):
            max = x[i]
        elif (x[i] < min):
            min = x[i]

    for i in range(0, 784):
        x[i] = (x[i] - min) / (max - min) * 100
    # print(x)

    return x

探索

我是将一幅图像进行不断地训练，从而进行调优，因此我只取了MNIST数据集的第一张，也就是数字“5”进行预训练，看看我的神经网络模型是否有错，同时初步探索参数对于神经网络的影响。

在这里插入图片描述

下图是初始化了学习率为0.8，对数字“5”训练200次，权重和阈值参数初始化的范围是（0， 0.4）得出的结果，乍看之下曲线形状还行，但是损失函数最低只能降到8左右，这显然是我们所不能接收的，但是目前还没有找出原因。

在这里插入图片描述

而且上图中曲线很丝滑是因为这是我调整过的参数，当我把参数打乱时，再来看看结果。

基于之前的数据，我将学习率调整成了0.04，曲线如下图所示：

在这里插入图片描述

可以发现，损失函数的最小值不但没有变化，而且曲线也没那么好看了，这个就是学习率的影响。

权重和阈值的初始化方法：

w = np.zeros(((2,4)), dtype=float)#(()) is used to confirm line and row
gamma = np.zeros((4,1), dtype=float)
v = np.zeros((4,4), dtype=float)
theta_1 = np.zeros(((1,4)), dtype=float)
theta_2 = np.zeros(((1,4)), dtype=float)
theta_3 = random.uniform(0,start_rand_max)
m = np.ones(((1,4)), dtype=float)
n = np.ones(((1,4)), dtype=float)

input_x = np.zeros(((1, 2)), dtype=float)
y_out = float(0)

# init para
for i in range(0, 4):  # [1,4]
    gamma[i] = random.uniform(0,start_rand_max)
    theta_1[0][i] = random.uniform(0,start_rand_max)
    theta_2[0][i] = random.uniform(0,start_rand_max)
    for j in range(0, 4):
        v[i][j] = random.uniform(0,start_rand_max)
    for k in range(0, 2):
        w[k][i] = random.uniform(0, start_rand_max)