1. 神经网络发展史

反向传播

深度学习发展的原因：算法、数据、显卡

2.线性模型

问题假设：

?测试集测试其泛化能力（对于为训练的特征也能很好的识别）。

数据集（训练集、测试集）---->问题：只有训练集，测试之前想知道训练结果如何，无法知道真实的分布。

训练集（训练集、开发集）

?简化模型：

权重取多少才能取到上述的图形：

首先随机猜测，随机取Y值，和真实值之间比较误差?，找评估模型（损失函数），

?以上是针对一个样本，三个样本就是取其平均值。（如何让平均损失降到最低）

?穷举法：经过测试，权重在0-4之间可能存在一个损失最小的权重，计算所有的损失。最小的为最优。

import numpy as np
import matplotlib.pyplot as plt
x_data =[1.0,2.0,3.0] #输入样本
y_data =[2.0,4.0,6.0] #输出样本
def forward(x):    #定义模型
    return x * w
def loss(x,y):     #损失函数
    y_pred=forward(x)
    return (y_pred-y) * (y_pred -y)
#权重损失值
w_list=[]
mse_list=[]
#采样间隔，生成序列
for w in np.arange(0.0,4.1,0.1):
    print('w-',w)
    l_sum=0

    for x_val,y_val in zip(x_data,y_data):
        y_pred_val=forward(x_val)
        loss_val=loss(x_val,y_val)
        l_sum+=loss_val
        print('\t',x_val,y_val,y_pred_val,loss_val)
    print('MSE=',l_sum/3)
    w_list.append(w)
    mse_list.append(l_sum/3)

plt.plot(w_list,mse_list)
plt.ylabel('Loss')
plt.xlabel('w')
plt.show()

?3.梯度下降算法

x_data =[1.0,2.0,3.0] #输入样本
y_data =[2.0,4.0,6.0] #输出样本
#设定初始权重猜测
w=1.0
def forward(x):
    return x*w
#对损失值求和
def cost(xs,ys):
    cost=0
    for x,y in zip(xs,ys):
        y_pred=forward(x)
        cost+=(y_pred-y)**2
    return cost/len(xs)
#计算梯度 累加求和
def gradient(xs,ys):
    grad=0
    for x,y in zip(xs,ys):
        grad+=2*x*(x*w-y)
    return grad/len(xs)
print('Predict (before training)',4,forward(4))
# 训练过程 100次训练
for epoch in range(100):
    cost_val=cost(x_data,y_data)
    grad_val=gradient(x_data,y_data)
    w-=0.01 * grad_val
    print('Epoch：',epoch,'w=',w,'loss=',cost_val)
print('Predict (after training)' ,4,forward(4))