神经网络解决问题时，一般分为两个阶段：
1. 模型训练阶段。模型训练会基于训练集获取最佳的权重和偏置，这也是模型构建、学习的过程。
2. 预测阶段。预测就是根据学习到的最优参数，对测试集或新数据集上的数据进行回归预测或分类，这是模型的使用过程。
本文主要重点在模型的学习过程，也就是最优参数的确定的过程。
人工指定参数 && 特征选择 && 自动提取有效信息
在处理手写数字识别的问题中，我们可以采用多种处理方式：
1. 人工指定参数。类似于感知机设计与门、与非门、或门，需要我们根据经验和理论推导尝试、验证参数，才能很好的构造出模型，并且，对复杂的场景，人工确定参数的确效率很低。
2. 特征选择。由人指定核心的特征，使用SIFT、SURF、HOG等算法，提取图像中的有效信息，基于SVN，KNN等算法进行数字识别，这是机器学习的路子。
3. 自动提取有效信息。基于神经网络的学习，可以直接把图像作为输入，无需我们人工指定有效信息，有效特征是什么，让模型自己从数据中学习。
由此看来，神经网络的学习，就是一种从输入数据中自动提取有效信息，构造出最佳参数模型的过程。
训练数据、测试数据
什么是训练数据？什么是测试数据？
训练数据是神经网络在学习过程中使用的数据，这些数据用于最优参数的确定，达到学习的目的。
测试数据是在模型构建好以后，用于验证模型性能好坏的数据。
为什么要划分训练数据和测试数据？
训练和测试是神经网络解决问题的两个阶段，我们不能在训练数据上构建模型的同时，再同样在训练数据上验证我们模型的好坏，这是容易导致过拟合的。
什么是过拟合？
过拟合就是模型在训练集上效果显著，在测试集上效果很差的现象。
代价函数（损失函数）
代价函数是用于在神经网络模型构建的过程中，去判断当前的参数是否更加接近最优，或者偏离了最优的一种衡量工具。常用的损失函数有：均方误差、交叉熵误差。
均方误差
?均方误差的公式如上，它的计算就是，对预测值和真实值直接的差的平方求和再乘以1/2.均方误差越小，参数越接近最优值。
例如在手写数字识别中，输出是10个值：
>>> y = [0.1, 0.05, 0.6, 0.0, 0.05, 0.1, 0.0, 0.1, 0.0, 0.0]
>>> t = [0, 0, 1, 0, 0, 0, 0, 0, 0, 0]那么代价的计算为：
?代码实现更加简单：
def mean_squared_error(y, t):
return 0.5 * np.sum((y-t)**2)这里采用的是预测值与真实值差的平方，为何要进行平方计算呢？直接作差不行吗？
使用平方可以解决正负误差抵消的问题。
[0.5, 0, 0.5]
[1, 0, 0]
如果直接使用差计算，(0.5-1) + (0-0) + (0.5 - 0) = 0， 实际上第一个和第三个值误差很大，这里却把误差给抵消了。而求平方却没有这个问题。
交叉熵误差
交叉熵误差也常用于计算损失函数，
?取的是真实值与预测值的对数乘积求和的相反数，误差越小，参数越精准。
以手写数字识别为例：
>>> y = [0.1, 0.05, 0.6, 0.0, 0.05, 0.1, 0.0, 0.1, 0.0, 0.0]
>>> t = [0, 0, 1, 0, 0, 0, 0, 0, 0, 0]其代价计算为：
?我们发现，只有标签为1的一项起到作用。
代码实现：
def cross_entropy_error(y, t):
delta = 1e-7
return -np.sum(t * np.log(y + delta))为了避免溢出，这里在计算对数值时，加上了一个很小的数。
mini-batch
在实际的训练过程中，我们需要计算训练样本的整体的误差，而不仅仅是单个样本的误差，以交叉熵误差函数为例，实际的误差计算应该是：
?无非是对每个样本的误差求和，再求平均值。
但是如果训练集很大，对每个样本进行训练会很繁琐，一般会抽取一部分数据进行学习和验证计算：
1. 加载数据
import sys, os
sys.path.append(os.pardir)
import numpy as np
from dataset.mnist import load_mnist
(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, one_hot_label=True)
print(x_train.shape) # (60000, 784)
print(t_train.shape) # (60000, 10)我们发现训练数据有60000条
2. 抽取训练数据
# 训练集的大小
train_size = x_train.shape[0]
# mini-batch大小
batch_size = 10
# 产生随机的索引
batch_mask = np.random.choice(train_size, batch_size)
# mini-batch的训练数据
x_batch = x_train[batch_mask]
# mini-batch的标签
t_batch = t_train[batch_mask]对于上面的交叉熵的计算实现，仅仅针对单个样本的损失进行计算，下面改造一下，可以适用于多个样本：
def cross_entropy_error(y, t):
# 如果是单个样本
if y.ndim == 1:
t = t.reshape(1, t.size)
y = y.reshape(1, y.size)
# 获取样本数量
batch_size = y.shape[0]
# 计算批量的交叉熵误差
return -np.sum(t * np.log(y + 1e-7)) / batch_size