一、前馈神经网络简介
? ? ? ? 将多个Logistic Regression以不同的结构前后连接起来，叫做Neural Network，其中每一个Logistic Regression是一个neuron。
1.1 fully connected feedforward network前馈神经网络
?
- ?input layer，输入层
- ?output layer，输出层
- ?hidden layer，隐藏层
? ? ? ?
? ? ? ? output layer只是对hidden layers的输出利用softmax函数作归一化处理，突出极大值。hidden layers部分，可以看做feature extractor(特征提取器)，代替了我们之前手动做feature engineering，feature transformation，经过这个feature extractor得到的、
、...、
??就可以被当作一组新的feature vector，经过feature extractor转换后会得出比较好的feature，这个feature可以更容易将数据区分开。
? ? ? ? output layer部分，它是一个softmax层，可以看做Multi-class classifier(多分类器)，它是拿经过feature extractor转换后的feature进行分类的。
? ? ? ? 对于分类个体，其输入的feature vector的维数确定，input layer的维数与其相同，而output layer的维数则与类别数量相同，但hidden layer的结构未知，而设计这个network structure是最为关键的部分。
? ? ? ? deep就是有多个隐藏层
1.2神经网络中的矩阵计算
? ? ? ? 不同的可构成一组不同的函数集（function set)? ? ? ??
?1.3 损失——交叉熵
1.4优化
