神经网络

?神经网络：大量（结构简单的、功能接近的）神经元节点按一定体系架构连接成的网状结构——就是大脑的结构。
?神经网络的作用：分类、模式识别、连续值预测
?建立输入与输出的映射关系

?生物神经元

?生物神经元的结构大致描述如下图所示。
?生物神经元之间的相互连接，从而让信息传递。

??人工神经元

?激活函数

?人工神经网络

?基础神经网络
?????????神经元
????????????????? ? 输入向量x? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
????????????????? ? 权重向量w
????????????????? ? 偏置标量b
????????????????? ? 激活函数sigmoid
?????????浅网络
????????????????? ? 3~5层
????????????????? ? 优化
????????????????? 梯度下降
????????????????? BP后向传播（链式规则）

?“层”的通俗理解

?“层”实现了输入空间到输出空间的线性或非线性变换。
?假设输入是碳原子和氧原子[C；O]，输出三个变量。
?通过改变权重的值，可以获得若干个不同物质? ??——提取不同的特征。
?右侧的节点数决定了想要获得多少种不同的新物质? ? ?——提取特征的个数。

? ? ? ? ?

前馈神经网络

?前馈神经网络，是人工神经网络的一种，各神经元从输入层开始，接收前一级输入，并输出到下一级，直至输出层。整个网络中无反馈，可用一个有向无环图表示。
?前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元，同一层的神经元之间没有互相连接，层间信息的传送只沿一个方向进行。
?其中第一层称为输入层。最后一层为输出层．中间为隐含层。隐含层可以是一层，也可以是多层。

目标函数

?梯度下降

这是一个表示参数w与目标函数J(w)的关系图，红色的部分是表示J(w)有着比较高的取值，需要能够让J(w)的值尽量的低。也就是深蓝色的部分。w1，w2表示w向量的两个维度。
?先确定一个初始点，将 w按照梯度下降的方向进行调整，就会使得J(w)往更低的方向进行变化，如图所示，算法的结束将是在w下降到无法继续下降为止。