前言
这是我在Datawhale组队学习李宏毅机器学习的记录,既作为我学习过程中的一些记录,也供同好们一起交流研究,之后还会继续更新相关内容的博客。
分类是怎么做的
将分类转化为回归
回归就是输入一组数据,输出一个数。 分类的话就是输入一组数据,输出一个类别。 而将回归转化成分类的话是通过输出的数字来判别类别。 通过回归来分类,这要求神经网络输出是一个向量。这个向量中的每一个元素代表着对应类别的可能性。
Softmax登场
R
e
g
r
e
s
s
i
o
n
与
C
l
a
s
s
i
f
i
c
a
t
i
o
n
Regression与Classification
Regression与Classification在前半部分都是相同的,都是输入乘上权重加上偏移,再激活一下,然后连接起来,得到其中有各种值的向量
y
y
y。
但
R
e
g
r
e
s
s
i
o
n
Regression
Regression在最后有个
S
o
f
t
m
a
x
Softmax
Softmax函数,将之前输出的向量
y
y
y转换成一个元素值只有0或1的向量
y
′
y'
y′这样就可以转换成类别。
那
S
o
f
t
m
a
x
Softmax
Softmax函数又是怎么样的呢? 首先,
s
o
f
t
m
a
x
softmax
softmax的输入不再叫
i
n
p
u
t
input
input,而是
l
o
g
i
t
logit
logit,然后经过上图的计算,转化成
y
i
′
y'_i
yi′?。
这里的都是多分类问题,而二分类问题怎么样呢?二分类问题我们一般不用
S
o
f
t
m
a
x
Softmax
Softmax函数,而一般用
s
i
g
m
o
i
d
sigmoid
sigmoid函数。不过用
S
o
f
t
m
a
x
Softmax
Softmax函数和
S
i
g
m
o
i
d
Sigmoid
Sigmoid函数都一样,没什么区别。
分类问题的Loss
计算Loss第一种的方法就是之前提到的MSE,求均方差。 第二种方法就是求交叉熵。计算式在上图右下角,交叉熵在分类问题中被广泛应用,甚至在pytorch中Cross-entropy是和softmax绑定的,在前者函数中内建了softmax函数,在使用Gross-entropy时,softmax会被加到神经网络的最后一层。 注意:最小化交叉熵与极大似然式等价的。
使用Cross-entropy的优点
上图是将
y
i
y_i
yi?赋予不同的取值区间,经过softmax后分别使用MSE和Cross-entropy形成的Error Surface。左上角的红色区域表示Large Loss,右下角的蓝色区域表示Small Loss。
我们可以看到MSE形成的Surface,先是在起点处就是一大片几乎平坦的Large Loss,这会直接导致stuck,相较之下,Cross-entropy的起点处是梯度比较大的,更方便训练。
而且这也表明Loss Function的不同也会影响最优化的难度和最终训练的效果。
总结
本节主要讲授了分类问题是怎么去做,怎么去优化的,出现了Softmax和Cross-entropy,解释了使用的原因和优点。
|