生活的常态就是摸鱼
机器学习性能度量
分类度量（续）
3. ROC与AUC
分类过程中，学习器为测试样本生产一个实值或概率预测，然后将预测值与分类阈值（threshold）作比较，大于阈值为正类，反之为反类。这个实值或概率预测结果的好坏，直接决定了学习器的泛化能力。
泛化能力（generalization ability）是指机器学习算法对新鲜样本的适应能力。
根据概率预测结果，我们可以对测试样本进行正排序，这样分类过程就相当于在排序中以某个“截断点”（cut point）将样本分为两部分。在不同的应用中可根据需求采用不同的截断点，例如重视“查准率”可以选择排序靠前的位置来截断，而重视“查全率”则选靠后的位置来截断。
ROC(Receiver Operating Characteristic，即受试者工作特征)曲线 同P-R曲线类似，根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，最终得出两个值，以“真正例率”（True Positive Rate，简称TPR，
T
P
R
=
T
P
T
P
+
F
N
TPR=\frac{TP} {TP+FN}
TPR=TP+FNTP?）为纵轴，以“假正例率”（False Positive Rate，简称FPR，
F
P
R
=
F
P
T
N
+
F
P
FPR=\frac{FP} {TN+FP}
FPR=TN+FPFP?）为横轴。
在实际情况下通常采用有限样本来绘制ROC图，得到的是散点图，过程为：给定
m
+
m^{+}
m+个正例和
m
?
m^{-}
m?个反例，即
m
+
=
T
P
+
F
N
,
m
?
=
T
N
+
F
P
m^{+}=TP+FN,m^{-}=TN+FP
m+=TP+FN,m?=TN+FP，根据学习器预测结果对样例排序，然后把阈值设为最大，即把所有样例均预测为反例，此时TPR和FPR都为0，在(0,0)标记一个点，然后将分类阈值依次设为每个样例的预测值，即依次将每个样例划分为正例，设前一个标记点坐标为
(
x
,
y
)
(x,y)
(x,y)，当前若为真正例，则对应标记点为
(
x
,
y
+
1
m
+
)
(x,y+\frac{1}{m^{+}})
(x,y+m+1?)，若为假正例，则对应标记点为
(
x
+
1
m
?
,
y
)
(x+\frac{1}{m^{-}},y)
(x+m?1?,y)，之后再连接两点即可。
通常通过 AUC(Area Under ROC Curve) 来比较学习器的优劣。
|