[人工智能]人工智能分类算法评价标准

基础概念

• 真正例TP(true positive)
• 假正例FP(false positive)
• 真反例TN(true negative)
• 假反例FN(false negative)

二分类

混淆矩阵：

• 根据上表显然有$$TP+FP+TN+FN=样例总数$$

准确率(Accuracy)
$$A=\frac{TP+TN}{TP+FN+FP+TN}$$

• 所有预测正确的样例在所有样例中占的比例

查准率/精度(Precision)
$$P=\frac{TP}{TP+FP}$$

• 在所有预测为正例的样例中，真正的正例占的比例

查全率/检出率(Recall)
$$R=\frac{TP}{TP+FN}$$

• 在所有原本就是正例的样本中，预测出也为正例的样本所占的比例

F1-score
$$F1=\frac{2?P?R}{P+R}=\frac{2?TP}{样例总数+TP?TN}$$

• F1是基于查准率和查全率的调和平均，定义为：$\frac{1}{F1}=\frac{1}{2}?(\frac{1}{P}+\frac{1}{R})$

真正例率(True Positive Rate)
$$TPR=\frac{TP}{TP+FN}$$

• 在所有原本为正例的样本中，检测出来的正例所占的比例

假正例率(False Positive Rate)
$$FPR=\frac{FP}{TN+FP}$$

• 在所有原来为反例的样本中，被检测出来的为正例所占的比例

ROC曲线
真正例率为纵轴，假正例率为横轴

多分类

多分类的混淆矩阵：

其中i和j的最大值相同为k

准确率(Accuracy)
$$A=\frac{{\sum }_{i=1}^k{n}_{ii}}{{\sum }_{i=1}^k{\sum }_{j=1}^k{n}_{ij}}$$

• 所有预测正确的样例在所有样例中占的比例

查准率/精度(Precision)
$$P=\frac{n_{jj}}{{\sum }_{i=1}^n{n}_{ij}}$$

• 对角线上某一个样例的数，在这一列所占的比例

查全率/检出率(Recall)
$$R=\frac{n_{ii}}{{\sum }_{j=1}^n{n}_{ij}}$$

• 对角线上某一个样例的数，在这一行所占的比例

真正例率(True Positive Rate)
$$TPR=\frac{n_{jj}}{{\sum }_{i=1}^n{n}_{ij}}$$

• 计算方式同查准率，在所有原本为该例的样本中，检测出来为该例的所占的比例

假正例率(False Positive Rate)
$$FPR=\frac{第i列的和?n_{ii}}{所有样例数?该例数}$$

• 在所有原来为非该例的样本中，被检测出来的为该例所占的比例