混淆矩阵、准确率、精确率、召回率、F值、ROC曲线、AUC、PR曲线-Sklearn.metrics评估方法

2019年5月18日 351次阅读来源: 小歪与大白兔

TPR FPR
- 样本中的真实正例类别总数即TP+FN
  TPR即True Positive Rate，TPR = TP/(TP+FN)。
- TPR：真实的正例0中，被预测为正例的比例
- 样本中的真实反例类别总数为FP+TN
  FPR即False Positive Rate，FPR=FP/(TN+FP)。
- FPR：真实的反例1中，被预测为正例的比例
- 理想分类器TPR=1，FPR=0
截断点thresholds
机器学习算法对test样本进行预测后，可以输出各test样本对某个类别的相似度概率。比如t1是P类别的概率为0.3，一般我们认为概率低于0.5，t1就属于类别N。这里的0.5，就是”截断点”。

总结一下，对于计算ROC，最重要的三个概念就是TPR, FPR, 截断点。

ROC曲线
ROC曲线越接近左上角，代表模型越好，即ACU接近1

from sklearn.metrics import roc_auc_score, auc
import matplotlib.pyplot as plt
y_predict = model.predict(x_test)
y_probs = model.predict_proba(x_test) #模型的预测得分
fpr, tpr, thresholds = metrics.roc_curve(y_test,y_probs)
roc_auc = auc(fpr, tpr)  #auc为Roc曲线下的面积
#开始画ROC曲线
plt.plot(fpr, tpr, 'b',label='AUC = %0.2f'% roc_auc)
plt.legend(loc='lower right')
plt.plot([0,1],[0,1],'r--')
plt.xlim([-0.1,1.1])
plt.ylim([-0.1,1.1])
plt.xlabel('False Positive Rate') #横坐标是fpr
plt.ylabel('True Positive Rate')  #纵坐标是tpr
plt.title('Receiver operating characteristic example')
plt.show()

运行结果如下图所示：

《混淆矩阵、准确率、精确率、召回率、F值、ROC曲线、AUC、PR曲线-Sklearn.metrics评估方法》

参考资料：
1.混淆矩阵(Confusion Matrix)
https://www.jianshu.com/p/0fc8a0b784f1
2.ROC与AUC的定义与使用详解
https://blog.csdn.net/shenxiaoming77/article/details/72627882

    原文作者：小歪与大白兔
    原文地址: https://www.jianshu.com/p/5df19746daf9
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。

算法网

混淆矩阵、准确率、精确率、召回率、F值、ROC曲线、AUC、PR曲线-Sklearn.metrics评估方法

目录

混淆矩阵 confusion-matrix

分类准确率 accuracy

精确率Precision

召回率 recall

F1值

Roc曲线、AUC

TPR FPR

截断点thresholds

ROC曲线