python-2.7 – 如何在python scikit-learn中优化精确回忆曲线而不是AUC-ROC曲线？

2023年11月18日 213次阅读

我正在问我之前的帖子 –
Good ROC curve but poor precision-recall curve中建议的后续问题.我只使用Python scikit-learn的默认设置.似乎优化是在AUC-ROC上,但我更感兴趣的是优化精确回忆.以下是我的代码.

# Get ROC 
y_score = classifierUsed2.decision_function(X_test)
false_positive_rate, true_positive_rate, thresholds = roc_curve(y_test, y_score)
roc_auc = auc(false_positive_rate, true_positive_rate)
print 'AUC-'+ethnicity_tar+'=',roc_auc
# Plotting
ax1.plot(false_positive_rate, true_positive_rate, c=color, label=('AUC-'+ethnicity_tar+'= %0.2f'%roc_auc))
ax1.plot([0,1],[0,1], color='lightgrey', linestyle='--')
ax1.legend(loc='lower right', prop={'size':8})

# Get P-R pairs
precision, recall, prThreshold = precision_recall_curve(y_test, y_score)
# Plotting
ax2.plot(recall, precision, c=color, label=ethnicity_tar)
ax2.legend(loc='upper right', prop={'size':8})

在哪里以及如何插入python代码来更改设置以便我可以优化精确调用？

最佳答案 实际上你的问题中有两个问题：

>如何评估单个数字中精确回忆曲线的好坏程度？
>如何构建模型以最大化此数量？

我将依次回答他们：

1.精确回忆曲线的质量测量值为average precision.该平均精度等于非内插(即分段常数)精确回忆曲线下的精确面积.

2.要最大化平均精度,您只能调整算法的超参数.如果设置scoring =’average_precision’,则可以使用GridSearchCV执行此操作.或者您可以手动或使用其他一些调整技术找到最佳超参数.

这通常不可能直接优化平均精度(在模型拟合期间),但也有一些例外.例如. this article描述了一种最大化平均精度的SVM.

点赞