为什么精度和AUC值如此不同?

Dhiii12Dhiii12 成员职位:8学我
在帮助
请帮帮我，

为什么65%精度值的AUC值为0.727，而73.54%精度的AUC值为0.711 ?什么影响两者，为什么更高的精度有更低的AUC?





我提前感谢你的帮助!

最好的问候,

Dhiii
标记:

答案

  • BalazsBaranyBalazsBarany 管理员，版主，员工，RapidMiner认证分析师，RapidMiner认证专家职位:913独角兽
    嗨！

    这种情况经常发生在不平衡的标签分布中，例如，如果标签的一个值是数据的80%，而另一个值是数据的20%。但也可能有其他原因。

    AUC和精度测量的是不同的东西。

    准确度就是正确预测的百分比。在极端情况下，当最简单的模型只预测多数类时，它可能是正确的，因为大多数类存在于数据中。但这不是一个好的模型(您想要使用的模型)。

    AUC测量每个置信水平上的真阳性率和假阳性率。你在图表中看到的红线向上表示正确的预测，向右表示错误的预测。这条线描述了一条“曲线”，AUC是曲线下的面积。因此，最佳AUC(1.0)是通过以最高的置信度做出正确的预测来实现的。

    因此，AUC还测量置信水平，而不仅仅是Apply Model应用的(或多或少是任意的)决策边界。它是一种更复杂但更可靠的度量，并且不受不平衡标签分布的影响。

    检查混淆矩阵。你是否遇到过一个班级被高估(有很多误报)的情况?在这种情况下，AUC是比准确率更好的模型性能指标。

    问候,
    Balazs

登录或注册置评。