分类准确性不足：你可以使用的更多性能指标

当您构建分类问题的模型时，您几乎总是希望查看该模型的准确性，即所有预测中的正确预测数量。

这就是分类准确率。

在之前的帖子中，我们研究了如何使用交叉验证和多次交叉验证来评估模型的健壮性，以预测未见过的数据，在此过程中我们使用了分类准确率和平均分类准确率。

一旦您有了一个您认为能够进行稳健预测的模型，您就需要决定它是否是足够好的模型来解决您的问题。分类准确率本身通常不足以做出此决定。

分类准确率
摄影：Nina Matthews Photography，部分权利保留

在本帖中，我们将探讨您可以在二元分类问题中用于评估模型的精确率和召回率性能指标。

乳腺癌复发

乳腺癌数据集是一个标准的机器学习数据集。它包含9个属性，描述了286名患有乳腺癌并康复的女性，以及乳腺癌在5年内是否复发。

这是一个二元分类问题。在这286名女性中，201名未发生乳腺癌复发，其余85名发生了复发。

我认为对于这个问题，假阴性（False Negatives）可能比假阳性（False Positives）更糟糕。你同意吗？更详细的筛查可以清除假阳性，但假阴性却被送回家，得不到后续评估。

分类准确率

分类准确率是我们起点。它是正确预测次数除以总预测次数，再乘以100得到百分比。

全部未复发

一个只预测未发生乳腺癌复发的模型，准确率将是(201/286)*100或70.28%。我们称之为“全部未复发”模型。这是一个高准确率，但却是一个糟糕的模型。如果它单独用于决策支持来告知医生（不可能，但请配合），它会错误地认为85名女性的乳腺癌不会复发（假阴性很高），并将她们送回家。

全部复发

一个只预测乳腺癌复发的模型，准确率将是(85/286)*100或29.72%。我们称之为“全部复发”模型。这个模型准确率很差，并且会错误地认为201名女性患有乳腺癌复发，但实际上没有（假阳性很高），并将她们送回家。

CART

CART 或 分类与回归树（Classification And Regression Trees）是一种强大而简单的决策树算法。在此问题上，CART 可以达到69.23%的准确率。这低于我们的“全部未复发”模型，但这个模型更有价值吗？

我们可以看到，仅凭分类准确率不足以选择该问题模型。

混淆矩阵

呈现分类器预测结果的清晰、无歧义的方法是使用混淆矩阵（confusion matrix）（也称为列联表（contingency table））。

对于二元分类问题，该表有2行2列。顶部是观测到的类别标签，侧面是预测的类别标签。每个单元格包含分类器在该单元格中进行的预测数量。

真值表混淆矩阵

在这种情况下，一个完美的分类器将正确预测201个未复发和85个复发，这将被输入到左上角的未复发/未复发（真阴性）和右下角的复发/复发（真阳性）单元格中。

错误预测会清楚地分为另外两个单元格。假阴性是分类器标记为未复发的复发。我们没有这样的病例。假阳性是分类器标记为复发的未复发。

这是一个有用的表格，它展示了数据中的类别分布以及分类器的预测类别分布，并对错误类型进行了细分。

全部未复发混淆矩阵

混淆矩阵突出了大量（85个）假阴性。

全部未复发混淆矩阵

全部复发混淆矩阵

混淆矩阵突出了大量（201个）假阳性。

全部复发混淆矩阵

CART 混淆矩阵

这看起来是一个更有价值的分类器，因为它正确预测了10个复发事件和188个未复发事件。该模型还显示适量的假阴性（75个）和假阳性（13个）。

CART 混淆矩阵

准确率悖论

正如我们在这个例子中看到的，准确率可能会产生误导。有时选择一个准确率较低但对问题具有更高预测能力的模型是可取的。

例如，在类别不平衡较大的问题中，模型可以预测所有预测的大多数类别值，并获得很高的分类准确率，但问题是这个模型在问题领域中没有用。正如我们在乳腺癌示例中所看到的。

这就是所谓的准确率悖论（Accuracy Paradox）。对于此类问题，需要额外的度量来评估分类器。

精确率

精确率（Precision）是真阳性数量除以（真阳性数量和假阳性数量）的总和。换句话说，它是正预测数量除以预测为正类的总数量。它也称为阳性预测值（Positive Predictive Value, PPV）。

精确率可以被认为是衡量分类器精确度的一个指标。低精确率也可能表示存在大量的假阳性。

• “全部未复发”模型的精确率为 0/(0+0) 或 NaN，即 0。
• “全部复发”模型的精确率为 85/(85+201) 或 0.30。
• CART 模型的精确率为 10/(10+13) 或 0.43。

精确率表明 CART 是一个更好的模型，并且“全部复发”模型比“全部未复发”模型更有用，尽管它的准确率较低。“全部复发”模型和 CART 模型之间的精确率差异可以用“全部复发”模型预测的大量假阳性来解释。

回顾

召回率（Recall）是真阳性数量除以（真阳性数量和假阴性数量）的总和。换句话说，它是正预测数量除以测试数据中正类值的总数量。它也称为敏感性（Sensitivity）或真阳性率（True Positive Rate）。

召回率可以被认为是衡量分类器完整性的一种方法。低召回率表明存在许多假阴性。

• “全部未复发”模型的召回率为 0/(0+85) 或 0。
• “全部复发”模型的召回率为 85/(85+0) 或 1。
• CART 的召回率为 10/(10+75) 或 0.12。

正如你所料，“全部复发”模型具有完美的召回率，因为它为所有实例都预测了“复发”。CART 的召回率低于“全部复发”模型。这可以用 CART 模型预测的大量假阴性（75个）来解释。

F1 分数

F1 分数是 2*((精确率*召回率)/(精确率+召回率))。它也称为 F 分数或 F 度量。换句话说，F1 分数传达了精确率和召回率之间的平衡。

• “全部未复发”模型的 F1 分数为 2*((0*0)/0+0) 或 0。
• “全部复发”模型的 F1 分数为 2*((0.3*1)/0.3+1) 或 0.46。
• CART 模型的 F1 分数为 2*((0.43*0.12)/0.43+0.12) 或 0.19。

如果我们要根据精确率和召回率之间的平衡来选择模型，F1 度量表明“全部复发”模型是最好的，而 CART 模型尚未达到足够的竞争力。

总结

在本帖中，您了解了准确率悖论以及类别不平衡问题，在这些问题中，仅凭分类准确率不足以选择性能良好的模型。

通过示例，您了解了混淆矩阵作为描述未见数据集预测错误细分的有用方法。您还了解了总结模型精确度（准确性）和召回率（完整性）的度量，以及 F1 分数中对两者之间平衡的描述。