指标选错,模型会朝着错误方向努力:在不平衡数据上盯着准确率,在关心漏检的业务里优化精确率,在偶尔出现大误差的场景里只看 MAE。这篇文章从混淆矩阵出发,把分类与回归常用指标的含义、适用条件和坑一次讲清,最后给一张选型表。
一、先问一句:错一次的代价是什么
指标不是数学问题,是业务问题。同样是二分类,漏掉一个 Fraud 和误拦一个正常用户,代价可能差几十倍。先把两类错误的成本写下来,再去挑指标,顺序不能反。
- 漏检代价高(疾病筛查、风控):优先看召回,允许一定误报。
- 误报代价高(自动封号、垃圾邮件拦截):优先看精确率。
- 只关心排序(推荐、搜索):看 AUC、MAP、nDCG 这类与阈值无关的指标。
- 关心数值误差(销量预测):看 MAE 或 RMSE,并明确大误差是否致命。
另外,任何指标都要有基线(多数类、均值、现有规则),否则「0.87」这个数字没有意义。
先定错一次的代价,再选指标。顺序反过来,你会把模型优化成一个和业务无关的数字。
二、混淆矩阵:所有分类指标的源头
二分类把预测和真实交叉,得到四个格子:真正例 TP、假正例 FP、假负例 FN、真负例 TN。四位主角都由它们拼出来:
- 准确率 = (TP + TN) / 总数:整体答对的比例。
- 精确率 P = TP / (TP + FP):判为正的样本里,真正为正的比例,回答「抓得准不准」。
- 召回率 R = TP / (TP + FN):真正为正的样本里,被抓住的比例,回答「抓得全不全」。
- F1 = 2PR / (P + R):精确率和召回率的调和平均,两者都低时 F1 会被明显拉低。
F1 默认认为精确率和召回率同样重要。如果更在意召回,用 F2(召回权重更高);更在意精确率,用 F0.5。公式不用背,记住「Fβ 的 β 越大越偏向召回」即可。
| 指标 | 回答的问题 | 什么时候会骗你 |
|---|---|---|
| 准确率 | 整体答对多少 | 类别极不平衡时,全猜多数类也很高 |
| 精确率 | 判为正的有多准 | 只挑最有把握的少数样本时虚高 |
| 召回率 | 正类抓回多少 | 大量误报时仍然很好看 |
| F1 | 精确与召回的平衡 | 业务对两类错误成本不同时不合适 |
三、阈值与曲线:ROC/AUC 与 PR 曲线
分类模型通常输出概率,阈值决定把多少样本判为正。阈值不是模型的一部分,而是业务决策:调低阈值提高召回,同时牺牲精确率。
ROC 曲线横轴是假正率 FPR = FP / (FP + TN),纵轴是真正率 TPR,也就是召回率。曲线越靠左上越好。AUC 是 ROC 曲线下的面积,它有一个很实用的解释:随机抽一个正样本和一个负样本,模型给正样本的分数更高的概率。0.5 相当于随机猜,1.0 是完美排序。
PR 曲线横轴是召回率,纵轴是精确率。正类非常稀少时,PR 曲线比 ROC 更能反映实际困难:负类极多时,FPR 的分母很大,即使误报数量不少,ROC 看起来仍然体面。
两个常见误解:
- AUC 高不等于概率校准好。AUC 只看排序,模型可以说「A 比 B 更可能」却把概率估得离谱。需要可信概率时看对数损失或 Brier 分数。
- AUC 高不等于业务指标好。业务往往工作在某个阈值上,应该同时报告该阈值下的精确率、召回率和混淆矩阵。
四、多分类与其他场景
多分类要把「每个类别的精确率、召回率、F1」汇总成一个数,三种平均方式别混用:
- macro:每个类别单独算再平均,小类别和大多类别权重一样,适合关心每个类。
- micro:把所有类别的 TP、FP、FN 加总后统一计算;单标签多分类下 micro-F1 等于准确率。
- weighted:按每个类别的样本数加权,接近整体表现,但会掩盖小类别的问题。
序列标注(如命名实体识别)要按实体算,而不是按 token 算:一个实体的边界错一个 token,整个实体就算错。检测任务常用 IoU 阈值下的 mAP,但不同数据集对 IoU 和匹配规则的定义不同,跨论文比较前先看评测脚本。检索与推荐则用 recall@k、MRR、nDCG 这类带位置权重的指标。
五、回归指标:MAE、RMSE、MAPE、R²
- MAE = 绝对误差的平均值,单位与目标相同,直观、对异常值相对不敏感,对应的是「预测中位数」的倾向。
- RMSE = 均方误差开根号,单位也与目标相同,但会放大大的误差,适合「大错特别贵」的场景。同一份数据上 RMSE 不会小于 MAE。
- MAPE = 绝对百分比误差的平均值,可跨量级比较,但真实值接近 0 时会爆掉,而且对高估和低估的惩罚不对称。
- R² = 1 − 残差平方和 / 总平方和,表示比「全预测均值」好多少。它可以为负,说明模型还不如均值基线。
| 指标 | 单位 | 大误差敏感 | 主要坑 |
|---|---|---|---|
| MAE | 与原值相同 | 不敏感 | 掩盖严重的大偏差 |
| RMSE | 与原值相同 | 敏感 | 被少数异常值主导 |
| MAPE | 百分比 | 较敏感 | 真实值接近 0 时不可用 |
| R² | 无量纲 | 敏感 | 不同数据集之间不可比 |
六、怎么选:一张决策表
| 场景 | 首选主指标 | 建议同时报告 |
|---|---|---|
| 正类稀少、怕漏检 | 召回率、F2 | PR 曲线、该阈值下的精确率 |
| 怕误报 | 精确率、F0.5 | 混淆矩阵、召回率下限 |
| 只关心排序质量 | AUC | PR-AUC、Top-k 命中率 |
| 多分类、类别均衡 | macro-F1 | 每个类别的混淆矩阵 |
| 多分类、类别不平衡 | macro-F1 或 weighted-F1 | 小类别的召回率 |
| 回归、大误差很贵 | RMSE | MAE、最大误差、分位数误差 |
| 回归、要平均误差 | MAE | RMSE、R² |
| 需要可信概率 | 对数损失、Brier 分数 | 校准曲线 |
落地时按五步走:明确两类错误的成本;算基线;选一个主指标加一两个护栏指标;把阈值策略写进文档;每次实验记录同一套指标。只报一个数字的评估,基本无法支撑决策。
护栏指标的意思是:追主指标时不能突破的底线。例如追求召回时规定精确率不得低于某条线,否则模型可能用大量误报换取召回,上线后同样不可接受。
七、常见坑与练习清单
- 在 1% 正类的数据上报 99% 准确率,实际什么都没学到。
- 用测试集反复调阈值,报出的指标带有选择偏差。
- 跨数据集比较 R² 或 mAP,却忽略评测口径不同。
- 只报单次划分的指标,不给置信区间或多次实验的波动范围。
- 默认使用 0.5 阈值,从没检查过业务最优点在哪里。
练习清单:
- 手算一个 2×2 混淆矩阵的准确率、精确率、召回率和 F1,并解释哪个指标最容易被误导。
- 在同一模型上画 ROC 和 PR 曲线,把正类比例从 50% 降到 2%,观察两条曲线哪个变化更大。
- 用三种平均方式计算同一个多分类模型,写出各自的差异。
- 构造一组含极端异常值的回归数据,对比 MAE 和 RMSE 的排序是否一致。
- 为你的业务写一份指标卡:主指标、护栏指标、阈值、基线、验收标准。
指标是用来对齐决策的,不是用来好看。先想清楚错一次要付多少钱,再决定看哪个数。
参考与延伸阅读
- Metrics and scoring: quantifying the quality of predictions(scikit-learn)
- Precision-Recall(scikit-learn 示例)
- An introduction to ROC analysis(Fawcett, Pattern Recognition Letters)
- The relationship between Precision-Recall and ROC curves(Davis & Goadrich, ICML 2006)
- Classification: ROC and AUC(Google Machine Learning Crash Course)
- sklearn.metrics.f1_score(scikit-learn API)
外链内容由对应网站负责,访问以实际可用性为准。