💡一句話定義
🎮互動:門檻與模型能力
拖「模型能力」看兩座分佈山峰分多開(越開越好分);拖「判斷門檻」移動虛線看 TPR/FPR 怎麼此消彼長。右圖是掃過所有門檻連成的 ROC 曲線,紅點是目前門檻的位置。
拖動滑桿,觀察模型能力與判斷標準如何影響結果!
1. 真實分佈狀況
2. ROC 曲線
🎯TPR 與 FPR 是什麼?
所有「真正的壞人」裡,被抓對的比率。越高=漏抓越少。
所有「真正的好人」裡,被誤抓的比率。越低越好。
門檻放寬 → 抓得多,TPR 升但 FPR 也升;門檻收緊 → 少誤抓,FPR 降但 TPR 也降。ROC 曲線就是把「各種門檻下的 (FPR, TPR)」全部連起來。
🧠AUC 到底在量什麼?
⚠️AUC 的陷阱:ROC-AUC vs PR-AUC
| 面向 | ROC-AUC | PR-AUC(Precision-Recall) |
|---|---|---|
| 畫什麼 | TPR 對 FPR | Precision 對 Recall |
| 不平衡時 | 可能過度樂觀(FPR 被大量負樣本稀釋) | 更敏感、更能反映真實表現 |
| 適合 | 正負大致平衡、同時在意兩類 | 正類稀少(詐欺、疾病)、主要在意抓好正類 |
✅自我檢測
Q1. ROC 曲線是什麼?
Q2. AUC 代表什麼?
Q3. AUC 的最大優點?
Q4. ROC-AUC 和 PR-AUC 怎麼選?
🎯重點整理
- ROC:掃過所有門檻的 TPR 對 FPR 曲線。
- AUC:曲線下面積,0.5 亂猜、1 完美。
- 意義:排序能力=正樣本被排前面的機率。
- 優點:不受單一門檻影響、好比較模型。
- 陷阱:極不平衡時改看 PR-AUC。