模型評估 · 分類指標

ROC 曲線與 AUC

與其糾結「該把門檻設在哪」,ROC 一次掃過所有門檻,把模型的「抓對率 vs 誤抓率」畫成一條曲線;AUC 就是這條曲線下的面積——模型整體有多會「排序」。

掃過所有門檻TPR vs FPRAUC=曲線下面積0.5 亂猜・1 完美排序能力

💡一句話定義

ROC 曲線=用不同分類閾值畫出「真陽率 TPR(=Recall)對偽陽率 FPR」的曲線,呈現模型在各種閾值下的取捨。AUC=ROC 曲線下的面積(0~1):可解讀為「隨機取一個正樣本與一個負樣本,模型把正樣本排在前面的機率」——0.5 等於亂猜、越接近 1 越好

🎮互動:門檻與模型能力

拖「模型能力」看兩座分佈山峰分多開(越開越好分);拖「判斷門檻」移動虛線看 TPR/FPR 怎麼此消彼長。右圖是掃過所有門檻連成的 ROC 曲線,紅點是目前門檻的位置。

🚀 互動體驗:ROC 與 AUC

拖動滑桿,觀察模型能力與判斷標準如何影響結果!

-
AUC (模型總分)
-
TPR (抓對壞人的比率)
-
FPR (誤抓好人的比率)
2.0
1.0

1. 真實分佈狀況

好人(負樣本)    壞人(正樣本)

2. ROC 曲線

🎯TPR 與 FPR 是什麼?

TPR 真陽率(=Recall)
所有「真正的壞人」裡,被抓對的比率。越高=漏抓越少。
⚠️FPR 偽陽率
所有「真正的好人」裡,被誤抓的比率。越低越好。

門檻放寬 → 抓得多,TPR 升但 FPR 也升;門檻收緊 → 少誤抓,FPR 降但 TPR 也降。ROC 曲線就是把「各種門檻下的 (FPR, TPR)」全部連起來。

🧠AUC 到底在量什麼?

AUC 量的是模型的排序能力隨機抽一個正樣本、一個負樣本,模型給正樣本較高分的機率。所以 AUC 是「不挑門檻」的整體評分——不受單一閾值影響,方便直接比較不同模型。0.5=完全亂猜(對角線)、1=完美排序。

⚠️AUC 的陷阱:ROC-AUC vs PR-AUC

面向ROC-AUCPR-AUC(Precision-Recall)
畫什麼TPR 對 FPRPrecision 對 Recall
不平衡時可能過度樂觀(FPR 被大量負樣本稀釋)更敏感、更能反映真實表現
適合正負大致平衡、同時在意兩類正類稀少(詐欺、疾病)、主要在意抓好正類
重點:AUC 看的是排序/整體區分力,跟「選定某門檻後的準確率」不是同一回事;極度不平衡時,別只信 ROC-AUC。

自我檢測

Q1. ROC 曲線是什麼?
用不同分類閾值畫出「真陽率 TPR(=Recall)對偽陽率 FPR」的曲線,呈現模型在各種閾值下的取捨。
Q2. AUC 代表什麼?
ROC 曲線下面積(0~1)。可解讀為隨機取一正一負、模型把正樣本排在前面的機率;0.5 亂猜、越接近 1 越好。
Q3. AUC 的最大優點?
不受單一閾值影響、衡量整體區分與排序能力,方便比較不同模型。
Q4. ROC-AUC 和 PR-AUC 怎麼選?
正負大致平衡、同時在意兩類用 ROC-AUC;正類稀少、主要在意把正類抓好(詐欺、疾病)用 PR-AUC。

🎯重點整理

📝 iPAS 考點提醒

ROC 曲線與 AUC 衡量分類器不分門檻的整體區分能力,iPAS 中級科目三考點。重點:ROC 是掃過所有門檻畫出的 TPR 對 FPR;AUC 是其面積(0.5 等於亂猜、1 為完美)。易混點:AUC 在極度不平衡時可能過於樂觀,此時 PR-AUC 更敏感;AUC 看排序能力、與選定門檻後的準確率不同。情境:比較模型整體區分力、選門檻前的評估。

想練情境題與詳解 → AI 學習與考證地圖

❓ 常見問題

ROC 曲線是什麼?

以不同分類閾值畫出「真陽率(TPR/Recall)對偽陽率(FPR)」的曲線,呈現模型在各種閾值下的取捨。

AUC 代表什麼?

ROC 曲線下面積,範圍 0 到 1。可解讀為「隨機取一個正樣本與一個負樣本,模型把正樣本排在前面的機率」;0.5 等於亂猜、越接近 1 越好。

AUC 的最大優點?

不受單一閾值影響、衡量整體區分與排序能力;且對閾值選擇不敏感,方便比較不同模型。

AUC 有什麼陷阱?

在高度不平衡資料上,ROC-AUC 可能過度樂觀(FPR 被大量負樣本稀釋);此時 PR 曲線(Precision-Recall)與 PR-AUC 更具參考性。

ROC-AUC 和 PR-AUC 怎麼選?

兩類大致平衡、同時在意正負兩類用 ROC-AUC;正類稀少、主要在意把正類抓好(如詐欺、疾病)用 PR-AUC。

🧭 相關主題

← 返回 AI 學習與考證地圖