accuracy 0.99，卻一筆詐欺都沒抓到：
不平衡資料的評估與後續方案

00題目

某詐欺資料的正類比例約為 1%，團隊先以「全預測為負類」的基準模型觀察 accuracy。若要訓練並選擇真正能辨識少數正類的分類器，下列後續方案何者最合理？

import numpy as np                          # 把 NumPy 拿進來，取個綽號叫 np
from sklearn.metrics import accuracy_score  # 只把「算 accuracy 的那支工具」拿出來
y_true = np.array([0] * 990 + [1] * 10)        # 真實答案：990 個 0、10 個 1
y_pred = np.zeros_like(y_true)                # 模型的預測：全部都填 0
print(accuracy_score(y_true, y_pred))        # 印出 accuracy

—先說「類別不平衡」是什麼

一份資料裡，兩個類別的數量差很多，就叫類別不平衡。詐欺偵測、罕見疾病篩檢、機台故障預測、廣告點擊——這些題目天生就長這樣：你真正想抓的那一類，佔比往往不到 1%。

本題的混淆矩陣長這樣

整個「預測 1」那一欄是空的。模型從頭到尾沒說過任何一筆是詐欺，所以 TP ＝ 0、FP ＝ 0。這一格是 0，就決定了後面所有跟正類有關的指標全部歸零。

先點開看：類別不平衡是什麼？基準模型要幹嘛？accuracy 怎麼算？

01逐行拆解：第 1 行到第 5 行

五行，一行一行走完。右上角的「看位置」可以把這一行放回完整程式裡看。

先認識一個符號：點 .

這是物件導向的寫法。np.array(...)、np.zeros_like(...)、sklearn.metrics 都用到它。

np.array(...)         點的左邊是模組（numpy 的綽號）　唸「裡面的」
sklearn.metrics       點的左邊是套件，右邊是子模組　　唸「底下的」

np.array(...)         有括號 = 呼叫，叫它做一件事
y_true.dtype          沒括號 = 屬性，看一格資料

想深入的話點這裡：點 . 到底是什麼？模組和套件差在哪？函式怎麼呼叫？

import numpy as np   # 把 NumPy 拿進來，取個綽號叫 np

from sklearn.metrics import accuracy_score   # 只把「算 accuracy 的那支工具」拿出來

y_true = np.array([0] * 990 + [1] * 10)   # 真實答案：990 個 0、10 個 1

① [0] * 990   →  [0, 0, 0, ... , 0]     990 個 0    （串列乘上數字＝重複這麼多次）
② [1] * 10    →  [1, 1, ... , 1]        10 個 1
③ ① + ②      →  [0, 0, ..., 0, 1, ..., 1]   1000 個
   np.array(③)  →  變成 NumPy 陣列，存進 y_true

y_pred = np.zeros_like(y_true)   # 做一個跟 y_true 一樣大的陣列，但裡面全是 0

print(accuracy_score(y_true, y_pred))   # 印出 0.99

accuracy = 猜對的筆數 ÷ 全部筆數
         = (990 個 0 猜對) + (10 個 1 猜錯 → 0 筆)
         = 990 / 1000
         = 0.99

020.99 不是模型的成績，是資料的比例

先把一件事講死：在「全預測負類」這個做法下，accuracy 一定等於「負類佔全部的比例」。這是恆等式，不是巧合，也跟資料內容無關。

全預測負類的 accuracy  =  負類筆數 ÷ 總筆數  =  1 − 正類比例

  正類 50%   →  accuracy = 0.50
  正類 10%   →  accuracy = 0.90
  正類  1%   →  accuracy = 0.99   ← 本題
  正類 0.1%  →  accuracy = 0.999

其他指標怎麼說

六個指標裡有五個都說「這模型毫無用處」，只有 accuracy 給了 0.99。這就是為什麼題目要你選「後續方案」——重點不是把 0.99 算出來，而是知道它沒有意義之後該做什麼。

03基準模型是對照組，不是目標

題目寫「團隊先以全預測為負類的基準模型觀察 accuracy」——這個動作本身完全正確，錯的是停在這裡。

基準模型（baseline）的三個用途

停在基準模型會發生什麼

如果團隊看到 0.99 就說「模型不錯」，接下來會發生的事很好預測：

1. 上線之後，詐欺一筆都沒攔到——因為模型從來不說「是詐欺」。
2. 報表上 accuracy 依然是 0.99，監控完全不會告警。
3. 直到財務對帳才發現損失，而模型的指標從頭到尾都是綠燈。

04那該看什麼：PR-AUC 為什麼比 ROC-AUC 誠實

換指標的第一個直覺通常是「那我看 ROC-AUC 好了」。方向對，但在極度不平衡時，ROC-AUC 也會給你過度樂觀的答案。

兩條曲線差在哪

關鍵在 TN。本題有 990 筆 TN，990 這個大數字塞在 FPR 的分母裡，就算誤報了 50 筆，FPR 也只有 50/990 ≈ 0.05，曲線看起來還是很漂亮。而 Precision 的分母裡沒有 TN，誤報 50 筆、抓對 5 筆，precision 就是 5/55 ≈ 0.09——藏不住。

這張表也解釋了一個常見誤會：PR-AUC 比較低，不代表模型比較差。因為 PR 的基準線會跟著正類比例一起降，所以正確的讀法是「PR-AUC 除以正類比例」——贏過隨機猜幾倍。上表最右欄顯示，越不平衡的情境，同一個模型反而「贏得越多倍」。

順帶把 precision 與 recall 也一起看

PR-AUC 是把所有門檻掃過一遍的總分，但實務上你還是要挑一個門檻上線。所以單點的 precision / recall 一定要一起報，而且要說清楚是在哪個門檻下算的。

相關名詞：PR-AUCROC-AUCPR 曲線交叉驗證分層抽樣

05class_weight：讓模型「在意」少數類

換了指標之後，下一個問題是：模型本身要怎麼調，才會願意說「這筆是詐欺」？

為什麼模型天生就懶得抓少數類

訓練時模型在最小化損失（loss）。1000 筆裡有 990 筆是 0，只要把這 990 筆顧好，總損失就已經很低了。那 10 筆正類猜錯的代價，被 990 筆稀釋到幾乎看不見——所以「全部說 0」在數學上是個相當划算的解。

class_weight vs 重抽樣 vs SMOTE

相關名詞：class_weight重抽樣 / SMOTE資料洩漏成本敏感學習

06決策閾值：0.5 不是天條，是預設值

分類器其實不直接吐出 0 或 1，它吐出的是一個介於 0 到 1 的分數（predict_proba）。predict 只是幫你套了一個 0.5 的門檻。

predict_proba(X)[:, 1]  →  0.02, 0.71, 0.13, 0.49, 0.88, ...   模型給的風險分數
                                    ↓  拿 0.5 當刀子切
predict(X)              →     0,    1,    0,    0,    1, ...   變成類別

用成本挑門檻

把「漏抓一筆的損失」和「誤報一筆的成本」寫成數字，總成本就是：

\[ \text{總成本}(t) = C_{FN}\times FN(t) + C_{FP}\times FP(t) \]

把所有門檻掃過一遍，選成本最低的那一個。這件事 sklearn 有現成工具：precision_recall_curve 會一次回傳每個門檻的 precision 與 recall，剩下的就是四則運算。

prec, rec, thr = precision_recall_curve(y_val, prob)   # 掃過所有門檻
n_pos = y_val.sum()                                     # 驗證集有幾筆真正的正類
tp = rec[:-1] * n_pos                                  # 每個門檻抓到幾筆
fn = (1 - rec[:-1]) * n_pos                            # 每個門檻漏掉幾筆
fp = tp / np.maximum(prec[:-1], 1e-9) - tp          # 每個門檻誤報幾筆
cost = 500 * fn + 5 * fp                              # 漏抓 500 元、誤報 5 元
best = thr[cost.argmin()]                             # 成本最低的那個門檻

相關名詞：判定門檻predict_proba成本敏感學習驗證集怎麼用

07四個選項逐一拆解

把前面六節串起來，四個選項的對錯就一目了然。

—回到題目：現在再作答一次

看完之後再看一次同一段程式，應該有完全不同的感覺。

某詐欺資料的正類比例約為 1%，團隊先以「全預測為負類」的基準模型觀察 accuracy。若要訓練並選擇真正能辨識少數正類的分類器，下列後續方案何者最合理？

import numpy as np                          # 把 NumPy 拿進來，取個綽號叫 np
from sklearn.metrics import accuracy_score  # 只把「算 accuracy 的那支工具」拿出來
y_true = np.array([0] * 990 + [1] * 10)        # 真實答案：990 個 0、10 個 1
y_pred = np.zeros_like(y_true)                # 模型的預測：全部都填 0
print(accuracy_score(y_true, y_pred))        # 0.99

08自我檢測

八題，答錯會直接告訴你錯在哪。

09重點整理

1. [0] * 990 的 * 是重複不是乘法、+ 是相接不是加法，做出來的是 1000 個標籤。
2. np.zeros_like(y_true) ＝ 照著 y_true 的形狀與型別做一個全 0 的陣列，也就是「全部預測負類」。
3. from sklearn.metrics import ... 是從評估工具箱裡只抽一支工具出來；那個模組裡還有 recall、precision、PR-AUC 等一整排。
4. 全預測負類的 accuracy 恆等於「1 − 正類比例」。本題 1% 正類 → accuracy 必然是 0.99，看資料之前就能算出來。
5. accuracy 0.99 的同時，recall / precision / F1 都是 0，balanced accuracy 是 0.5、MCC 是 0。六個指標裡五個都說這模型沒用。
6. 基準模型是對照組不是目標：它的用途是定出及格線、揭穿失效的指標、給出 PR 的隨機基準線（＝正類比例）。
7. PR-AUC 的分母裡沒有 TN，所以不會被龐大的多數類稀釋；ROC-AUC 會。同一個模型從 50% 降到 0.1% 正類，ROC-AUC 幾乎不動（0.92），PR-AUC 從 0.92 掉到 0.07。
8. 讀 PR-AUC 要跟隨機基準（＝正類比例）比。本題 PR-AUC 0.2615 相對於基準 0.0093，是28 倍，不算差。
9. ROC-AUC / PR-AUC 都要餵機率或分數，不能餵 0/1 的預測結果。
10. class_weight="balanced" ＝ n_samples / (n_classes × 該類筆數)，把少數類的錯誤放大；它移動決策邊界，通常提升 recall、犧牲 precision，但不太會提升 PR-AUC。
11. 重抽樣（含 SMOTE）只能對訓練折做，要放進 Pipeline；先對整份資料重抽樣再切分是典型洩漏。
12. 0.5 只是預設門檻不是最佳解。用 predict_proba 拿分數，在驗證集上依 \(C_{FN}\times FN + C_{FP}\times FP\) 挑成本最低的門檻。本站實跑省下 73.1% 成本。
13. 把驗證集樣本複製進訓練集、再用同一個驗證集挑門檻＝雙重洩漏。實跑：驗證 F1 1.0000 vs 測試 F1 0.0141。
14. 正確答案 B：衡量（PR-AUC＋precision/recall）、訓練（class_weight）、決策（驗證集依成本調門檻）三層都動到，而且沒有洩漏。

—考點提醒與常見問題

類別不平衡是中級科目三「機器學習技術與應用」的高頻考點，也會跨到科目二的資料準備與模型評估。最常見的五種問法：① 給一段「全猜多數類」的程式問 accuracy 是多少（送分，答案就是 1 − 正類比例）；② 問 accuracy 很高但模型沒用是什麼情況；③ 問不平衡時該改看哪些指標（PR-AUC / recall / F1 / balanced accuracy / MCC）；④ 給四個「後續方案」選最合理的（本題這種，錯的選項通常藏著資料洩漏或反向操作）；⑤ 問 SMOTE／重抽樣該在切分前還是切分後做。把「衡量、訓練、決策三層都要動」和「任何驗證集資料流回訓練集都是洩漏」這兩句記熟，這一類幾乎都能秒殺。

相關主題