🎯 偏差-變異權衡 · iPAS 核心考點

偏差–變異權衡：模型的兩種錯誤，此消彼長

模型犯錯有兩種來源：偏差（太簡單、老是猜偏）和變異（太敏感、換批資料就變）。麻煩的是——壓低一個常會讓另一個變大。學會在兩者間找平衡，就是調模型的核心功夫。這是 過擬合/欠擬合 背後的理論。

偏差 Bias 欠擬合變異 Variance 過擬合誤差分解甜蜜點不可消除誤差

🏹 一、先用白話講：像在射箭

靶心＝正確答案。射很多箭，看它們落在哪，就能分辨兩種錯誤：

高偏差 High Bias每次都射偏同一邊 → 模型「系統性猜錯」，像書沒唸懂、連基本題都錯（欠擬合）。
高變異 High Variance每次射的位置都不一樣、很分散 → 模型「不穩定」，換一批資料結果就大變（過擬合）。
理想狀態每次都射中靶心附近 → 低偏差＋低變異，又準又穩。

📌 考試重點

模型太簡單 → 高偏差（欠擬合）；模型太複雜 → 高變異（過擬合）。兩者此消彼長，要找平衡點！

🎯 二、四種射箭結果對照

🎯
低偏差 + 低變異又準又穩，理想狀態！
↗️
高偏差 + 低變異穩定地射偏 → 欠擬合
💥
低偏差 + 高變異平均在靶心但很分散 → 過擬合
❌
高偏差 + 高變異又偏又散，最糟糕

🎮 三、動手玩：射靶 + 誤差分解圖

拖「模型複雜度」滑桿，看上排靶心的箭如何從「集中射偏」變「分散命中」；下方誤差分解圖同步顯示 Bias²、Variance、Total 三條線與甜蜜點。按「射 10 箭」重射。

低

📊 誤差分解圖（拖動滑桿觀察變化）

🗺️ 怎麼看

複雜度低（左）：靶上的箭集中射偏一角（高偏差、低變異）。複雜度高（右）：箭散開、平均在靶心附近但很亂（低偏差、高變異）。下方圖：Bias² 一路下降、Variance 一路上升，兩者相加的 Total 呈 U 形——U 形的谷底就是甜蜜點。

⚖️ 四、為什麼「此消彼長」？

複雜度是同一個旋鈕

把模型變複雜：它更能貼合資料 → 偏差下降，但也更容易被個別資料點牽著走 → 變異上升。把模型變簡單則相反。因為兩者被同一個「複雜度」旋鈕反向牽動，你沒辦法同時把兩個都壓到最低——只能找總和最小的那個點。

🧮 五、誤差分解公式

總泛化誤差 ≈ 偏差² ＋ 變異 ＋ 不可消除誤差

模型的預期誤差可拆成三塊：
• 偏差²（Bias²）：系統性偏離，隨複雜度下降。
• 變異（Variance）：對資料的敏感度，隨複雜度上升。
• 不可消除誤差（Irreducible Error）：資料本身的雜訊，怎麼調都消不掉（圖中那條水平虛線）。
我們能控制的只有前兩項，目標是讓偏差²＋變異之和最小，而不是單獨壓低某一個。

🩺 六、怎麼判斷「現在是偏差還是變異問題」？

高偏差（欠擬合）訓練誤差就很高——模型連訓練資料都學不好。
高變異（過擬合）訓練誤差低、但驗證誤差高，兩者差距大。

最直接的工具

畫學習曲線（訓練 vs 驗證誤差）。詳見 過擬合 vs 欠擬合——那頁的 demo 就是這裡「複雜度旋鈕」的具體版（多項式次數）。

💊 七、降偏差 vs 降變異，藥方不同

問題高偏差（欠擬合）高變異（過擬合）
核心模型太簡單模型太複雜/太敏感
對策加複雜度、加特徵、減正則化、訓練更久增資料/資料增強、加正則化(L1/L2/Dropout)、簡化、early stopping
增加資料有用嗎幫助有限很有用

🌲 八、集成學習怎麼幫忙？

📌 Bagging 降變異、Boosting 降偏差

Bagging（如隨機森林）：訓練多棵樹再平均，主要降低變異（把不穩定的結果平均掉）。Boosting（如 GBDT/XGBoost）：一步步修正前面的錯，主要降低偏差。所以集成是調控偏差-變異的利器，詳見 集成學習。

🧪 九、觀念自我檢測

先想再點開。

Q1. 偏差和變異各是什麼？

偏差＝模型太簡單、系統性偏離真實（欠擬合）；變異＝對訓練資料太敏感、換批資料就大變（過擬合）。

Q2. 為什麼有「權衡」？

複雜度↑ 會讓偏差↓ 但變異↑（反之亦然），被同一旋鈕反向牽動，只能找總和最小。

Q3. 總誤差的三個組成？

偏差² ＋ 變異 ＋ 不可消除誤差；最後一項是資料雜訊，消不掉。

Q4. 訓練誤差就很高，是偏差還變異問題？

高偏差（欠擬合）。若訓練低、驗證高且差距大，才是高變異。

Q5. 隨機森林主要降哪一個？

主要降變異（多樹平均）；Boosting 則主要降偏差。

✅ 十、30 秒重點整理

偏差＝欠擬合太簡單、系統性偏離。
變異＝過擬合太敏感、換資料就變。
此消彼長複雜度↑ → 偏差↓變異↑。
總誤差≈ 偏差²＋變異＋不可消除。
甜蜜點Total 誤差 U 形的谷底。
集成Bagging 降變異、Boosting 降偏差。

📝 iPAS 考點提醒

偏差-變異權衡是 iPAS 模型評估的核心觀念(中級科目三)。重點:模型太簡單會高偏差(欠擬合)、太複雜會高變異(過擬合),目標是兩者平衡使總誤差(泛化誤差)最小。易混點:增加複雜度降偏差但升變異、反之亦然;正則化、增資料、集成都是調控手段。情境:診斷模型是欠擬合還是過擬合、決定下一步(加特徵還是加正則化)。

想練情境題與詳解 → AI 學習與考證地圖

❓ 常見問題

偏差和變異各代表什麼？

偏差(bias)是模型假設太簡單、系統性偏離真實規律(欠擬合)；變異(variance)是模型對訓練資料太敏感、換一批資料結果就大變(過擬合)。

為什麼有「權衡(tradeoff)」？

模型變複雜通常偏差下降但變異上升，反之亦然；總泛化誤差約等於偏差平方加變異加不可約誤差，目標是讓兩者之和最小，而非單獨壓低一個。

怎麼判斷是偏差還是變異問題？

訓練誤差就很高代表高偏差(欠擬合)；訓練誤差低但驗證誤差高、兩者差距大代表高變異(過擬合)。看學習曲線最直接。

高偏差怎麼改善？

增加模型複雜度、加入更多有意義特徵、減少正則化、訓練更久；對純高偏差，增加資料量幫助有限。

高變異怎麼改善？

增加資料或資料增強、正則化(L1/L2、Dropout)、簡化模型、提早停止、用集成(如 bagging)降變異。

🧭 相關主題

過擬合 vs 欠擬合Ridge (L2)Lasso (L1)集成學習線性回歸混淆矩陣
← 返回 AI 學習與考證地圖