XGBoost vs GBDT 視覺化

Q: XGBoost 是什麼、為什麼流行？

一個高效能的梯度提升樹實作，加入正則化、二階梯度近似、平行化與缺失值處理等優化；在結構化/表格資料的競賽與實務表現突出。

Q: 它和傳統 GBDT 的改良？

目標函數含 L1/L2 正則化抑制過擬合、用一階加二階導數更精準找分裂、支援列與特徵子抽樣、平行化與快取優化、內建處理缺失值。

Q: 重要參數怎麼調？

學習率(eta)與樹數一起、max_depth 控制複雜度、subsample 與 colsample 做隨機化、min_child_weight 與 gamma 與 lambda/alpha 做正則化，常用早停。

Q: XGBoost、LightGBM、CatBoost 差在哪？

都是梯度提升樹。LightGBM 用葉子優先生長與直方圖、超大資料更快；CatBoost 對類別特徵處理特別好；XGBoost 通用、生態成熟。

Q: 什麼情況適合用 XGBoost？

中小型表格/結構化資料的分類與回歸幾乎首選；但影像、文字、語音等非結構化資料，深度學習通常更合適。

🧱 一、先備知識：它是「Boosting」家族

看 XGBoost 之前，先記住它的出身。

💡 一句話定位

XGBoost 屬於集成學習的 Boosting（提升法）：一棵接一棵地訓練很多棵小決策樹，每棵新樹專門去修正前面做錯的部分，最後加起來變成一個很強的模型（主要降偏差）。它是 GBDT（梯度提升樹）的高效實作，再加上一堆工程與數學優化。👉 想先複習 Boosting 與 Bagging 的差別，看集成學習。

🎯 二、核心：一棵樹接一棵樹，補「殘差」

梯度提升的精髓，用一個數字例子就懂。

第一棵樹：先粗略猜
假設真實答案是 100。第一棵樹很簡單，只猜到 80 → 還差 20（這個「還差多少」就叫殘差 residual）。

第二棵樹：專門補上次的差
第二棵樹不重猜答案，而是去擬合那個殘差 20，猜到 18 → 累積 80＋18＝98，殘差只剩 2。

一直接力下去
第三棵補 2、第四棵補更小的差……每棵樹都補前面的不足，加起來越來越準。這就是「梯度提升」——沿著誤差下降的方向，一步步逼近。

真實
100

→

樹1 猜 80
殘差 20

+樹2→

累積 98
殘差 2

+樹3→

累積 99.8
殘差 0.2

…

🐢 學習率（eta）：別一步到位

實務上每棵樹的貢獻會乘上一個小小的學習率（如 0.1），不讓它一次補滿。步子小、樹多一點，雖然慢，但更穩、更不會過擬合。所以「小學習率 + 多棵樹 + 早停」是 XGBoost 的黃金組合。

🚀 三、XGBoost 比傳統 GBDT 多了什麼？

同樣是梯度提升，XGBoost 加了五項關鍵優化，讓它又快又準又穩。

① 正則化（最關鍵）目標函數加入對「葉子數量與權重」的 L1/L2 懲罰，自動剪掉複雜分支、抑制過擬合——這是傳統 GBDT 沒有的。

② 二階梯度用一階＋二階導數（牛頓法）更精準地找分裂點，比只用一階的 GBDT 更準更快收斂。

③ 平行化把特徵預先排序成 Block 結構，找分裂點時多執行緒同時掃描，速度大幅提升。

④ 內建缺失值處理訓練時自動學「缺值該往左還往右」的預設方向，遇到空值不會卡死。

⑤ 剪枝與子抽樣gamma 控制最小分裂增益（後剪枝）、subsample/colsample 隨機抽列與欄，進一步抗過擬合。

⚠️ 五、最常考的混淆：它是 Boosting，不是 Bagging！

別跟隨機森林搞混

XGBoost＝Boosting：樹是序列訓練（一棵接一棵補錯）、主要降偏差。
隨機森林＝Bagging：樹是平行訓練（各自獨立再投票）、主要降變異。
XGBoost 雖然「平行化」加速，但那是「找分裂點時的工程平行」，模型本質仍是序列 Boosting——這是陷阱題最愛考的點。

🎛️ 六、重要參數速查

參數	控制什麼	怎麼調
eta（學習率）	每棵樹的貢獻	調小（如 0.05～0.1）＋多棵樹，較穩
n_estimators	樹的數量	配合學習率與早停決定
max_depth	單棵樹的深度／複雜度	太大易過擬合，常 3～8
subsample / colsample	列／欄的隨機抽樣比例	< 1 增加隨機性、抗過擬合
gamma / lambda / alpha	正則化（分裂門檻、L2、L1）	調大 → 更保守、更不過擬合
min_child_weight	葉節點最小樣本權重	調大 → 更保守

🛑 早停（Early Stopping）

設一個驗證集，當驗證分數連續幾輪不再進步就自動停止加樹——既省時間、又自動防過擬合，是 XGBoost 的標準做法。

👨‍👩‍👧 七、XGBoost vs LightGBM vs CatBoost

三個都是梯度提升樹的明星實作，常一起被問。

	XGBoost	LightGBM	CatBoost
樹生長	層級優先（level-wise）	葉子優先（leaf-wise）	對稱樹
強項	通用、生態最成熟	超大資料最快（直方圖）	類別特徵處理最好
注意	資料量大時較慢	小資料 leaf-wise 易過擬合	訓練相對較慢

🎯 何時用 / 不用

中小型表格／結構化資料的分類與回歸，XGBoost 幾乎是首選、又準又穩。但影像、文字、語音等非結構化資料，深度學習通常更合適，不要硬套 XGBoost。

🧪 八、觀念自我檢測

先想再點開。

Q1. XGBoost 屬於 Bagging 還是 Boosting？

Boosting（序列、後者補前者的錯、主要降偏差）。隨機森林才是 Bagging（平行、降變異）。它的「平行化」只是找分裂點的工程加速，模型本質仍序列。

Q2. 梯度提升的核心是什麼？

一棵接一棵樹，每棵專門擬合前面的殘差（還差多少），加起來越來越準；用學習率控制每棵的貢獻，小步多樹較穩。

Q3. XGBoost 比傳統 GBDT 多了哪些優化？

正則化（L1/L2）、二階梯度找分裂、平行化、內建缺失值處理、剪枝與子抽樣。其中正則化是抑制過擬合的關鍵。

Q4. XGBoost 容易過擬合嗎？怎麼控制？

會。用小學習率＋多樹＋早停、限制 max_depth、subsample/colsample 隨機化、gamma/lambda/alpha 正則化。

✅ 九、30 秒重點整理

梯度提升樹一棵接一棵補殘差，加起來變強，主要降偏差。

是 Boosting（序列）別跟隨機森林（Bagging、平行）搞混。

五大優化正則化、二階梯度、平行化、缺失值、剪枝/抽樣。

黃金組合小學習率 + 多樹 + 早停，又準又不過擬合。

表格資料首選非結構化（影像/文字）用深度學習。

三兄弟LightGBM 快、CatBoost 擅長類別、XGBoost 通用。

📝 iPAS 考點提醒

XGBoost 是 GBDT 的高效實作,iPAS 中級科目三常考、結構化資料競賽常勝。重點:在梯度提升上加入正則化、處理缺失值、平行加速與剪枝,兼顧準確與效率。易混點:它屬 Boosting(序列、降偏差),與隨機森林的 Bagging(平行、降變異)不同;強但易過擬合,需細調學習率與樹數。情境:表格與結構化資料的預測;LightGBM、CatBoost 是同類競品。

想練情境題與詳解 → AI 學習與考證地圖

❓ 常見問題

XGBoost 是什麼、為什麼流行？