樹系演算法是 iPAS 初級科目二與中級科目三出題最密集的模型。常見考法:決策樹依資訊增益(熵)或 Gini 不純度選分裂特徵、容易過擬合、可用深度與最小葉節點數剪枝;隨機森林=Bagging+隨機特徵子集,多棵樹投票或平均,降低變異、抗過擬合;GBDT/XGBoost/LightGBM=Boosting,序列訓練、每棵樹修正前一棵的殘差,降低偏差、通常更準但要調參。易混點:Bagging 降變異、Boosting 降偏差;樹模型不需特徵縮放;隨機森林可用 OOB 誤差驗證。情境題長相:「表格資料想要高準確度且可接受較長調參時間,首選?」答梯度提升樹(XGBoost/LightGBM)。
想練情境題與詳解 → AI 學習與考證地圖
單棵決策樹(CART)、隨機森林、梯度提升樹(GBDT),以及 XGBoost、LightGBM、CatBoost 等高效實作。
Bagging(如隨機森林)平行訓練多樹再平均、降低變異;Boosting(如 GBDT)序列訓練、每棵修正前一棵的錯、降低偏誤。
隨機森林好調、抗過擬合、平行快;梯度提升通常更準但較易過擬合、需細調學習率與樹數。
它們是梯度提升的高效實作,加入正則化、處理缺失值、速度快,在結構化(表格)資料競賽常奪冠。
可看分裂帶來的不純度下降或覆蓋次數,更穩健的是 permutation importance 或 SHAP 值。