正則化與抗過擬合是 iPAS 初級科目二與中級科目三的必考區。常見考法:過擬合是訓練好、驗證差(高變異),欠擬合是兩者都差(高偏差);L1(Lasso)讓部分權重歸零、可做特徵篩選,L2(Ridge)讓權重整體縮小但不歸零,Elastic Net 兩者混合;Dropout 訓練時隨機關閉神經元、推論時全開;早停在驗證損失開始上升時停止;批次正規化穩定每層輸入分布、加速收斂。易混點:正則化強度 λ 越大模型越簡單、太大會欠擬合;Dropout 只在訓練階段啟用;增加資料與簡化模型也都是抗過擬合手段。情境題長相:「特徵很多且想自動剔除無用特徵,應選哪種正則化?」答 L1(Lasso)。
想練情境題與詳解 → AI 學習與考證地圖
在損失函數加入懲罰項、或在訓練過程加入隨機性,抑制模型過度貼合訓練資料,用一點訓練精度換取更好的泛化能力。
L1 懲罰絕對值,會把部分權重壓成正好 0(稀疏、兼做特徵選擇);L2 懲罰平方,全體縮小但不歸零。兩者混用就是 Elastic Net。
訓練時隨機停用神經元,逼網路不依賴特定路徑,等效於訓練大量子網路再集成;推論時全員上工並做權重縮放。
算——在驗證誤差回升前停止訓練,等於限制模型複雜度的成長,而且幾乎零成本,是實務上最便宜的正則化。
它主要是穩定並加速訓練(可用更大學習率);因 mini-batch 統計帶隨機性,附帶輕微正則化效果,有時可少用 Dropout。