神經網路太容易「靠幾個明星神經元包辦、其他躺平」——結果就是過擬合。Dropout 的招數簡單又狠：訓練時每輪隨機關掉一部分神經元，逼整個網路學會分工、不依賴任何單一節點。這是深度學習防過擬合的首選。
拖動 Dropout 比率，切「訓練模式」看隱藏層神經元被隨機打上 ✕（關閉）、存活的顯示 ×縮放補償；按「重新抽籤」每次關的都不同；切「推論模式」看全員到齊。
| 訓練時 Training | 推論時 Inference | |
|---|---|---|
| 丟棄？ | ✅ 每個神經元有 p 機率被關（輸出設 0） | ❌ 全部啟用、不丟棄 |
| 縮放 | 存活的輸出 ÷ (1−p) 補償（inverted dropout） | 不必再縮放 |
| 目的 | 製造隨機子網路、正則化 | 用完整網路做穩定預測 |
model.eval()），否則會誤在推論時仍隨機丟棄，結果不穩。
先想再點開。
訓練時隨機關閉一部分神經元（機率 p），逼網路不過度依賴特定神經元，是一種正則化。
打散共適應、逼出冗餘表示，等於訓練多個子網路的集成。
訓練隨機關 + 縮放 ÷(1−p)；推論全部啟用、不丟棄。
關太多、學不動 → 欠擬合；常用 0.2~0.5。
L1/L2 權重衰減、資料增強、early stopping、BatchNorm、集成。
Dropout 是對抗過擬合的正則化技巧,iPAS 深度學習考點(中級科目三)。重點:訓練時隨機丟棄一部分神經元(設為 0),逼網路不過度依賴特定神經元、學到更穩健的表示。易混點:只在訓練時丟棄、推論時全部使用並做縮放補償;與 BatchNorm 併用要注意順序與比例。情境:全連接層常用較高丟棄率,卷積層用得較少。
想練情境題與詳解 → AI 學習與考證地圖
訓練時隨機關閉一部分神經元(以機率 p)，強迫網路不過度依賴特定神經元，是一種正則化、用來抑制過擬合。
等於每次訓練一個略不同的子網路、最後近似多個網路的集成，降低神經元間的共適應，提升泛化。
訓練時隨機丟棄並縮放；推論時不丟棄、用全部神經元(以對應比例縮放)，確保期望輸出一致，要切到 eval 模式。
常見 0.2 到 0.5；太高會欠擬合、太低正則化不足，依層與資料調整，輸入層通常設較小。
L1/L2 權重衰減、資料增強、提早停止、BatchNorm(輕微)、集成；常多管齊下。