💡一句話定義
ReLU（Rectified Linear Unit，線性整流函數）＝ f(x)=max(0, x)：輸入是正數就原樣輸出，是負數就壓成 0。它是目前深層網路隱藏層最常用的激活函數。
f(x) = max(0, x) → x > 0：輸出 x ｜ x ≤ 0：輸出 0
導數 f′(x) = 1（x>0） ，0（x<0）
導數 f′(x) = 1（x>0） ，0（x<0）
別看它只是一個轉折點，這個「折角」就是關鍵的非線性來源。很多個 ReLU 神經元組合起來，網路就能拼出複雜的連續折線，把彎曲的資料切開。
🚰用「單向閥」來想
🎮互動：線性做不到、ReLU 做得到
橘點是被藍點包圍的「瑕疵特徵」，分布是彎的。切換兩個按鈕，看純線性只能畫直線（圈不出中心），而 ReLU 能折出多邊形邊界把橘點框起來。
正常影像特徵
瑕疵影像特徵 (非線性分佈)
模型初始化：線性狀態
圖中的橘色點是瑕疵特徵，被藍色的正常特徵包圍。這在真實影像分類中極為常見（例如複雜的紋理或瑕疵）。我們需要模型區分橘點與藍點。
請按下下方按鈕，觀察不同激活函數如何畫出分類邊界。
⚡ReLU 為什麼這麼強？
🏎️計算極簡
只是一個 max(0, x) 比較，比指數運算的 Sigmoid 快非常多。
只是一個 max(0, x) 比較，比指數運算的 Sigmoid 快非常多。
📈正區不飽和
x>0 時梯度恆為 1，反向傳播不被壓縮，緩解梯度消失。
x>0 時梯度恆為 1，反向傳播不被壓縮，緩解梯度消失。
🕳️稀疏性
負區輸出 0，讓一部分神經元「不活化」，表示更稀疏、計算更省。
負區輸出 0，讓一部分神經元「不活化」，表示更稀疏、計算更省。
🧱好堆深
深層網路的隱藏層預設選擇，是 CNN、ResNet 等的標配。
深層網路的隱藏層預設選擇，是 CNN、ResNet 等的標配。
💀Dead ReLU 與它的變體
ReLU 的代價：負區間輸出與梯度都是 0。如果一個神經元因為學習率過大或不良初始化，長期被推到負區，它就永遠輸出 0、再也收不到梯度——這叫 神經元死亡（Dying / Dead ReLU）。變體們就是為了補這個洞：
| 函數 | 負區間做法 | 特點 |
|---|---|---|
| ReLU | 直接歸 0 | 最快最簡單；但可能神經元死亡 |
| Leaky ReLU | 給小斜率（如 0.01x） | 負區留一點梯度，避免完全死亡 |
| PReLU | 斜率可學習 | 負區斜率由訓練決定，更彈性 |
| ELU | 負區用指數平滑 | 輸出更接近零中心，收斂常更穩 |
| GELU | 依機率平滑加權 | Transformer / BERT / GPT 常用 |
實務提醒：遇到大量神經元死亡、驗證表現卡住，先調小學習率、換好一點的初始化，再考慮換 Leaky ReLU / GELU。
✅自我檢測
Q1. ReLU 的公式與導數是什麼？
f(x)=max(0, x)。導數在 x>0 時為 1、x<0 時為 0（x=0 處通常取 0 或 1）。正區間導數恆為 1，是它緩解梯度消失的關鍵。
Q2. 為什麼 ReLU 能緩解梯度消失，Sigmoid 不行？
Sigmoid 兩端飽和、導數趨近 0，反向傳播連乘會讓梯度消失。ReLU 正區間導數恆為 1，不會壓縮梯度，所以深層網路能訓練得動。
Q3. 什麼是 Dead ReLU？怎麼緩解？
神經元長期落在負區、輸出與梯度都是 0，等於死掉不再更新。常因學習率過大或不良初始化造成。緩解方式：調小學習率、改良初始化，或改用 Leaky ReLU、PReLU、ELU、GELU。
Q4. ReLU 放在網路的哪裡？輸出層可以用嗎？
ReLU 主要用在隱藏層。輸出層要看任務：二分類用 Sigmoid、多分類用 Softmax、迴歸用線性輸出，通常不會把 ReLU 當成分類輸出層。
🎯重點整理
- 公式：f(x)=max(0, x)，正區導數 1、負區導數 0。
- 優點：計算快、正區不飽和、緩解梯度消失、帶稀疏性。
- 非線性來源：那個「折角」，多個組合能折出複雜決策邊界。
- 缺點：Dead ReLU（神經元死亡）——用 Leaky ReLU / GELU 等變體緩解。
- 用在哪：隱藏層預設；輸出層另用 Sigmoid / Softmax / 線性。