💡一句話定義
激活函數＝ 加在每個神經元「加權求和」之後的一個非線性轉換，決定這個神經元要不要「發火」、以及發多強。它是讓神經網路能學習複雜、非線性關係的關鍵零件。
一個神經元先算 z = w·x + b（線性），再把 z 丟進激活函數 a = f(z)。前半段只能畫直線，真正讓網路「轉彎」的，是後面這個 f。
🚫為什麼一定要非線性？
假設把激活函數拿掉，讓每一層都只做線性運算，那麼多層疊起來會發生什麼事？
第 1 層：h₁ = W₁x + b₁
第 2 層：h₂ = W₂h₁ + b₂ = W₂(W₁x + b₁) + b₂
= (W₂W₁)x + (W₂b₁+b₂) → 還是「一條」線性式！
第 2 層：h₂ = W₂h₁ + b₂ = W₂(W₁x + b₁) + b₂
= (W₂W₁)x + (W₂b₁+b₂) → 還是「一條」線性式！
不管疊幾層，線性 × 線性還是線性——整個深層網路會塌縮成一個單層線性模型，學不到 XOR、影像、語言這類彎曲的關係。加入非線性激活函數，每一層才真正「有作用」，網路才有表達力。這就是通用近似能成立的前提。
🔘用「開關」來想
🎮互動：三種激活函數
切換 Sigmoid / ReLU / Softmax，拖動滑桿改變輸入，看輸出怎麼變化。下方會同步顯示公式、特性與應用場景。
激活函數 (Activation Functions) 互動演示
📊常見激活函數對照表
| 函數 | 公式 | 輸出範圍 | 重點特性 / 用在哪 |
|---|---|---|---|
| Sigmoid | 1/(1+e⁻ˣ) | (0, 1) | 平滑、可當機率；兩端飽和會梯度消失，非零中心。多用於二分類輸出 |
| Tanh | (eˣ−e⁻ˣ)/(eˣ+e⁻ˣ) | (−1, 1) | 零中心、比 Sigmoid 好；一樣會兩端飽和。RNN 早期常見 |
| ReLU | max(0, x) | [0, ∞) | 計算快、正區間不飽和、緩解梯度消失。隱藏層預設；缺點是負區恆 0 會「死亡」 |
| Leaky ReLU | x>0 ? x : 0.01x | (−∞, ∞) | 負區給一點斜率，緩解神經元死亡 |
| GELU | x·Φ(x) | (≈0, ∞) | 平滑版 ReLU；Transformer / BERT / GPT 常用 |
| Softmax | eᶻⱼ/Σeᶻᵏ | (0, 1) 且和為 1 | 把一組分數變機率分布。多分類輸出層、LLM 選下一個字 |
一句話：隱藏層先想 ReLU（或 GELU）；輸出層看任務——二分類 Sigmoid、多分類 Softmax、迴歸不加（線性輸出）。
📉梯度消失：為什麼 ReLU 取代了 Sigmoid
Sigmoid、Tanh 在輸入很大或很小時會「飽和」——曲線變平，導數趨近於 0。反向傳播時梯度一層層相乘，這些接近 0 的數字連乘，會讓前面幾層幾乎收不到梯度、學不動，這就是梯度消失。
ReLU 的解法：正區間導數恆為 1，梯度不會被壓縮，深層網路因此訓練得動。代價是負區間導數為 0，若一個神經元長期落在負區就「死亡」不再更新——Leaky ReLU、ELU、GELU 就是為了緩解這點。
🧭選型指南
🧱隱藏層
預設 ReLU；想更平滑或用在 Transformer 選 GELU；怕神經元死亡用 Leaky ReLU。
預設 ReLU；想更平滑或用在 Transformer 選 GELU；怕神經元死亡用 Leaky ReLU。
✅二分類輸出
Sigmoid，輸出一個 0～1 的機率。
Sigmoid，輸出一個 0～1 的機率。
🎯多分類輸出
Softmax，輸出各類機率、總和為 1。
Softmax，輸出各類機率、總和為 1。
📈迴歸輸出
通常不加激活（線性輸出），才能輸出任意實數。
通常不加激活（線性輸出），才能輸出任意實數。
✅自我檢測
Q1. 如果整個網路都不用激活函數，會怎樣？
不管疊幾層，線性疊線性還是線性，整個網路會塌縮成一個單層線性模型，學不到非線性關係（連 XOR 都學不會）。所以激活函數提供的「非線性」是網路表達力的關鍵。
Q2. 為什麼隱藏層現在多用 ReLU 而不是 Sigmoid？
Sigmoid 兩端飽和、導數趨近 0，反向傳播時梯度連乘會消失，深層難訓練。ReLU 正區間導數恆為 1、不飽和，且計算簡單，能緩解梯度消失、收斂快，成為隱藏層預設。
Q3. 二分類和多分類的輸出層各用什麼？
二分類用 Sigmoid（輸出一個機率）；多分類用 Softmax（輸出每一類的機率，總和為 1）。迴歸則通常不加激活，直接線性輸出。
Q4. 什麼是「ReLU 神經元死亡」？怎麼緩解？
ReLU 負區間輸出與梯度都是 0，若一個神經元長期落在負區，就再也不會更新、等於「死掉」。用 Leaky ReLU（負區給小斜率）、ELU 或 GELU 可以緩解。
🎯重點整理
- 作用：在 z=w·x+b 之後加非線性 f(z)，讓網路有表達力。
- 沒有它：多層線性 = 單層線性，學不到複雜關係。
- 隱藏層：ReLU 為主（計算快、緩解梯度消失），變體有 Leaky ReLU、GELU。
- 輸出層：二分類 Sigmoid、多分類 Softmax、迴歸線性。
- 易錯：Sigmoid/Tanh 兩端飽和會梯度消失；別把 Softmax 放到隱藏層。