羅吉斯回歸 (Logistic Regression) 互動教學

Q: 邏輯斯回歸是回歸還是分類？

是分類(雖名為回歸)。它把線性組合通過 sigmoid 壓到 0 到 1 當作機率，再以閾值(常 0.5)決定類別。

Q: 為什麼用 sigmoid？

線性輸出範圍是負無限到正無限，sigmoid 將其映到 0 與 1 之間可解讀為機率，且其對數勝算(log-odds)恰為線性，便於用最大概似估計參數。

Q: 它和線性回歸最大差別？

線性回歸預測連續數值、用最小平方；邏輯斯回歸預測類別機率、用交叉熵(log loss)為損失，輸出再經 sigmoid 非線性轉換。

Q: 係數怎麼解讀？

係數代表該特徵每增一單位對「對數勝算」的影響；取指數 e 的係數次方即勝算比(odds ratio)，大於 1 提高該類機率、小於 1 降低。

Q: 多分類怎麼辦？

用 Softmax(多項式邏輯斯回歸)，或用 One-vs-Rest 拆成多個二元分類。

🤔 一、機器怎麼回答「是/不是」？

線性回歸預測「數字」（房價、溫度）。但很多問題的答案是是非題：這封信是不是垃圾郵件？這位客戶會不會流失？這就是分類。

❓ 那…直接用線性回歸不行嗎？

不行。線性回歸的輸出可以是任何數字——可能算出 -3、也可能 1.8。但「是垃圾郵件的機率」只能介於 0 到 1 之間，負數和超過 1 都沒意義。所以我們需要一個方法，把線性回歸的「分數」轉成合理的機率——這就是 Sigmoid 登場的地方。

比較	線性回歸	羅吉斯回歸
預測什麼	連續數值（房價）	類別機率（是/不是）
輸出範圍	−∞ ～ +∞	0 ～ 1（機率）
關鍵轉換	無，直接輸出	過一層 Sigmoid
損失函數	MSE（最小平方）	Log Loss（交叉熵）
用途	迴歸問題	分類問題

⚙️ 二、三步驟看懂它怎麼運作

整條流程就是：算分數 → 變機率 → 定類別。

算一個線性分數 z
跟線性回歸一模一樣，把特徵加權相加： z = w₁x₁ + w₂x₂ + b z 可以是任何數。z 越大、越偏向「正類（紅）」；越小、越偏向「負類（藍）」。z＝0 就是決策邊界（剛好分不出來）。

用 Sigmoid 把 z 壓成機率
P = 1 / (1 + e⁻ᶻ) 這條 S 形曲線會把 (−∞, +∞) 的 z 壓進 (0, 1)：z 很大 → P 趨近 1，z 很小 → P 趨近 0，z＝0 → P＝0.5。

用門檻決定類別
有了機率就好辦：P ≥ 0.5 判為紅(1)、P < 0.5 判為藍(0)。0.5 是預設門檻，之後可以依需求調整（見下方進階）。

🎮 三、動手玩：兩張連動的圖

左圖是「資料與分界線」，右圖是「Sigmoid 機率」，兩張圖連動。先看懂圖例，再拉滑桿、或按下「自動尋找最佳邊界」。

🗺️ 怎麼看這兩張圖

左圖｜決策邊界（資料的世界）

紅點/藍點 = 兩個類別的資料（例如「會流失/不會流失」）。

黑虛線 = 決策邊界：模型用它把平面切兩半，一邊判紅、一邊判藍。線上＝機率 0.5。

漸層背景 = 機率傾向：越紅的區域越會判紅、越藍越會判藍。

右圖｜Sigmoid（機率的世界）

橫軸 = 分數 z（點離邊界多遠、在哪一邊）；縱軸 = 機率。每個點滑到 S 曲線上。

離邊界越遠 → 機率越靠 0 或 1（模型越有信心）；靠近邊界 → 機率接近 0.5。被分錯的點會加黑框。

1. 決策邊界（線性特徵空間）

這是一條方程式：z = w₁x + w₂y + b

2. Sigmoid 轉換（機率輸出）

機率 P = 1 / (1 + e⁻ᶻ)

旋轉線條 (W)： 90°

平移位置 (b)： 0.0

分類準確率

Log Loss（預測誤差）

0.00

👀 一定要按：「自動尋找最佳邊界」

手動拉 W、b 很難喬到最好。按下按鈕，模型會用梯度下降一步步自己調整——你會看到分界線慢慢轉到對的角度，準確率衝高、Log Loss 一路下降。這就是「訓練模型」的真面目。

🧠 四、Sigmoid 在做什麼？

🌐 它是一個「翻譯官」

分類不能直接用「距離（z）」當答案，因為距離可以無限大。Sigmoid 就是翻譯官，把任何數字壓到 0～1，讓我們能把它讀成機率：
• 靠近 1 → 模型很有信心是「紅點」
• 靠近 0 → 模型很有信心是「藍點」
• 剛好 0.5 → 點就在邊界上，模型完全分不出來

🎯 訓練目標

所謂「訓練」就是調整 W（方向）和 b（位置），讓紅點都被推到 S 曲線頂端（機率→1）、藍點都到底端（機率→0）。當點都歸位，Log Loss 就降到最低——這正是上面那顆按鈕在做的事。

📉 五、為什麼損失用「Log Loss」而不是準確率？

準確率是給「人」看的成績，Log Loss 才是給「模型訓練」用的損失。

🚫 準確率不能拿來訓練

準確率是階梯狀的（猜對就 +1、猜錯就 0），它對「差一點點」毫無感覺、而且不可微分，梯度下降根本沒辦法用它來調整方向。

✅ Log Loss（交叉熵）量的是「機率準不準」

它看的是你給的機率離真相多遠：
• 你說 90% 是紅、答案真的是紅 → 罰很小 😀
• 你只說 55% 是紅、答案是紅 → 罰中等（不夠有信心）
• 你超有信心說 99% 是紅、結果是藍 → 罰超重（−log(0.01) 很大）😱
所以 Log Loss 鼓勵模型「對的時候有把握、但別亂自信」。訓練 = 讓平均 Log Loss 最小。

🔧 六、進階：讀模型 & 調整

📊 係數怎麼讀？（勝算比 odds ratio）

羅吉斯回歸的係數可以解釋，這是它很受歡迎的原因。係數 w 代表「特徵每增加 1 單位，對對數勝算 log-odds 的影響」。取 e^w 就是勝算比：例如 e^w ≈ 2，表示該特徵每多 1，事件發生的勝算（odds）變 2 倍。w>0 提高正類機率、w<0 降低。

🎚️ 門檻不一定是 0.5

預設用 0.5 分類，但可以調。怕漏掉正類（如怕漏診）→ 調低門檻，寧可多抓一些（高召回）；要很有把握才判正類（如怕誤判詐騙凍結帳戶）→ 調高門檻（高精確）。這就是精確率/召回率與 ROC-AUC 的權衡。

🌈 多分類怎麼辦？

羅吉斯回歸本是二元分類。要分多類時：用 Softmax（多項式羅吉斯回歸，把多個分數轉成總和為 1 的機率），或用 One-vs-Rest（拆成「是不是 A」「是不是 B」…多個二元分類）。

🧪 七、觀念自我檢測

先想再點開，檢查自己是不是真的懂了。

Q1. 羅吉斯回歸是「迴歸」還是「分類」？

分類。名字有「回歸」是歷史包袱——它其實輸出的是類別機率，再用門檻轉成類別，解的是分類問題。

Q2. 為什麼訓練不用「準確率」當損失，要用 Log Loss？

準確率是階梯狀、不可微，梯度下降沒辦法用；Log Loss 平滑可微，還能懲罰「很有信心卻猜錯」，更適合拿來最佳化。

Q3. 模型算出某點的 z＝0，代表什麼？

z＝0 → Sigmoid 給出 P＝0.5 → 這個點剛好在決策邊界上，模型對它「兩邊都不確定」。

Q4. 係數 w₁ ＝ 0.7（取 e^0.7 ≈ 2）代表什麼？

特徵 x₁ 每增加 1，事件的勝算（odds）約變成 2 倍，也就是更可能屬於正類。係數正負代表方向、大小代表影響力。

✅ 八、30 秒重點整理

名迴歸、實分類輸出機率再轉類別，解是非題。

流程：z → Sigmoid → 門檻線性分數壓成 0~1 機率，再以 0.5 分類。

Sigmoid 把 z 壓進 (0,1)z=0 → P=0.5（決策邊界）。

損失用 Log Loss（交叉熵）可微、且重罰「自信卻錯」；不用準確率。

係數可解釋e^係數 = 勝算比 odds ratio。

門檻可調、可多分類調門檻換精確/召回；Softmax 做多類。

📝 iPAS 考點提醒

邏輯迴歸是基礎且常用的二元分類模型,iPAS 高頻考點(初級科目一、中級科目三)。重點:用 Sigmoid 把線性輸出壓成 0 到 1 的機率,再以門檻轉類別,損失用交叉熵。易混點:名稱有迴歸但其實是分類;係數對應勝算比(odds ratio)、可解釋;線性可分或近線性時表現好。情境:流失預測、信用評分等需要機率與可解釋的場景。

想練情境題與詳解 → AI 學習與考證地圖

❓ 常見問題

邏輯斯回歸是回歸還是分類？