🛣️ 最大間隔分類器 · iPAS 常考

SVM 支援向量機:在兩類之間,畫一條最寬的「安全道路」

很多條線都能把兩類分開,但 SVM 要找最好的那一條——讓兩類之間的「空白走廊」最寬。走廊越寬,新資料就越不容易踩錯邊。這頁帶你看懂最大間隔、支援向量,以及讓 SVM 能處理彎曲邊界的「核技巧」。

最大間隔支援向量超平面核技巧 KernelC 與 γ標準化

🤔 一、SVM 在做什麼?

一句話:在兩類之間,找一條讓「間隔(margin)最大」的分界線

💡 白話定義:找最寬的馬路

要把紅、藍兩群分開,能畫的線有無限多條。SVM 的標準是:在兩群中間鋪一條「馬路」,馬路要越寬越好。馬路的正中線就是決策邊界(超平面)。為什麼要最寬?因為馬路越寬,預留的容錯空間越大,新資料掉進來時越不容易被分錯——也就是泛化越好。

📌 二、什麼是「支援向量」?

SVM 的名字就來自這個關鍵概念。

頂住馬路邊的那幾個點

決定這條馬路能畫多寬的,只有最靠近馬路邊、「頂住」邊界的那少數幾個點——它們就是支援向量(Support Vectors)。神奇的是:其他離邊界遠的點,移動它、甚至刪掉它,邊界完全不變。所以 SVM 只靠少數關鍵樣本撐起整個模型,這讓它對「非邊界的雜訊點」很穩健,也是它名字的由來。

🎮 三、動手玩:旋轉線,找最寬的馬路

拖動滑桿旋轉分界線,看「道路寬度(Margin)」怎麼變,找出讓它最大的角度。

🗺️ 怎麼看

🔴紅點 / 🔵藍點 = 兩個類別;黑線=決策邊界(馬路中線);黃色區帶=馬路(margin),兩側虛線是邊界;金色發光圈支援向量(頂住邊界的點)。旋轉到讓道路寬度最大的角度,就是 SVM 想找的答案。若角度讓兩類重疊,會顯示「此角度無法分割」。
90° 道路寬度 (Margin): 0.00

🌀 四、線性分不開怎麼辦?核技巧(Kernel Trick)

真實資料常常一條直線怎麼擺都分不開(例如一類被另一類包在中間)。SVM 有一招很漂亮。

🎈 把資料「升維」,就能用平面切開

想像桌上一排球:紅、藍、紅交錯排,在這條線(1 維)上,一刀怎麼切都分不開。但如果把外側的紅球往上抬起來(升到 2 維),紅球變高、藍球留低——這時一條水平線就能把上下分開了!
核函數(Kernel)就是在做這件事:把線性不可分的資料隱式地映到更高維空間,在那裡找一個線性邊界(超平面),對應回原空間就成了一條彎曲的邊界。
升維前(1 維):一刀切不開 升維後:一條線就分開 ✅

🔑 為什麼叫「trick」?三種常見核

最妙的是:它不必真的算出高維座標,靠核函數直接算「兩點在高維的相似度」就好,省下大量運算。常見核:線性核(資料本來就好分時用)、多項式核RBF(高斯)核(最常用、能畫很彎的邊界)。

🎚️ 五、兩個關鍵參數:C 與 γ

用 SVM(尤其 RBF 核)一定會碰到這兩個旋鈕,太大都會過擬合。

參數設小設大
C(容錯/軟間隔)容許較多誤分、間隔寬、較平滑 → 可能欠擬合嚴格不容錯、間隔窄、貼合訓練 → 易過擬合
γ(RBF 核寬)單點影響範圍大、邊界平滑 → 可能欠擬合單點影響範圍小、邊界彎曲貼點 → 易過擬合

🔧 怎麼調

C 管「要多嚴格地把每個點分對」;γ 管「每個點的影響能傳多遠、邊界能多彎」。兩個一起用網格搜尋 + 交叉驗證找最佳組合。記住口訣:C 大、γ 大 → 越貼訓練資料 → 越容易過擬合

⚖️ 六、優缺點與注意事項

⚠️ 用 SVM 前一定要標準化

SVM 以距離與內積為基礎,若特徵尺度差很多,大尺度特徵會主導結果。務必先標準化,讓每個特徵公平參與。
✅ 高維、樣本不多時很強有「最大間隔」的理論基礎,文字、影像等高維問題表現好。
✅ 對非邊界雜訊穩健只靠少數支援向量,遠處的點不影響。
✅ 核技巧處理非線性RBF 核能畫出很彎的邊界。
⚠️ 資料量大時訓練慢大規模資料較不適合。
⚠️ 要調參、要標準化核與 C、γ 需細調。
⚠️ 機率輸出需校準原生不直接給可靠機率。

🧪 七、觀念自我檢測

先想再點開。

Q1. SVM 的目標是什麼?為什麼要「最大間隔」?

找能分開兩類、且間隔(margin)最大的決策邊界。間隔越大,容錯空間越大,對沒見過的資料泛化通常越好

Q2. 什麼是支援向量?

最靠近邊界、「頂住」margin 的少數樣本。只有它們決定邊界;其他點移動或刪除都不影響邊界——這也是 SVM 名字的由來。

Q3. 核技巧(kernel trick)在做什麼?

資料線性不可分時,核函數隱式地把它映到更高維空間、在那裡找線性邊界(=原空間的非線性邊界),而且不必真的算高維座標,省運算。常用 RBF、多項式核。

Q4. C 和 γ 設太大會怎樣?

兩者都傾向過擬合:C 大=不容錯、邊界貼訓練資料;γ 大=單點影響範圍小、邊界彎曲貼每個點。要用交叉驗證調。

✅ 八、30 秒重點整理

最大間隔在兩類間找最寬的馬路,中線就是決策邊界。
支援向量只有頂住邊界的少數點決定邊界,其他點不影響。
核技巧線性不可分 → 升維找線性邊界 = 原空間非線性邊界。
C 與 γ都設太大會過擬合;用交叉驗證調。
務必標準化SVM 靠距離/內積,怕尺度不一。
主場高維、樣本不多;大資料較慢。

📝 iPAS 考點提醒

SVM(支援向量機)找讓兩類間隔最大的決策邊界,iPAS 中級科目三考點。重點:邊界由少數支援向量決定、泛化佳;用核技巧(RBF、多項式)把資料映到高維處理非線性。易混點:核函數讓線性不可分變可分;C(容錯)與 gamma(核寬)要細調、影響過擬合與欠擬合;中小型高維資料表現好、大資料較慢。情境:文字分類、影像等高維問題。

想練情境題與詳解 → AI 學習與考證地圖

❓ 常見問題

SVM 的核心想法是什麼?

找一條能把兩類分開、且「間隔(margin)最大」的決策邊界(超平面);間隔越大,對新資料的泛化通常越好。真正決定邊界的只有最靠近邊界的少數樣本,稱為支援向量。

什麼是核技巧(kernel trick)?

當資料在原空間線性不可分時,核函數(如 RBF、多項式)會隱式地把資料映到更高維空間,在那裡找線性邊界,等於在原空間畫出非線性邊界,而且不必真的算出高維座標。

參數 C 和 γ 各控制什麼?

C 控制「容忍誤分 vs 間隔大小」的取捨:C 大趨向不容錯(易過擬合)、C 小容許部分誤分(間隔大、較泛化)。γ(RBF)控制單一樣本的影響範圍:γ 大邊界彎曲(易過擬合)、γ 小較平滑。

SVM 的優缺點?

優點:高維、樣本不多時表現好,有最大間隔的理論基礎,較不受非邊界點影響。缺點:資料量大時訓練慢、對特徵縮放敏感、核與參數需調校、機率輸出需額外校準。

SVM 一定要先標準化嗎?

建議要。SVM 以距離與內積為基礎,若特徵尺度差異大,大尺度特徵會主導,標準化能讓各特徵公平參與。

🧭 相關主題

← 返回 AI 學習與考證地圖