🛣️ 最大間隔分類器 · iPAS 常考
SVM 支援向量機:在兩類之間,畫一條最寬的「安全道路」
很多條線都能把兩類分開,但 SVM 要找最好的那一條——讓兩類之間的「空白走廊」最寬。走廊越寬,新資料就越不容易踩錯邊。這頁帶你看懂最大間隔、支援向量,以及讓 SVM 能處理彎曲邊界的「核技巧」。
最大間隔支援向量超平面核技巧 KernelC 與 γ標準化
🤔 一、SVM 在做什麼?
一句話:在兩類之間,找一條讓「間隔(margin)最大」的分界線。
💡 白話定義:找最寬的馬路
要把紅、藍兩群分開,能畫的線有無限多條。SVM 的標準是:在兩群中間鋪一條「馬路」,馬路要越寬越好。馬路的正中線就是決策邊界(超平面)。為什麼要最寬?因為馬路越寬,預留的容錯空間越大,新資料掉進來時越不容易被分錯——也就是泛化越好。
📌 二、什麼是「支援向量」?
SVM 的名字就來自這個關鍵概念。
頂住馬路邊的那幾個點
決定這條馬路能畫多寬的,只有最靠近馬路邊、「頂住」邊界的那少數幾個點——它們就是支援向量(Support Vectors)。神奇的是:其他離邊界遠的點,移動它、甚至刪掉它,邊界完全不變。所以 SVM 只靠少數關鍵樣本撐起整個模型,這讓它對「非邊界的雜訊點」很穩健,也是它名字的由來。
🎮 三、動手玩:旋轉線,找最寬的馬路
拖動滑桿旋轉分界線,看「道路寬度(Margin)」怎麼變,找出讓它最大的角度。
🗺️ 怎麼看
🔴紅點 / 🔵藍點 = 兩個類別;黑線=決策邊界(馬路中線);黃色區帶=馬路(margin),兩側虛線是邊界;金色發光圈=支援向量(頂住邊界的點)。旋轉到讓道路寬度最大的角度,就是 SVM 想找的答案。若角度讓兩類重疊,會顯示「此角度無法分割」。
🌀 四、線性分不開怎麼辦?核技巧(Kernel Trick)
真實資料常常一條直線怎麼擺都分不開(例如一類被另一類包在中間)。SVM 有一招很漂亮。
🎈 把資料「升維」,就能用平面切開
想像桌上一排球:紅、藍、紅交錯排,在這條線(1 維)上,一刀怎麼切都分不開。但如果把外側的紅球往上抬起來(升到 2 維),紅球變高、藍球留低——這時一條水平線就能把上下分開了!
核函數(Kernel)就是在做這件事:把線性不可分的資料隱式地映到更高維空間,在那裡找一個線性邊界(超平面),對應回原空間就成了一條彎曲的邊界。
🔑 為什麼叫「trick」?三種常見核
最妙的是:它不必真的算出高維座標,靠核函數直接算「兩點在高維的相似度」就好,省下大量運算。常見核:線性核(資料本來就好分時用)、多項式核、RBF(高斯)核(最常用、能畫很彎的邊界)。
🎚️ 五、兩個關鍵參數:C 與 γ
用 SVM(尤其 RBF 核)一定會碰到這兩個旋鈕,太大都會過擬合。
| 參數 | 設小 | 設大 |
| C(容錯/軟間隔) | 容許較多誤分、間隔寬、較平滑 → 可能欠擬合 | 嚴格不容錯、間隔窄、貼合訓練 → 易過擬合 |
| γ(RBF 核寬) | 單點影響範圍大、邊界平滑 → 可能欠擬合 | 單點影響範圍小、邊界彎曲貼點 → 易過擬合 |
🔧 怎麼調
C 管「要多嚴格地把每個點分對」;γ 管「每個點的影響能傳多遠、邊界能多彎」。兩個一起用網格搜尋 + 交叉驗證找最佳組合。記住口訣:C 大、γ 大 → 越貼訓練資料 → 越容易過擬合。
⚖️ 六、優缺點與注意事項
⚠️ 用 SVM 前一定要標準化
SVM 以距離與內積為基礎,若特徵尺度差很多,大尺度特徵會主導結果。務必先標準化,讓每個特徵公平參與。
✅ 高維、樣本不多時很強有「最大間隔」的理論基礎,文字、影像等高維問題表現好。
✅ 對非邊界雜訊穩健只靠少數支援向量,遠處的點不影響。
✅ 核技巧處理非線性RBF 核能畫出很彎的邊界。
⚠️ 資料量大時訓練慢大規模資料較不適合。
⚠️ 要調參、要標準化核與 C、γ 需細調。
⚠️ 機率輸出需校準原生不直接給可靠機率。
🧪 七、觀念自我檢測
先想再點開。
Q1. SVM 的目標是什麼?為什麼要「最大間隔」?
找能分開兩類、且間隔(margin)最大的決策邊界。間隔越大,容錯空間越大,對沒見過的資料泛化通常越好。
Q2. 什麼是支援向量?
最靠近邊界、「頂住」margin 的少數樣本。只有它們決定邊界;其他點移動或刪除都不影響邊界——這也是 SVM 名字的由來。
Q3. 核技巧(kernel trick)在做什麼?
資料線性不可分時,核函數隱式地把它映到更高維空間、在那裡找線性邊界(=原空間的非線性邊界),而且不必真的算高維座標,省運算。常用 RBF、多項式核。
Q4. C 和 γ 設太大會怎樣?
兩者都傾向過擬合:C 大=不容錯、邊界貼訓練資料;γ 大=單點影響範圍小、邊界彎曲貼每個點。要用交叉驗證調。
✅ 八、30 秒重點整理
最大間隔在兩類間找最寬的馬路,中線就是決策邊界。
支援向量只有頂住邊界的少數點決定邊界,其他點不影響。
核技巧線性不可分 → 升維找線性邊界 = 原空間非線性邊界。
C 與 γ都設太大會過擬合;用交叉驗證調。
務必標準化SVM 靠距離/內積,怕尺度不一。
主場高維、樣本不多;大資料較慢。
📝 iPAS 考點提醒
SVM(支援向量機)找讓兩類間隔最大的決策邊界,iPAS 中級科目三考點。重點:邊界由少數支援向量決定、泛化佳;用核技巧(RBF、多項式)把資料映到高維處理非線性。易混點:核函數讓線性不可分變可分;C(容錯)與 gamma(核寬)要細調、影響過擬合與欠擬合;中小型高維資料表現好、大資料較慢。情境:文字分類、影像等高維問題。
想練情境題與詳解 → AI 學習與考證地圖
❓ 常見問題
SVM 的核心想法是什麼?
找一條能把兩類分開、且「間隔(margin)最大」的決策邊界(超平面);間隔越大,對新資料的泛化通常越好。真正決定邊界的只有最靠近邊界的少數樣本,稱為支援向量。
什麼是核技巧(kernel trick)?
當資料在原空間線性不可分時,核函數(如 RBF、多項式)會隱式地把資料映到更高維空間,在那裡找線性邊界,等於在原空間畫出非線性邊界,而且不必真的算出高維座標。
參數 C 和 γ 各控制什麼?
C 控制「容忍誤分 vs 間隔大小」的取捨:C 大趨向不容錯(易過擬合)、C 小容許部分誤分(間隔大、較泛化)。γ(RBF)控制單一樣本的影響範圍:γ 大邊界彎曲(易過擬合)、γ 小較平滑。
SVM 的優缺點?
優點:高維、樣本不多時表現好,有最大間隔的理論基礎,較不受非邊界點影響。缺點:資料量大時訓練慢、對特徵縮放敏感、核與參數需調校、機率輸出需額外校準。
SVM 一定要先標準化嗎?
建議要。SVM 以距離與內積為基礎,若特徵尺度差異大,大尺度特徵會主導,標準化能讓各特徵公平參與。