Consistency Regularization

一致性正則化

同一輸入加擾動,預測也該一致

不需要真標籤——只要求模型對「同一張圖的兩個版本」給出一樣的答案。
這個約束就能逼出穩健的特徵,是現代半監督學習的主力。

min ‖ f(x) − f(augment(x)) ‖ (一致性損失)
01 — 白話直覺

稍微擾動輸入,答案也該不變

半監督式學習介於兩者之間:只有少量資料有標籤,但有大量沒標籤的資料。它想辦法讓沒標籤的資料也派上用場,省下昂貴的人工標註。

一致性正則化的核心假設:同一筆資料,加一點小擾動(旋轉、加噪、遮一塊),模型的預測應該幾乎一樣。我們不需要知道未標註資料的真實答案,只要求模型對「同一張圖的兩個版本」給出一致的輸出——這個約束本身就能逼模型學到更穩健的特徵。代表方法:MixMatch、FixMatch、UDA。

02 — 核心互動

加大擾動,看一致性損失上升

左邊是原始輸入,右邊是加了擾動的版本。拖動「擾動強度」:兩個版本的模型預測(下方長條)開始分歧,一致性損失就是要懲罰這個分歧,逼模型對小擾動「不動如山」。

0.20
一致性損失
兩版本是否一致

適度擾動 + 要求一致 = 模型被迫忽略無關的細節變化,學到更本質的特徵。但擾動太大會改變語義,反而教錯。

03 — 優缺點

一致性正則化的價值

優點

  • 不需要未標註資料的真實標籤
  • 逼模型學到對擾動穩健的特徵
  • 是現代半監督 SOTA(FixMatch 等)的核心

缺點 / 限制

  • 很依賴「好的資料增強」設計
  • 擾動過強會改變語義、教出錯誤一致性
  • 常需搭配偽標籤等技巧一起使用

典型應用場景

🖼️
半監督影像
FixMatch / MixMatch 在少量標註下逼近全監督
🗣️
語音/NLP
UDA 用資料增強做一致性訓練
🛡️
穩健性
抵抗對抗擾動、提升泛化

📝 iPAS 考點提醒

一致性正則化是半監督學習的核心思想,iPAS 半監督考點(中級科目三)。重點:對同一筆未標註資料做小擾動或增強,要求模型輸出保持一致,藉此利用未標註資料。易混點:背後是平滑性假設(輸入小變、預測不該大變);代表方法有 Mean Teacher、FixMatch、MixMatch。情境:標註少時提升泛化,常與偽標籤搭配。

想練情境題與詳解 → AI 學習與考證地圖

❓ 常見問題

一致性正則化是什麼?

半監督核心思想;對同一筆(未標註)資料做小擾動或增強,要求模型輸出保持一致,藉此利用未標註資料。

背後的假設是什麼?

平滑性假設——輸入有小變化、預測不該大變;模型對擾動穩健,代表它學到較本質、抗雜訊的特徵。

怎麼實作?

對未標註樣本做兩種增強,計算兩個輸出的差異當額外損失(如 KL 或均方),與監督損失一起最小化。

有哪些代表方法?

Pi-model、Temporal Ensembling、Mean Teacher、VAT,以及結合偽標籤的 FixMatch、MixMatch 等。

為什麼有效?

它把決策邊界應落在低密度區的直覺落實;逼模型在資料流形上平滑一致,提升在少標註下的泛化。

🧭 相關主題

← 返回 AI 學習與考證地圖