不需要真標籤——只要求模型對「同一張圖的兩個版本」給出一樣的答案。
這個約束就能逼出穩健的特徵,是現代半監督學習的主力。
半監督式學習介於兩者之間:只有少量資料有標籤,但有大量沒標籤的資料。它想辦法讓沒標籤的資料也派上用場,省下昂貴的人工標註。
一致性正則化的核心假設:同一筆資料,加一點小擾動(旋轉、加噪、遮一塊),模型的預測應該幾乎一樣。我們不需要知道未標註資料的真實答案,只要求模型對「同一張圖的兩個版本」給出一致的輸出——這個約束本身就能逼模型學到更穩健的特徵。代表方法:MixMatch、FixMatch、UDA。
左邊是原始輸入,右邊是加了擾動的版本。拖動「擾動強度」:兩個版本的模型預測(下方長條)開始分歧,一致性損失就是要懲罰這個分歧,逼模型對小擾動「不動如山」。
適度擾動 + 要求一致 = 模型被迫忽略無關的細節變化,學到更本質的特徵。但擾動太大會改變語義,反而教錯。
一致性正則化是半監督學習的核心思想,iPAS 半監督考點(中級科目三)。重點:對同一筆未標註資料做小擾動或增強,要求模型輸出保持一致,藉此利用未標註資料。易混點:背後是平滑性假設(輸入小變、預測不該大變);代表方法有 Mean Teacher、FixMatch、MixMatch。情境:標註少時提升泛化,常與偽標籤搭配。
想練情境題與詳解 → AI 學習與考證地圖
半監督核心思想;對同一筆(未標註)資料做小擾動或增強,要求模型輸出保持一致,藉此利用未標註資料。
平滑性假設——輸入有小變化、預測不該大變;模型對擾動穩健,代表它學到較本質、抗雜訊的特徵。
對未標註樣本做兩種增強,計算兩個輸出的差異當額外損失(如 KL 或均方),與監督損失一起最小化。
Pi-model、Temporal Ensembling、Mean Teacher、VAT,以及結合偽標籤的 FixMatch、MixMatch 等。
它把決策邊界應落在低密度區的直覺落實;逼模型在資料流形上平滑一致,提升在少標註下的泛化。