K-FOLD
5 折 · 20筆/折
均等切割,隨機分配

STRATIFIED
5 折 · 保比例
每折類別比例相同

LOO
100 折 · 1筆/折
每次留一筆,最細緻

玩三種方法,體驗它們的差異




交叉驗證是 iPAS 初級科目二與中級科目三「模型評估與驗證」的常客,三個小遊戲分別練 K-Fold、分層 K-Fold 與留一法的切分方式。常見考法:問 K-Fold 每輪用幾份訓練、幾份驗證(K−1 份訓練、1 份驗證、輪流 K 次後平均);類別不平衡時該用哪種(分層,保持各折類別比例);LOOCV 的特性(偏差最小但計算最貴)。易混點:交叉驗證是用來穩健估計泛化能力與選超參數,不是訓練最終模型;測試集必須另外保留;特徵縮放等前處理要在每折內各自 fit,否則資料洩漏。情境題長相:「資料僅 200 筆且正負類 9:1,最合適的驗證策略?」答分層 K-Fold。
想練情境題與詳解 → AI 學習與考證地圖
把訓練資料分成 K 份,每次取 1 份驗證、其餘 K−1 份訓練,輪流 K 次後把 K 個分數平均,作為模型泛化能力的估計。K 常取 5 或 10。
分類任務且類別不平衡時。分層切分讓每一折的類別比例與整體相同,避免某折完全沒有少數類而讓分數失真。
每次只留 1 筆驗證、其餘全部訓練,重複 n 次。偏差最小、資料利用最充分,但要訓練 n 個模型,計算成本極高、變異也偏大,只適合資料極少時。
不是。交叉驗證在「訓練集」內部輪流切出驗證集,用來選模型與超參數;測試集要事先保留、最後只評估一次,才能代表真實表現。
不行,會用未來預測過去造成洩漏。要用時間序列切分(TimeSeriesSplit),訓練集永遠在驗證集之前;有群組結構的資料則用 GroupKFold。
在切分前就對全部資料做標準化、填補缺失或特徵選擇,讓驗證集資訊混進訓練。正確做法是把前處理放進 pipeline,每折各自 fit。