預警監控：PSI (Population Stability Index)

訓練資料佔比 (Expected)
生產資料佔比 (Actual)

模擬生產環境變化

💡 提示：試著移動滑桿。當橘色長條（線上真實顧客）偏離藍色長條（訓練時的基準）時，觀察 PSI 的變化與警報燈號。

PSI 總分

0.000
🟢 綠燈：分佈穩定
PSI 計算公式： Σ [ (Actual_i - Expected_i) × ln(Actual_i / Expected_i) ]
📊 PSI 判讀
PSI 值意思動作
<0.1分布穩定無需處理
0.1~0.25中度偏移觀察、示警
>0.25顯著偏移調查、考慮再訓練
算法Σ(實際%−預期%)·ln(實際%／預期%)分箱後比對
✅ 自我檢測
PSI 是什麼？
Population Stability Index:衡量「線上資料分布」相對「訓練／基準分布」的偏移程度,常用於模型監控。
PSI 怎麼解讀？
經驗門檻:<0.1 穩定、0.1~0.25 中度偏移(留意)、>0.25 顯著偏移(該調查或再訓練)。
PSI 怎麼算(概念)？
把變數分箱,對每箱算 (實際佔比−預期佔比)×ln(實際／預期) 再加總,值越大偏移越大。
🎯 重點整理
  1. PSI 量線上分布相對基準的偏移。
  2. <0.1 穩、0.1~0.25 留意、>0.25 要處理。
  3. 分箱後比對實際與預期佔比。
  4. 用於模型效能衰退預警。
  5. PSI 高常先於績效下滑,可提早再訓練。

📝 iPAS 考點提醒

PSI(母體穩定度指標)用來監控模型上線後的退化,iPAS 維運考點(中級科目一)。重點:衡量某變數或模型分數的分布在兩時點(訓練與上線)偏移多少;經驗門檻 小於 0.1 穩定、0.1 到 0.25 留意、大於 0.25 顯著偏移。易混點:PSI 高代表資料漂移、需介入(重訓或調整),是風控與 MLOps 常用監控。情境:上線後及早發現輸入或分數分布改變。

想練情境題與詳解 → AI 學習與考證地圖

❓ 常見問題

PSI 是什麼？

母體穩定度指標(Population Stability Index)；衡量某變數或模型分數的分布，在兩個時間點(如訓練與上線)之間偏移了多少。

PSI 怎麼解讀？

經驗門檻：小於 0.1 穩定、0.1 到 0.25 有中度偏移需留意、大於 0.25 顯著偏移、可能要重新檢視或再訓練模型。

為什麼要監控 PSI？

上線後資料會漂移使模型退化；PSI 能及早發現輸入或分數分布變化、提示介入，是風控與 MLOps 常用監控。

PSI 怎麼算(概念)？

把變數分箱，比較每箱在基準與當前的佔比，逐箱計算佔比差與對數佔比比的乘積再加總；差越大 PSI 越高。

PSI 高了該怎麼辦？

先查是資料品質問題還是真實分布改變；確認後可重新訓練、調整特徵或門檻，並追蹤模型實際表現是否同步下降。

🧭 相關主題

部署與服務化MLOps模型優化建立 CI/CD
← 返回 AI 學習與考證地圖