AI Security · 攻與防

AI 安全與防禦

模型也是攻擊目標

AI 系統除了傳統資安風險,還多了模型專屬的攻擊面:被騙、被投毒、被偷。
安全防禦要在資料、模型、服務每一層都設防。

AI 安全 = 傳統資安 + 模型專屬風險(縱深防禦)
01 — 白話直覺

AI 系統會被「攻擊」嗎?

會,而且攻法五花八門。AI 安全(AI Security)關注的是:有人故意餵壞資料、騙模型、偷模型、偷訓練資料。和傳統資安不同,AI 多了「模型本身」這個全新的攻擊面。

防禦盾

保護模型與資料不被攻破。

攻擊
威脅

對抗樣本、投毒、竊取。

縱深防禦
多層

資料、模型、服務各層都要守。

AI 安全 = 傳統資安(網路、伺服器)+ 模型專屬風險(被騙、被投毒、被偷)。

02 — 核心互動

認識四種主要的 AI 攻擊

點下面的攻擊類型,看它怎麼攻、怎麼防。這四種是 AI 系統最常見的威脅。

03 — 防禦原則

怎麼守住 AI 系統?

優點

  • 縱深防禦:資料、模型、API 每層都設防
  • 對抗訓練讓模型對惡意擾動更穩健
  • 存取控制與限流,降低被偷被刷風險
  • 持續監控異常輸入與查詢行為

缺點 / 限制

  • 攻防是無止境的軍備競賽
  • 防禦會增加運算與工程成本
  • 過度防禦可能影響正常使用體驗

典型應用場景

🚗
自駕安全
防止路標被惡意貼紙誤導
💳
金融風控
防止模型被探測與規避
🏥
醫療 AI
保護病患資料與模型完整性

📝 iPAS 考點提醒

AI 安全是 iPAS 治理考點(中級科目二)。重點:AI 系統面臨對抗樣本(微擾使誤判)、資料投毒(污染訓練資料)、模型竊取與提示注入(LLM)等威脅,需偵測與防禦。易混點:AI 安全(防攻擊、保護模型)與隱私(保護個資)是不同面向但常並提;與一般資安概念相通但有 AI 特有攻擊面。情境:把模型部署到開放環境時的風險評估與防護。

想練情境題與詳解 → AI 學習與考證地圖

❓ 常見問題

AI 系統面臨哪些資安威脅?

對抗攻擊(微擾騙過模型)、資料投毒(污染訓練資料)、模型竊取(複製模型)、成員推斷(反推訓練資料)、提示注入(對 LLM)等。

什麼是資料投毒(data poisoning)?

攻擊者在訓練資料中植入惡意樣本或後門,讓模型在特定觸發下做出錯誤行為,而平時看似正常。

什麼是對抗攻擊?

對輸入加上人眼難辨的微小擾動,使模型自信地誤判(如把停止標誌看成限速);防禦可用對抗訓練。

LLM 的提示注入是什麼?

攻擊者在輸入或外部內容中藏指令,誘導 LLM 忽略原指示、洩漏資料或執行不當操作;需輸入過濾與權限隔離。

怎麼強化 AI 安全?

對抗訓練、輸入驗證、存取控制與稽核、資料來源把關、模型監控、最小權限,以及對 LLM 的防護(內容過濾、沙箱)。

🧭 相關主題

← 返回 AI 學習與考證地圖