💡一句話定義
模型量化（Quantization）＝把模型的權重（與／或啟動值）從高精度浮點數（如 FP32，32 位元）轉成低位元表示（如 FP16、INT8、INT4），用「比較粗的刻度」來記每一個數。目的是縮小模型體積、加快推論、降低能耗，讓模型能塞進手機、嵌入式裝置或便宜的 GPU；代價是每個數都會被「四捨五入」到最近的刻度，產生量化誤差，位元數太低時準確率會明顯下滑。
生活比喻：量尺上原本刻到 0.001 公分，改成只刻到 0.5 公分。量一般東西還是夠用，量到很精密的零件就會出錯。
🤔為什麼要量化？因為模型「太胖」了
模型的體積＝參數數量 × 每個參數占的位元數。參數數量通常不能動（那是模型的能力），所以要瘦身只能從「每個參數占幾位元」下手。
💾記憶體
模型要整個載進 GPU／手機記憶體才能跑。70 億參數 FP32 要 28 GB，一張 24 GB 的消費級顯卡都裝不下。
模型要整個載進 GPU／手機記憶體才能跑。70 億參數 FP32 要 28 GB，一張 24 GB 的消費級顯卡都裝不下。
⚡延遲
LLM 推論大多卡在「搬資料」而不是「算」。位元數減半，搬的資料量就減半，回應更快。
LLM 推論大多卡在「搬資料」而不是「算」。位元數減半，搬的資料量就減半，回應更快。
🔋能耗
整數運算比浮點運算省電得多，手機與 IoT 裝置撐得住續航。
整數運算比浮點運算省電得多，手機與 IoT 裝置撐得住續航。
📱邊緣裝置
手機、車機、攝影機、工業控制器沒有雲端那種算力，要在本地跑 AI 幾乎一定得量化。
手機、車機、攝影機、工業控制器沒有雲端那種算力，要在本地跑 AI 幾乎一定得量化。
精度階梯：以 70 億參數模型為例
FP3232 位元浮點
28 GB · 訓練時的原生精度
FP16 / BF1616 位元浮點
14 GB · 幾乎不掉準，GPU 推論標配
INT88 位元整數
7 GB · 掉準很小，部署最常見
INT44 位元整數
3.5 GB · 開始有感掉準，但筆電能跑
FP16 vs BF16：兩者都是 16 位元，差在怎麼分配位元。BF16（bfloat16）保留與 FP32 一樣多的「指數位」，數值範圍大、不容易溢位，訓練時更穩；FP16把位元多給「尾數」，精度細但範圍小。推論時兩者都常用。
📏核心概念：scale 與 zero-point（數線圖解）
量化本質上就是把一段實數區間，對應到有限個整數刻度。兩個參數決定這個對應：
📐scale（縮放係數，s）
一格整數刻度代表多大的實數。區間越寬、位元越少，s 越大，刻度越粗、誤差越大。
一格整數刻度代表多大的實數。區間越寬、位元越少，s 越大，刻度越粗、誤差越大。
🎯zero-point（零點，z）
實數的 0 對應到哪一個整數。對稱量化 z = 0；非對稱量化 z 可以不為 0，用來把「偏一邊」的區間對準。
實數的 0 對應到哪一個整數。對稱量化 z = 0；非對稱量化 z 可以不為 0，用來把「偏一邊」的區間對準。
$q = \mathrm{clamp}\!\left(\mathrm{round}\!\left(\tfrac{x}{s}\right) + z\right), \qquad \hat{x} = s\,(q - z)$
x：原本的浮點值；q：量化後的整數；x̂：反量化（還原）後的值；誤差 = x − x̂
對稱 vs 非對稱：同一組權重、3 位元（8 個刻度）
對稱量化：以 0 為中心，區間 [−max|x|, +max|x|]，z = 0。權重若集中在某一側，另一側的刻度會浪費。
非對稱量化：區間 [min, max] 剛好貼合資料，z 把實數 0 對到某個整數。刻度用得更滿、誤差通常更小，但運算多一步減 z。
🎮互動：量化實驗台
拉滑桿選位元數（2–16），切換對稱／非對稱，看一組真實大小的權重被量化後變成什麼、誤差多大、模型縮小幾倍，以及示意的準確率曲線在哪裡「跳水」。
🔬 量化實驗台
8 bit
常用設定
量化方式
256
可用刻度數（2ⁿ）
—
scale（一格多大）
—
均方誤差 MSE
4×
相對 FP32 縮小倍數
7 GB
70 億參數模型大小
—
相對準確率（示意）
| 權重 | 原值 x | 整數 q | 還原 x̂ | 誤差 |
|---|
相對準確率 vs 位元數（示意曲線；實際數字依模型與方法而異，但「4 位元以下急掉」的形狀很典型）
🔁什麼時候做量化？PTQ vs QAT
| 面向 | PTQ 訓練後量化 Post-Training Quantization | QAT 量化感知訓練 Quantization-Aware Training |
|---|---|---|
| 做法 | 模型訓練完，直接把權重換成低位元；通常用少量校正資料估計 s、z | 訓練（或微調）過程中就「模擬」量化的捨入誤差，讓模型學會適應粗刻度 |
| 需要重訓？ | 不用（或只要幾百筆校正資料） | 要，需要訓練資料與 GPU 時間 |
| 成本 | 低、快，幾分鐘到幾小時 | 高，接近一次微調 |
| 精度 | INT8 通常夠好；INT4 以下可能明顯掉準 | 低位元（INT4、甚至更低）仍能維持較高準確率 |
| 適用 | 大多數部署場景的第一選擇，LLM 幾乎都用 PTQ | 精度要求高又必須極低位元的場景（如手機上的視覺模型） |
LLM 常見的 PTQ 做法（點到為止）：
GPTQ：逐層量化，利用二階資訊（Hessian）補償捨入誤差，INT4 也能保持不錯的品質。
AWQ（Activation-aware Weight Quantization）：觀察啟動值，找出「少數特別重要的權重通道」先保護起來，再量化其他部分。
GGUF：不是演算法而是檔案格式（llama.cpp 生態），裡面放的是量化後的權重，常見 Q4_K_M、Q8_0 這類名稱，讓模型能在 CPU／筆電上跑。
GPTQ：逐層量化，利用二階資訊（Hessian）補償捨入誤差，INT4 也能保持不錯的品質。
AWQ（Activation-aware Weight Quantization）：觀察啟動值，找出「少數特別重要的權重通道」先保護起來，再量化其他部分。
GGUF：不是演算法而是檔案格式（llama.cpp 生態），裡面放的是量化後的權重，常見 Q4_K_M、Q8_0 這類名稱，讓模型能在 CPU／筆電上跑。
🆚量化 vs 剪枝 vs 知識蒸餾：三種「模型瘦身」差在哪
這三個名詞考試最愛放在一起考。記住一句話：量化＝降精度、剪枝＝砍權重、蒸餾＝教小模型。
| 面向 | 量化 Quantization | 剪枝 Pruning | 知識蒸餾 Knowledge Distillation |
|---|---|---|---|
| 做了什麼 | 每個參數用更少位元表示 | 把不重要的權重／神經元／注意力頭直接刪掉（設為 0 或移除） | 用大模型（老師）的輸出當目標，訓練一個小模型（學生） |
| 參數數量 | 不變 | 變少（稀疏化或結構縮小） | 變少（學生本來就是小架構） |
| 模型架構 | 不變 | 非結構化剪枝不變、結構化剪枝會變 | 完全不同，可自由設計 |
| 需要重訓？ | PTQ 不用；QAT 要 | 通常要微調恢復精度 | 要，整個學生要從頭或半途訓練 |
| 成本 | 最低 | 中 | 最高 |
| 生活比喻 | 照片從 RAW 存成 JPEG | 把書裡的廢話刪掉 | 老師把一門課濃縮講給學生聽 |
| 能否疊加 | 可以。常見組合：先蒸餾出小模型 → 剪枝 → 最後量化部署。 | ||
想看蒸餾的「軟標籤」怎麼教學生，去 知識蒸餾互動動畫。
⚠️常見誤區與風險
誤區 1：「量化會讓模型變小，所以參數變少了。」
錯。量化後參數數量完全一樣，只是每個參數占的位元變少。參數變少的是剪枝與蒸餾。
錯。量化後參數數量完全一樣，只是每個參數占的位元變少。參數變少的是剪枝與蒸餾。
誤區 2：「位元越少越好，反正模型變快。」
位元數與準確率不是線性關係：INT8 幾乎無感，INT4 開始有感，2–3 位元常常崩掉。而且硬體要真的支援該位元的整數運算才會變快（INT8 普遍支援；INT4 在部分硬體上要靠額外解壓，速度反而未必快）。
位元數與準確率不是線性關係：INT8 幾乎無感，INT4 開始有感，2–3 位元常常崩掉。而且硬體要真的支援該位元的整數運算才會變快（INT8 普遍支援；INT4 在部分硬體上要靠額外解壓，速度反而未必快）。
誤區 3：「量化只動權重。」
權重量化（weight-only）最常見，但推論中間的啟動值（activation）也可以量化（W8A8 代表權重 8 位元、啟動 8 位元）。啟動值裡常有少數「離群大值」（outlier），是量化掉準的主因之一，AWQ、SmoothQuant 等方法就是在處理這件事。
權重量化（weight-only）最常見，但推論中間的啟動值（activation）也可以量化（W8A8 代表權重 8 位元、啟動 8 位元）。啟動值裡常有少數「離群大值」（outlier），是量化掉準的主因之一，AWQ、SmoothQuant 等方法就是在處理這件事。
風險：量化後一定要重新評估——除了整體準確率，也要看少數類別、長尾案例與安全相關行為有沒有變差；部署前做 A/B 比較，別只看模型變小了多少。
✅自我檢測
每題單選，點選後立刻顯示對錯與解釋。
🎯重點整理
- 定義：量化＝用更少位元（FP16／INT8／INT4）表示權重或啟動值；參數數量不變、體積與延遲下降、精度略損。
- 為什麼：記憶體裝不下、延遲卡在搬資料、能耗、邊緣裝置沒算力。
- 怎麼對應：scale 決定一格多大、zero-point 決定 0 對到哪；對稱 z = 0、非對稱貼合 min–max；粒度越細誤差越小。
- 何時做：PTQ 訓練後直接量化（便宜、INT8 夠用）；QAT 訓練時模擬量化（貴、低位元仍準）。
- LLM 常見：GPTQ、AWQ 是 INT4 PTQ 方法；GGUF 是存量化模型的檔案格式。
- 三兄弟辨析：量化＝降精度、剪枝＝砍權重、蒸餾＝教小模型；可以疊加。
- 風險：4 位元以下明顯掉準；硬體要支援才真的變快；量化後務必重測。