💡一句話定義
Vision Transformer（ViT）＝ 把原本用於文字的 Transformer 搬到影像：將圖切成固定大小的小塊（patch）當成一串序列，丟進自注意力（Self-Attention），直接學影像的全域關係。
在超大資料集上預訓練後，ViT 常能超越最頂尖的 CNN，也成了現代多模態模型的標準影像編碼器。
🧩為什麼要切成 patch？
🎮互動：patch 怎麼變成向量
把滑鼠移到左側圖片的 3×3 patch 上：對應的嵌入向量會亮起、連一條線過去，並顯示「攤平 → 線性投影 → 加位置編碼」的過程。最前面橘色的是 [CLS] token。
Vision Transformer (ViT) 互動演示
請移動滑鼠到左側圖片上，觀察 Patch 如何轉換為向量。
🔩三個關鍵零件
🧱Patch Embedding
把每塊 patch 攤平，做線性投影變成一個向量（就像一個「單字」）。
把每塊 patch 攤平，做線性投影變成一個向量（就像一個「單字」）。
🏷️[CLS] Token
一個可學習的向量，跟著所有 patch 一起進網路，最後用它彙整全圖做分類。
一個可學習的向量，跟著所有 patch 一起進網路，最後用它彙整全圖做分類。
📍位置編碼
Transformer 不知道 patch 在空間上誰跟誰相鄰，要加位置編碼補上這個資訊。
Transformer 不知道 patch 在空間上誰跟誰相鄰，要加位置編碼補上這個資訊。
🌐全域注意力 vs 局部卷積
這是 ViT 和 CNN 最核心的差別：
| 面向 | CNN | ViT |
|---|---|---|
| 看的範圍 | 卷積核只看局部，堆多層才看到全圖 | 自注意力第一層就看見所有 patch |
| 歸納偏置 | 強（局部性、平移不變、權重共享） | 弱（幾乎沒有先天假設） |
| 資料需求 | 較省，小資料也能學 | 需要大量資料或大型預訓練 |
| 強項 | 局部紋理、資料有限時穩健 | 全域關聯、規模化、易與多模態整合 |
🍽️歸納偏置弱 → 資料飢渴
CNN 天生就「假設」影像有局部性與平移不變（歸納偏置強），所以小資料也學得動。ViT 幾乎不帶這些假設，什麼都要自己從資料學——歸納偏置弱，因此需要更多資料或預訓練才追得上、甚至超越 CNN。資料有限、想省算力時，CNN 仍是穩健選擇；實務上兩者也常混用。
🚀應用場景
大規模影像分類（在 ImageNet-21k、JFT-300M 等超大資料集預訓練後常勝過 ResNet）、多模態模型（CLIP、Gemini 等——Transformer 能同時吃圖與文，ViT 成為標準影像編碼器）、偵測與分割（Swin Transformer 等層次化變體，能處理不同尺度）。
✅自我檢測
Q1. 圖片怎麼變成 Transformer 的輸入？
切成固定大小的 patch（如 16×16），每塊攤平後做線性投影成向量（patch embedding），加上位置編碼與一個 [CLS] token，再送進 Transformer 編碼器。
Q2. 為什麼要切 patch，不直接餵像素？
像素太多，自注意力是 O(N²) 會爆炸。切成 patch 後數量大減，一張圖變成 N 個「單字」，剛好能被 Transformer 處理。
Q3. ViT 和 CNN 最大的差別？
CNN 有強歸納偏置（局部性、平移不變、權重共享），卷積只看局部；ViT 靠自注意力建模全域關係、歸納偏置弱，通常需要更多資料或預訓練才贏過 CNN。
Q4. [CLS] token 和位置編碼各是做什麼的？
[CLS] 是一個可學習向量，用來彙整全圖資訊做最終分類；位置編碼補上「patch 在空間中誰跟誰相鄰」的資訊，因為 Transformer 本身沒有順序概念。
🎯重點整理
- 是什麼：把圖切 patch 當序列，丟進 Transformer 自注意力。
- 為何切 patch：像素太多、O(N²) 會爆炸；patch 像單字。
- 三零件：Patch Embedding、[CLS] token、位置編碼。
- vs CNN：全域注意力 vs 局部卷積；ViT 歸納偏置弱、需大資料。
- 應用：大規模分類、多模態編碼器、Swin 做偵測。