「牠」是誰？

你有沒有注意過，AI 回答的時候常常會先頓一下，然後字才一小段一小段地冒出來？這不只是畫面特效。模型真的是一次只寫一小段，寫完一段，再根據「目前為止的全部內容」決定下一段。這個故事要講的，就是那一頓、和後面那一段一段之間，模型裡面發生了什麼事。

第一件事：模型看不懂字。系統會先用分詞器（tokenizer）把句子切成一段一段的片段，英文叫 token。片段不一定剛好是一個字或一個詞，怎麼切由分詞器決定；這裡為了好讀，把句子切成四段，標點先略過。每個片段會對到一個編號，系統再拿編號去一本「數字字典」查出一串數字。這串數字，才是模型真正拿來計算的東西。

請特別看「牠」。它那串數字是照編號查表查來的，系統只另外加了一點「我排在第 4 個」的位置資訊，好讓模型分得出順序。也就是說，不管前面寫的是小貓、小狗還是颱風，「牠」查到的數字幾乎一模一樣。此刻的「牠」，還不知道自己指的是誰。

這串數字可以想成每個片段隨身帶著的一本筆記本。剛進門時，筆記本上只有「我是哪個詞、我排第幾」。要接著往下寫，模型得先想辦法讓「牠」回頭看看前面出現過誰，把有用的資訊抄進自己的筆記本。

想像一棟三層樓的房子，句子裡的片段依序走進去。先看一樓的房間。每個片段進房間之後，會照這層樓的規則手冊，用自己的筆記本做出三樣東西：

• 名牌 K別在胸前，寫著「我能提供什麼線索」，是給別人比對用的。
• 資料夾 V放在自己桌上，裝著「我真正能給的內容」。
• 便條 Q拿在手上，寫著「我現在想找什麼」。

接著輪到「牠」發問。它拿著便條，去和房間裡每個人的名牌比對，算出一個分數：便條和名牌越對得上，分數越高。分數再換算成「比重」，全部加起來剛好 100%。最後，它按照比重把大家資料夾裡的內容各抄一部分回來，混成一份，寫進自己的筆記本。

房間裡有一條規矩：每個片段只能看自己，和比自己早進場的人。「小貓」進場時房間裡只有它自己；「牠」最後進場，所以四個人都看得到。原因很實際：模型的工作是接著往下寫，寫到某個位置時，後面的內容根本還不存在。這條規矩到了故事後半段會變得非常重要。

一樓的結果是：「牠」把 46% 的注意力放在「小貓」、44% 放在自己，「跳上」和「沙發」加起來不到 10%。它按這個比重把資料夾的內容抄回來，筆記本裡從此帶著小貓的資訊。這個「回頭看、按比重抄」的動作，就叫注意力（attention）。你可以把發問的人換成「沙發」試試，會看到「牠」變成灰色：沙發進場時，牠還沒來。

為什麼名牌和資料夾要分成兩樣？因為「方便別人一眼判斷你是不是他要找的人」和「找到之後真正有用的內容」，是兩種不同的需求。模型讓它們各用一組係數去學，效果比共用一份好。

那三樣東西是怎麼做出來的？靠的是這層樓的規則手冊。手冊裡有三組固定的係數，分別把筆記本換算成便條、名牌和資料夾。這些係數是模型訓練時一點一點調出來的，訓練完就定下來；你使用模型的時候，它們不會因為你問了什麼而改變。四個片段用的是同一本手冊，只是各自的筆記本內容不同，所以做出來的東西不同。

抄回來的內容是加進筆記本，不是把原本的蓋掉，這樣「牠」不會因為抄了小貓的資料就忘記自己是「牠」（這叫殘差連接）。加完之後，每個片段還會各自坐下來把筆記消化整理一次，這一步不再和別人交換資訊（叫前饋網路，FFN）。這兩個動作之前，都會先把數字的大小刻度整理一下，免得越算越極端（叫正規化）。

另外，真實模型的一層樓裡通常不只一組人在比對，而是好幾組同時進行，每組有自己的便條、名牌和資料夾，各從不同角度找資訊，最後再把結果合起來。一組就叫一個注意力頭（attention head）。這個故事只演一組。

一樓忙完，四個片段帶著更新過的筆記本上二樓。二樓有自己的規則手冊，大家用「已經寫過一輪的筆記本」重新做一套二樓的便條、名牌、資料夾，再回頭看一次；三樓也一樣。一層一層往上，筆記本裡對前文的理解就越來越完整。

請記住誰會移動、誰不會：往上帶的只有筆記本。名牌和資料夾留在原本那層樓的房間裡，規則手冊也留在各層樓。到了三樓做完，模型只拿最後一個片段「牠」的筆記本，去換算出「下一段該接什麼」的候選名單。

候選名單是一次算完所有樓層之後才產生的，不是每層樓各選一個字再拼起來。名單上每個候選都有機率，這個範例固定挑機率最高的「蜷」；真實的服務常常會照機率抽籤，所以同一句話每次接出來的內容不一定相同。順帶一提，這裡的機率也是用 softmax 算的，但用途和房間裡的比重不同：房間裡是在決定「向誰抄多少資料」，這裡是在決定「下一段寫什麼」。

模型選出了「蜷」，但句子還沒寫完。要決定「蜷」後面接什麼，「蜷」自己也得走進房子：在每層樓做出自己的便條、名牌、資料夾，拿便條去比對前面所有人的名牌，抄資料，上樓，最後用它的筆記本選出下一段。

問題來了：它要比對的那些名牌，也就是小貓、跳上、沙發、牠在各層樓的名牌和資料夾，從哪裡來？有兩種做法，請你按按看差別。

做法 B 就是 KV Cache：把每層樓、每個片段已經做好的名牌（K）和資料夾（V）留著，後面的片段直接用。Cache 的意思是「快取」，也就是把算過的東西暫時留下來，省得重算。

舊的名牌放了這麼久，不會過期嗎？不會，原因正是前面那條規矩。每個片段只看自己和比自己早進場的人，所以後來不管進來誰，都不會影響前面的人當初做出來的東西。「小貓」的名牌在第一輪就定了，「蜷」來不來，它都長一樣。做法 A 辛辛苦苦重做出來的，和留著的那一份一模一樣，所以才說是白費工夫。

那為什麼只留名牌和資料夾，不留便條，也不留抄回來的內容？因為後來的人用不到。便條只在「自己發問的那一刻」有用，問完就沒事了；抄回來的內容已經寫進各自的筆記本帶上樓，任務也結束了。新片段回頭看的時候，需要的只有舊片段的名牌（用來比對）和資料夾（用來抄）。

有兩個細節很容易誤會。第一，快取省掉的是重做舊片段，不是省掉比對。新片段還是要拿便條和每一張舊名牌比一次，前文越長，要比的名牌越多。第二，被選出來不等於已經進場。「蜷」剛顯示在畫面上時，各層樓仍然只有 4 對；它走過一樓變成 5、4、4，走過二樓變成 5、5、4，走完三樓才是 5、5、5。最後的結束標記被選出來之後就停了，不會再送進房子，也不會有自己的名牌。

天下沒有白吃的午餐，KV Cache 是拿記憶體換時間。每個片段在每層樓都要留一對名牌和資料夾，對話越長，留的東西越多，而且要放在運算晶片旁邊最貴的那種記憶體裡。這也是為什麼超長的對話特別吃資源，服務商常常會限制長度、或對長文另外計價。

模型寫完「小貓跳上沙發，牠蜷成一團」，選出結束標記停了下來。現在房子裡每層樓各留著 7 對名牌和資料夾。接著使用者又問：「牠睡著了嗎？」這句話切成四個新片段。接下來會怎樣，要看那些留著的東西還在不在。請三種情況都按按看。

這裡有三個常見的誤會。第一，聊天紀錄還在，不代表快取還在。紀錄是文字，快取是一大堆暫存在記憶體裡的數字，服務隨時可能為了騰出空間而清掉它。清掉了也不是不能回答，只是要把前文重新走一遍，開頭那一頓會比較久。

第二，快取不是模型的記憶，更不是學習。不管你跟它聊了多少，各層樓的規則手冊一個字都沒改。快取只是這一次對話的暫存品，對話結束或被清掉，就什麼都不剩。

第三，只有「從頭開始完全相同」的前文，快取才能接著用。一旦前面某個詞被改掉，從那個詞開始，後面所有片段留下的東西都不能信了，因為它們當初都回頭看過那個詞，筆記本裡混著它的內容。

這個故事把模型縮成 3 層、每層 1 組注意力、筆記本只有 4 個數字。係數是手工設定的教學用數字，所以一樓「牠看小貓」的比重有刻意安排，二樓、三樓的比重則沒有語意可以解讀，它們只用來示範「每層樓各算各的」。

真實模型在位置資訊的處理、注意力頭的數量、名牌和資料夾要不要共用、快取保留多久多長，都有各式各樣的設計；不同的服務對快取能不能跨次對話保留，做法也不一樣。這一頁講的是共通的概念流程，不是某個模型或某張晶片的逐步實作。