拖拉到正確位置
Transformer 是 iPAS 初級科目一與中級科目四的核心，拼圖遊戲要你把流程排對：Tokenization → Embedding＋位置編碼 → Q·K·V 自注意力 → 多頭注意力與前饋層堆疊 → 輸出下一個詞的機率。常見考法：自注意力的作用（每個詞依相關度加權整句資訊）；Q、K、V 各代表什麼；位置編碼為何必要；相較 RNN 的優點（可平行、抓長距離依賴）。易混點：Encoder（BERT，雙向理解）與 Decoder（GPT，單向生成）；自注意力計算量隨序列長度呈 O(n²)。情境題長相：「何者讓 Transformer 能同時處理整句而不必逐字遞迴？」答自注意力機制。
想練情境題與詳解 → AI 學習與考證地圖
斷詞成 Token 並轉成 ID → 查表成向量並加上位置編碼 → 自注意力計算 Q、K、V 得到上下文向量 → 前饋網路與多層堆疊 → 輸出下一個 Token 的機率分布。
Query 是「我在找什麼」，Key 是「每個詞的標籤」，Value 是「詞的實際內容」。用 Q 比對所有 K 得到相關分數，Softmax 後加權加總 V，就是該詞融合上下文的新表示。
自注意力把所有詞一起看，本身分不出先後順序；加上位置編碼後，「貓追狗」和「狗追貓」的向量才會不同。
不必逐字遞迴，可整句平行計算、訓練快；注意力直接連接任意兩個位置，長距離依賴不會像 RNN 那樣隨距離衰減（梯度消失）。
BERT 用 Encoder、雙向看上下文，擅長理解與分類；GPT 用 Decoder、只看左邊、逐字生成，擅長生成文字。
同時用多組 Q/K/V 從不同角度算注意力（語法、指代、語意等），再把各頭結果拼接起來，讓模型一次捕捉多種關係。