拖拉到正確位置
Transformer 是現代大型語言模型與多模態 AI 的共同骨幹,iPAS 中級科目一必考。重點:自注意力讓每個詞直接關注序列所有詞、捕捉長距離關係且可高度平行,取代了循序的 RNN。易混點:注意力本身不含順序、需位置編碼;編碼器(BERT,理解)與解碼器(GPT,生成)用途不同。情境:理解 ChatGPT、BERT 如何運作;長文本因注意力隨長度平方成長而成本高。
想練情境題與詳解 → AI 學習與考證地圖
它是現代大型語言模型與多模態 AI 的共同骨幹；靠自注意力捕捉長距離關係、又能高度平行，取代了 RNN。
讓序列中每個詞依與其他詞的相關度，加權彙整資訊；每個詞的表示都融入了整句的上下文。
不像 RNN 要一步步循序處理，Transformer 一次看整個序列、同時計算所有位置的注意力，非常適合 GPU 平行。
編碼器雙向理解輸入(如 BERT)；解碼器由左到右生成、且只能看已生成的詞(如 GPT)；翻譯等任務兩者合用。
自注意力計算量隨序列長度平方成長，長文本成本高；有稀疏注意力、線性注意力等改良在處理長序列。