點擊下方圖表，秒懂 AI 兩大流派
像是「克漏字測驗」。
它為了猜出中間遮住的字，必須同時看左邊的「蘋果」和右邊的「好喝」。這種能力讓它非常擅長理解整句話的語意。
像是「寫小說」。
它永遠只能看已經寫出來的字，然後猜測下一個字是什麼。寫了「今天」猜「天氣」，再猜「真好」。這讓它非常擅長生成文章。
| 特性 | BERT | GPT |
|---|---|---|
| 方向性 | 雙向 (Bidirectional) 左看右看 |
單向 (Unidirectional) 只能往後看 |
| 擅長 | 理解、分類、填空、找答案 | 創作、對話、寫作、改寫 |
| 訓練方式 | 把字遮起來，練習填空 | 給上文，練習接下一個字 |
BERT 與 GPT 都是 Transformer 預訓練語言模型,iPAS 中級科目一高頻對比題。重點:BERT 雙向、遮罩預測,擅長理解(分類、問答、NER);GPT 由左到右預測下一詞,擅長生成。易混點:BERT 是編碼器、重理解;GPT 是解碼器、重生成,別搞反;兩者都靠自注意力。情境:理解類任務選 BERT 類、生成類選 GPT 類。
想練情境題與詳解 → AI 學習與考證地圖
編碼器(BERT)雙向理解；解碼器(GPT)自回歸生成；編碼器-解碼器(T5、BART、翻譯模型)先理解輸入再生成輸出，適合翻譯與摘要。
一個一個 token 生成，每步把已生成的內容當輸入預測下一個；GPT 即如此，生成時是序列式的。
解碼器式語言模型在大規模下展現強大的生成與少樣本能力，且訓練目標簡單可擴展，成為 LLM 主流。
有資料且要穩定專精用微調；只想引導既有大模型、快又省用提示工程；要接外部知識用 RAG。
從每個任務從零訓練，轉為預訓練一個通用模型再微調或提示，大幅降低標註需求並提升表現，是 NLP 的典範轉移。