💡一句話定義
大型語言模型（LLM）＝ 以 Transformer 為基礎，在海量文本上預訓練、學習預測下一個 token；過程中順便學到語法、知識與推理樣式，再拿來做問答、摘要、生成等任務。
這頁用一句話「The AI cat sat on the mat」，帶你看懂 RNN、BERT、GPT 三種架構在「資訊怎麼流動」上的根本差別。
🧬NLP 的演進脈絡
- 詞袋 / TF-IDF：把文字當一堆詞的統計，不管語序。
- 詞向量（Word2Vec）：用向量表示詞義，語意相近的詞靠得近。
- RNN / LSTM：循序讀字、帶記憶，但長句會「忘記開頭」。
- Transformer：自注意力一次看全句、可平行、長依賴強。
- BERT / GPT（LLM）：都是大的 Transformer，能力與規模一路躍升。
🎮互動：RNN / BERT / GPT 資訊怎麼流
切換三種模式，把滑鼠移到中間那排方塊上：RNN 紅線從開頭一路傳來、越來越淡（記憶衰退）；BERT 藍線雙向連到所有字；GPT 綠線只連到前面的字（看不到未來）。
NLP 與 LLM 架構演進互動演示
請選擇上方模式，並將滑鼠移到文字方塊上，觀察資料流動的方向。
🔀三種架構對照
| 架構 | 怎麼讀 | 方向 | 擅長 |
|---|---|---|---|
| RNN / LSTM | 一個字一個字循序讀、帶記憶 | 單向（有記憶但會衰退） | 早期序列任務；長句會遺忘 |
| BERT（Encoder） | 一口氣看完整句、自注意力 | 雙向（左右都看） | 理解：分類、問答、NER |
| GPT（Decoder） | 只能看前面、預測下一個字 | 單向（Masked，不看未來） | 生成：對話、續寫、寫程式 |
一句記憶：BERT「看左右來理解」；GPT「只看左邊來生成」——為了不偷看答案。
⚡為什麼 Transformer 取代了 RNN
Attention(Q,K,V) = softmax( QKᵀ / √d_k ) · V
🛠️用一個 LLM 的三種方式
| 方式 | 做什麼 | 成本 / 特點 |
|---|---|---|
| 預訓練 | 從零在大語料學通用能力 | 最貴，一般由大公司做 |
| 微調 Fine-tune | 用特定資料再訓練、調權重 | 讓模型專精某任務或風格 |
| 提示工程 Prompt | 不改權重，只設計輸入引導 | 最輕量、最快，人人可做 |
⚠️幻覺與 token
幻覺：LLM 本質是「依機率生成最可能的文字」，不是查證事實；缺乏對應知識時仍會自信地編造。用 RAG（接外部知識、要求引用來源）可降低。
token：模型處理的最小單位（常是子詞）。輸入輸出長度、計費、上下文視窗都以 token 計；中文一字常等於或多於一個 token，要注意上下文長度限制。
token：模型處理的最小單位（常是子詞）。輸入輸出長度、計費、上下文視窗都以 token 計；中文一字常等於或多於一個 token，要注意上下文長度限制。
✅自我檢測
Q1. BERT 和 GPT 用 Transformer 的哪個部分？差在哪？
BERT 用 Encoder、雙向看左右，擅長「理解」（分類、問答、NER）；GPT 用 Decoder、單向只看前文（Masked Attention），擅長「生成」（對話、續寫）。
Q2. 為什麼 Transformer 取代了 RNN？
RNN 必須循序、無法平行，長句還會梯度消失忘記開頭。Transformer 用自注意力一次看全句、可平行、長依賴強，因此成為主流。
Q3. 預訓練、微調、提示工程差在哪？
預訓練從零在大語料學通用能力（最貴）；微調用特定資料再訓練、調權重讓模型專精；提示工程不改權重、只靠設計輸入引導既有模型（最輕量）。
Q4. LLM 為什麼會「幻覺」？怎麼降低？
它是依機率生成最可能的文字、不查證事實，缺知識時會自信編造。用 RAG 接外部知識、要求引用來源，或針對性微調，可以降低。
🎯重點整理
- 演進：詞袋 → 詞向量 → RNN/LSTM → Transformer → BERT/GPT。
- RNN：循序、有記憶但長句會忘、不能平行。
- BERT：Encoder、雙向、擅理解。
- GPT：Decoder、單向、擅生成（預測下一個 token）。
- 用法：預訓練／微調／提示；注意幻覺與 token 限制。