生成式模型(GPT 類)為什麼難評估？

生成是開放式、沒有唯一正解；不像分類有標準答案，需用多種自動指標加人工評估綜合判斷。

常見的自動評估指標？

困惑度(Perplexity，語言流暢度)、BLEU 與 ROUGE(與參考答案的詞重疊，用於翻譯與摘要)、BERTScore(語意相似)等。

衡量語言模型對測試文本的驚訝程度，越低代表越能預測該文本、越流暢；但低困惑度不等於內容正確或有用。

自動指標抓不到事實正確性、連貫性、有用性與安全；生成品質常需人工或用更強模型(LLM-as-judge)評分。

用事實一致性檢查、要求附來源、與知識庫比對，或專門的真實性基準；RAG 也能降低並便於查證。

核心白話：評估 AI 寫的英文好不好，最快的方式是拿去跟「人類專家寫的標準答案（Reference）」做單字比對。BLEU 專注於 Precision（AI 猜的字有多少猜對，別瞎編）；ROUGE 專注於 Recall（人類標準字有多少被 AI 成功抓到，別漏意）。

👇 請選擇測試的 GPT 生成輸出文字情境：

🟢 綠色外框代表該字成功命中標準答案 | ➖ 灰色代表未命中或遺漏

🔷 BLEU (機器翻譯評估) — Precision 導向 0.00%

🔮 ROUGE-1 (摘要召回率) — Recall 導向 0.00%

除了用機器去對答案單字以外，評估 GPT 還有兩個不可或缺的維度：模型自己講話通不通順（Perplexity）、以及在現實世界中寫程式或回答問題的真正實力（Human Eval）。

Perplexity (PPL 困惑度)： 它是模型的「語感底子」。不跟正確答案比，只看模型自己接龍寫出這句話時猶豫不決的程度。PPL 越低，代表語句越流暢、越像人類說的話。
Human Eval (人類代碼基準測試)： 這是目前評估程式碼生成模型寫程式潛力的黃金標準。盲測模型寫出的代碼**實際執行單元測試的成功通過率（Pass@1）**。這徹底杜絕了表面文字比對的膚淺盲點！

最適用場景： 機器翻譯（Machine Translation）。

特點： 它是 Precision（精準率）的化身。分子看「AI 猜對了幾個字」，分母看「AI 總共吐出了幾個字」。如果 AI 為了逃避責任故意說得非常短，它還會觸發簡短懲罰因子（Brevity Penalty）扣分。適合不容許胡言亂語的硬核翻譯任務。

最適用場景： 自動文本摘要（Text Summarization）。

特點： 它是 Recall（召回率）的化身。分母看「人類專家給的標準答案總字數」。摘要任務最怕漏掉核心大意，哪怕 AI 自己多碎念了幾句（Precision低），只要把標準答案裡的關鍵要點全部抓齊（Recall高），ROUGE 就會給予高分評價。