💡一句話定義
多模態 AI（Multimodal AI）＝能同時接收或產生兩種以上「模態」（影像、文字、語音、影片、感測器訊號…）的 AI 系統。關鍵不只是「都能處理」，而是模型會把不同模態的資訊對齊（Align）到同一個語意空間並融合（Fuse），所以能回答「這張圖裡的貓在做什麼」這種跨模態的問題。
模態（Modality）白話講就是「資訊的形式」：眼睛看到的是影像模態、耳朵聽到的是聲音模態、閱讀的是文字模態。單一模態的 AI 像只有一種感官的人；多模態 AI 則像正常人——看到影片、聽到語氣、讀到字幕，三者一起理解。
🧩為什麼單一模態不夠
很多資訊只存在於模態之間的關係裡。三個例子：
😏「這個真是太棒了」
只看文字是稱讚；聽到語氣是翻白眼的諷刺；再看到表情就確定了。情緒分析只靠文字會錯。
只看文字是稱讚；聽到語氣是翻白眼的諷刺；再看到表情就確定了。情緒分析只靠文字會錯。
🧾一張發票
純 OCR 只拿到一堆字；要知道「哪個數字是總金額」得同時看版面位置（影像）和字的內容（文字）——這叫文件理解。
純 OCR 只拿到一堆字；要知道「哪個數字是總金額」得同時看版面位置（影像）和字的內容（文字）——這叫文件理解。
🚗自駕車
相機看得到顏色但測不準距離，光達測得準距離但分不清是紙箱還是石頭。融合兩者才安全。
相機看得到顏色但測不準距離，光達測得準距離但分不清是紙箱還是石頭。融合兩者才安全。
🎮互動一：融合時機切換器（早期／中期／晚期融合）
既然要融合，問題就是「在哪一站把不同模態接在一起」。點下面三個按鈕，看資料流圖怎麼變，以及各自的優缺點。
🔀 影像 ＋ 語音 ＋ 文字 → 判斷「這段影片的情緒」
怎麼做
優點 ／ 缺點
| 融合時機 | 在哪裡合併 | 優點 | 缺點 | 適合 |
|---|---|---|---|---|
| 早期融合 | 輸入層：原始資料或低階特徵直接拼接 | 能學到模態間最細的交互作用 | 格式／取樣率不同很難對齊；缺一個模態整個壞掉；維度爆炸 | 模態天生同步（如影片的畫面與聲音幀） |
| 中期融合 | 各自編碼成特徵向量後，在中間層合併（拼接、相加、交叉注意力） | 彈性最大、效果通常最好；可用預訓練編碼器 | 設計複雜、要調的地方多 | 現代 VLM、CLIP 系統幾乎都屬此類 |
| 晚期融合 | 每個模態各自做完預測，最後投票／加權平均 | 最簡單、模組獨立、缺模態也能跑 | 學不到模態間的交互（看不到「語氣＋表情」的組合效果） | 快速原型、各模態已有現成模型 |
🧲共同向量空間與對比學習：CLIP 的核心想法
中期融合要先解決一件事：影像的特徵向量和文字的特徵向量，本來是兩個世界的座標系，怎麼比？CLIP（Contrastive Language-Image Pre-training）的答案是：把兩個編碼器一起訓練，讓「配對的圖和字」在同一個空間裡靠近、「不配對的」被推遠。
對比學習（Contrastive Learning）怎麼訓練：一批 N 張圖＋N 句對應描述，算出 N×N 的相似度矩陣；目標是讓對角線（正確配對）分數最高、其他格子都低。訓練完後，隨便給一張新圖和幾個文字標籤，算誰最近就能分類——這就是零樣本分類（Zero-shot Classification），完全不用為新類別重新訓練。下面的互動就是在玩這個矩陣；更完整的 CLIP 演示請看 CLIP 圖文對齊。
🎮互動二：模態配對實驗（相似度矩陣熱圖）
左邊 5 張圖、右邊 5 句描述。先點一張圖，再點一句描述就完成一組配對；系統用簡化的「向量相似度」（餘弦相似度）打分，並把整個 5×5 的相似度矩陣畫成熱圖。試試看：你的配對是不是剛好落在最亮的格子？再按「🤖 零樣本自動配對」看模型自己怎麼選。
🧲 把圖和字放進同一個向量空間，誰跟誰最近？
🖼️ 影像（點一張）
📝 文字描述（再點一句）
格子顏色越深＝相似度越高；黑框＝你的配對；紫色虛線框＝該列的最高分（模型會選的）。
已配對0 / 5
你的平均相似度—
最佳可能平均—
與模型選擇相同—
尚未配對。先點左邊一張圖。
🏗️視覺語言模型 VLM 的架構：影像編碼器 ＋ 投影層 ＋ LLM
CLIP 只能「比對」，不會「說話」。想讓 AI 看圖回答問題，要再接上一個 LLM。現代 視覺語言模型（VLM，Vision-Language Model）——GPT-4V、Gemini、LLaVA、Qwen-VL——幾乎都是同一個三段式架構：
- 影像編碼器（Vision Encoder）：通常直接拿 CLIP 訓練好的 ViT（延伸閱讀：Vision Transformer），把圖切成小塊、輸出幾百個視覺特徵向量。因為它已經在 CLIP 裡「學會跟文字對齊」，LLM 比較容易聽懂。
- 投影層（Projection Layer）：一個小的線性層或 MLP，把視覺特徵的維度對到 LLM 的詞嵌入維度——像翻譯官，把「視覺語言」翻成 LLM 聽得懂的「token 語言」。訓練 VLM 時常常只訓練這一層（兩邊大模型凍結），便宜又有效。
- LLM：把視覺 token 和文字 token 排成同一串，用一般的 注意力機制 一起看，然後像平常聊天一樣逐字生成回答。
🎨多模態的三個方向：圖生文、文生圖、語音＋文字
| 方向 | 輸入 → 輸出 | 代表技術 | iPAS 歸類 |
|---|---|---|---|
| 圖生文（Image-to-Text） | 影像 → 文字 | VLM（圖像描述 Captioning、VQA）、OCR | 生成式 AI／多模態理解 |
| 文生圖（Text-to-Image） | 文字 → 影像 | 擴散模型 Diffusion（Stable Diffusion、DALL·E、Midjourney），用 CLIP 文字編碼器當「提示詞理解」 | 生成式 AI |
| 圖文對齊（Alignment） | 影像 ↔ 文字 相似度 | CLIP 對比學習、零樣本分類、以文搜圖 | 多模態／表示學習 |
| 語音＋文字 | 語音 → 文字（ASR）、文字 → 語音（TTS）、語音直接對話 | Whisper、端到端語音 LLM（GPT-4o 語音模式） | NLP 與語音 |
| 影片理解 | 影片（多幀影像＋聲音）→ 文字 | 把每幀當影像 token 加時間資訊丟進 VLM | 多模態理解 |
文生圖裡 CLIP 在哪？擴散模型本身只會「從雜訊去噪成圖」，它靠 CLIP（或 T5）的文字編碼器把提示詞變成向量，再透過交叉注意力告訴去噪過程「要畫成什麼」——所以文生圖＝多模態條件 ＋ 生成模型。完整流程請看 擴散模型 Diffusion；語音那一側請看 語音 AI：ASR 與 TTS。
📋典型任務：考題會出現的四種
| 任務 | 問題長相 | 需要的能力 | 應用情境 |
|---|---|---|---|
| VQA 視覺問答 | 給圖＋問題 →「圖裡有幾個人？」「這是什麼品牌？」 | 物件辨識 ＋ 語言理解 ＋ 推理 | 視障輔助 App、客服看截圖排錯 |
| 圖像描述 Captioning | 給圖 → 一句或一段描述 | 視覺特徵 → 自然語言生成 | 相簿自動標籤、無障礙 alt 文字、電商商品文案 |
| 文件理解 Document AI | 給發票／合約掃描 → 抽出欄位、回答問題 | OCR ＋ 版面（位置）＋ 文字語意 | 報帳自動化、保險理賠、合約審閱 |
| 影片理解 | 給影片 →「摘要這段會議」「幾分幾秒出現狗？」 | 多幀影像 ＋ 聲音 ＋ 時間序列 | 監控事件偵測、影片搜尋、自動剪輯 |
⚠️常見誤區與風險
🫠多模態幻覺
VLM 會「看到」圖裡沒有的東西（物件幻覺），因為 LLM 的語言先驗太強——看到餐桌就猜有杯子。文件理解時數字看錯一位更危險。
VLM 會「看到」圖裡沒有的東西（物件幻覺），因為 LLM 的語言先驗太強——看到餐桌就猜有杯子。文件理解時數字看錯一位更危險。
🧭對齊失敗
模態之間沒對好，模型就只靠某一個模態作弊（例如 VQA 只讀問題不看圖也能猜對 60%）。評估時要用「必須看圖才能答」的測試。
模態之間沒對好，模型就只靠某一個模態作弊（例如 VQA 只讀問題不看圖也能猜對 60%）。評估時要用「必須看圖才能答」的測試。
⚖️資料偏差放大
圖文配對資料來自網路，刻板印象會被對比學習「學得更牢」——「護士」的向量離女性照片比較近。
圖文配對資料來自網路，刻板印象會被對比學習「學得更牢」——「護士」的向量離女性照片比較近。
🎭深偽與濫用
文生圖、語音克隆、影片換臉都是多模態生成；需要浮水印、內容來源標示（C2PA）與偵測工具。
文生圖、語音克隆、影片換臉都是多模態生成；需要浮水印、內容來源標示（C2PA）與偵測工具。
三個名詞不要混：「多模態」是能處理多種形式的資料；「多任務（Multi-task）」是一個模型做多件事（可以都是文字）；「多語言（Multilingual）」是同一個模態（文字）的多種語言。考題喜歡拿這三個互相當干擾選項。
✅自我檢測
點選答案，立即看對錯與解釋。
🎯重點整理
- 模態＝資訊的形式（影像、文字、語音…）；多模態 AI＝同時處理或產生兩種以上模態，並把它們對齊、融合。
- 為什麼需要：模態互補、提高強健性、才能做跨模態任務（VQA、圖像描述、文件理解、影片理解）。
- 融合時機：早期（輸入拼接，細但脆弱）、中期（各自編碼後合併，主流）、晚期（各自預測再投票，簡單但學不到交互）。
- CLIP：對比學習讓配對圖文在共同向量空間靠近、不配對推遠；N×N 相似度矩陣對角線最高；可零樣本分類、以文搜圖。
- VLM 架構：影像編碼器（ViT）→ 投影層 → LLM；視覺 token 與文字 token 同一串處理，屬中期融合。
- 生成方向：文生圖靠擴散模型＋CLIP 文字編碼器；圖生文靠 VLM；語音靠 ASR／TTS。初級考試把文生圖、圖生文歸在生成式 AI。
- 風險：多模態幻覺、對齊失敗（單模態作弊）、偏差放大、深偽濫用。
- 別混淆：多模態 ≠ 多任務 ≠ 多語言。