神經網路的訊號流動是 iPAS 初級科目二與中級科目三「深度學習」的必考基礎。常見考法:前向傳播算輸出、反向傳播用鏈鎖律把損失對各權重的梯度往回傳、再用梯度下降更新;CNN 以卷積核掃描影像擷取局部特徵、池化縮小尺寸;RNN 把前一步隱藏狀態帶到下一步、但長序列會梯度消失;LSTM 用遺忘/輸入/輸出閘門保留長期記憶;注意力讓每個位置直接連到整句;ResNet 的殘差跳接讓很深的網路也能訓練。易混點:梯度消失與爆炸的對策(ReLU、BatchNorm、殘差、梯度裁剪);層數不是越多越好。情境題長相:「訓練很深的網路時準確率反而下降,可引入何種結構改善?」答殘差連接(ResNet)。
想練情境題與詳解 → AI 學習與考證地圖
前向把輸入逐層加權轉換算出預測;反向用鏈式法則把誤差逐層回傳、算出每個權重的梯度並更新。一來一回構成一次訓練迭代。
小卷積核在影像上滑動做加權求和,抓取局部特徵;權重共享讓參數量大減,越深層特徵越抽象(邊緣→形狀→物件)。
RNN 只有一條隱藏狀態,序列一長梯度消失、記不住早期資訊;LSTM 加入細胞狀態與遺忘/輸入/輸出三道門,長期資訊保得住。
Query 和每個 Key 算相似度、softmax 成權重後對 Value 加權求和——每個位置都能直接看到全句,不受距離限制。
深網路的退化與梯度消失:輸出=F(x)+x,梯度可經跳接直達淺層,ResNet 因此能疊上百層,Transformer 每層也都靠它。