重要性最高的特徵，是「原因」嗎？
feature_importances_ 的正確打開方式

00題目

訓練 Random Forest 後取得特徵重要性。對 feature_importances_ 的解讀，何者最正確？

from sklearn.ensemble import RandomForestClassifier                      # 拿出隨機森林分類器
rf = RandomForestClassifier(n_estimators=300, random_state=42)           # 300 棵樹、固定亂數種子
rf.fit(X_train, y_train)                                                 # 用訓練資料把森林種出來
importance = dict(zip(feature_names, rf.feature_importances_))           # 把「特徵名字」和「重要性分數」拉鍊成一本字典
print(sorted(importance.items(), key=lambda x: x[1], reverse=True)[:5])  # 依分數由大到小排序，印出前 5 名

—先說「特徵重要性」是什麼

一支球隊贏球之後，教練團會整理一份功勞簿：這一季的關鍵時刻，球是交到誰手上的、誰的上場改變了局面。feature_importances_ 就是隨機森林的功勞簿——森林訓練完之後，回頭統計「這 300 棵樹在切分資料時，倚重了哪些特徵、各佔多少」，每個特徵一個分數，全部加起來等於 1。

但功勞簿有它天生的邊界。它記的是「這支球隊、這一季」的倚重程度：換一批對手（資料）、換一套戰術（模型）、甚至只是換個賽程順序（隨機種子），數字就會變。它也從來沒有說「得分王是贏球的原因」——也許他只是站在真正原因旁邊的人。

先點開看：feature_importances_ 是什麼？分數是怎麼算的？相關與因果差在哪？

01逐行拆解：第 1 行到第 5 行

五行，一行一行走完。右上角的「看位置」可以把這一行放回完整程式裡看。

先認識「連環呼叫」：一行裡好幾層括號

第 4、5 行都是一層包一層的寫法。訣竅只有一個：由最裡面往外讀，把每一層的成品想像出來，再交給外面那層。

第 4 行： dict( zip(名字們, 分數們) )
          └ 先拉鍊配對 ──→ 再裝訂成字典

第 5 行： sorted( importance.items(), key=..., reverse=True )[:5]
          └ 先攤平成一疊(名字,分數) → 依分數大到小排序 → 只拿前 5 張

想深入的話點這裡：zip 是什麼？sorted 怎麼用？lambda 是什麼？[:5] 是什麼？

from sklearn.ensemble import RandomForestClassifier   # 從「集成方法」抽屜拿出隨機森林

rf = RandomForestClassifier(n_estimators=300, random_state=42)   # 300 棵樹、亂數固定住

rf.fit(X_train, y_train)   # 用訓練資料把 300 棵樹種出來

importance = dict(zip(feature_names, rf.feature_importances_))   # 名字配分數，一對一裝進字典

① zip(feature_names, rf.feature_importances_)
   像拉鍊：左排是 13 個名字、右排是 13 個分數，拉起來變成
   ("alcohol", 0.1435), ("malic_acid", 0.0344), ... 一對一對

② dict(①)
   把這疊配對裝訂成字典：{"alcohol": 0.1435, "malic_acid": 0.0344, ...}
   之後就能用名字查分數：importance["alcohol"] → 0.1435

print(sorted(importance.items(), key=lambda x: x[1], reverse=True)[:5])   # 排序取前 5 印出來

① importance.items()          把字典攤回一疊 (名字, 分數) 的配對
② sorted(①, key=lambda x: x[1], reverse=True)
      key=lambda x: x[1]        「排序時，看每張配對的第 [1] 格（分數）」
      reverse=True              由大到小（預設是由小到大）
③ ②[:5]                      切片：只留前 5 張
④ print(③)                   印出來

02這串分數是怎麼算出來的：MDI

feature_importances_ 的正式身分是 MDI（Mean Decrease in Impurity，不純度下降平均），也叫 Gini importance。原理跟著種樹的過程走：

每棵樹的每一次分岔，都在做同一件事：
  挑一個特徵、挑一個切點，把資料切成「更純」的兩堆
  （純 ＝ 堆裡幾乎都是同一類；用 Gini 不純度來量）

某特徵的重要性 ＝ 它主刀的每一次分岔「讓不純度下降多少」
                （乘上該節點分到的樣本比例）通通加起來，
                再對 300 棵樹取平均，最後全體正規化成總和 1

\[ \text{MDI}(f) \;=\; \frac{1}{T}\sum_{t=1}^{T}\;\sum_{\substack{\text{樹 } t \text{ 中}\\ \text{用 } f \text{ 分岔的節點}}} \frac{n_{node}}{n} \,\Delta\text{impurity} \]

三個馬上能用的性質：① 每個分數都 ≥ 0（不純度只會被「下降」記帳，沒有負的貢獻）；② 全部加起來恰好等於 1（正規化過，所以它天生是「比例」）；③ 它是訓練過程的帳目——只看訓練資料，跟測試集表現無關。

03選項 A：它是「這座森林」的相對分數——為什麼這樣讀剛剛好

A 說了兩件事，兩件都對：「此已擬合模型中的相對重要性」＋「不能單憑此數值推論因果」。前半句的三個「相對」值得拆開：

至於後半句「不能推論因果」——這正是 B 選項踩爆的地雷，下一節用一個你一定聽過的例子實跑給你看。

相關名詞：為什麼總和是 1random_state相關特徵攤分

04選項 B：重要性最高 ≠ 原因，更不會是「唯一原因」

經典故事：統計上，冰淇淋銷量跟溺水人數高度同進退。冰淇淋是溺水的原因嗎？當然不是——背後有一個沒被寫進表格的混淆因子：夏天。天氣熱，冰淇淋賣得多、玩水的人也多。

我們把這個世界「造」出來實跑一次——因為是模擬，我們知道真相：溺水率 y 完全由「夏天炎熱程度 Z」決定，冰淇淋銷量也只是 Z 的結果，而 Z 沒有被收進特徵表（現實中混淆因子常常就是沒被記錄的那個）。

模擬世界的真相（模型看不到這張圖）：

        夏天炎熱 Z ────（沒被收進特徵表！）
        ↙          ↘
冰淇淋銷量 X        溺水率 y        X 和 y 之間【沒有】因果箭頭

相關名詞：混淆因子相關與因果介入（do 操作）

05選項 C：0 分不是永久判決

C 說「數值為 0 的特徵，在任何資料集與任何模型中都永遠無效」——「任何」和「永遠」這種宇宙級的量詞，就是它的死因。重要性 0 只說明一件事：這座森林（在這份訓練資料上）沒有從它身上記到任何帳。換個情境，同一個特徵可以立刻滿血復活。兩個實跑證據：

證據一：常數欄位——這批資料剛好沒變化而已

證據二：分身攤分——分數被本尊拿走了

更常見的情境：兩個高度相關的特徵會互相攤分數。樹分岔時兩個都能用、隨機挑到誰誰記帳——所以其中一個看起來「不重要」，可能只是功勞被分身拿走。

相關名詞：相關特徵攤分feature_importances_

06選項 D：它也不是「相關係數」

D 把 feature_importances_ 說成「每個特徵與目標之間的機率相關係數」。先說個小事實：「機率相關係數」根本不是統計學的正式名詞——選項自己發明術語，通常就是陷阱的味道。就算好心把它讀成「皮爾森相關係數」，也完全對不上，三個硬差異：

相關名詞：皮爾森相關係數MDI

07那想要更可信的重要性，該看什麼？

MDI 快、免費（訓練完就有），但有兩個已知偏誤：偏愛切點多的高基數特徵、只看訓練資料。sklearn 官方文件自己就提醒：對高基數特徵，MDI 可能誤導。常用的補強是 permutation importance：

permutation importance 的做法（在測試集上）：
  1. 先量模型的正常分數
  2. 把「某一欄」整欄打亂（其他欄不動）→ 再量一次分數
  3. 分數掉多少，就是這一欄的重要性（重複 30 次取平均）

  問的問題從「訓練時誰被用到」變成「現在弄壞誰，模型會真的變差」

四個選項一句話收工

—回到題目：現在再作答一次

再看一次同一段程式。這次你知道那串數字的身分了：一本「這座森林的功勞簿」。

訓練 Random Forest 後取得特徵重要性。對 feature_importances_ 的解讀，何者最正確？

from sklearn.ensemble import RandomForestClassifier                      # 拿出隨機森林
rf = RandomForestClassifier(n_estimators=300, random_state=42)           # 300 棵樹、固定種子
rf.fit(X_train, y_train)                                                 # 訓練＝記功勞簿
importance = dict(zip(feature_names, rf.feature_importances_))           # 名字配分數
print(sorted(importance.items(), key=lambda x: x[1], reverse=True)[:5])  # 印前 5 名

08自我檢測

八題，全部都是本題的延伸。答錯會直接告訴你錯在哪。

09重點整理

1. 第 4 行由內往外讀：zip 把「名字們」和「分數們」拉鍊成一對一對，dict 再裝訂成「用名字查分數」的字典。zip 遇到兩排不一樣長會默默拉到短的那排就停，不報錯。
2. 第 5 行四連發：.items() 攤平成 (名字, 分數) 配對 → sorted(..., key=lambda x: x[1], reverse=True) 依第 [1] 格（分數）由大到小排 → [:5] 切前五 → print。
3. feature_importances_ 的正式身分是 MDI（不純度下降平均）：統計每個特徵主刀的分岔讓 Gini 不純度下降多少，對 300 棵樹取平均後正規化。每個值 ≥ 0、總和恰為 1、只看訓練資料（實跑總和 1.0000000000）。
4. 它尾巴的底線＝fit 之後才存在的屬性；分類與迴歸的樹家族（DecisionTree、RandomForest、GradientBoosting）都有這個屬性。
5. 它是相對分數：換 random_state 數值就浮動、名次會互換（實跑 seed 42→0：color_intensity 0.159→0.186、第 2/3 名互換）；多塞欄位份額就重分。
6. 重要 ≠ 不可或缺：拿掉第一名 color_intensity 重訓，accuracy 只從 1.000 掉到 0.944，相關特徵馬上補位（alcohol 0.144→0.207）。
7. 重要 ≠ 原因（A 對、B 錯的核心）：混淆因子模擬——冰淇淋重要性 0.609，但把它整欄打亂，真實 y 一個都沒變（y 只由沒被收錄的「夏天」生成）。預測上有用，操作上無效。因果要靠實驗設計或因果推論。
8. 0 分不是永久判決（C 錯）：flavanoids 弄成常數後 MDI 恰好 0，但它在原資料是第 2 名、|r|＝0.847 全場最高；高度相關的分身還會互相攤分數（完全複製 → 0.159 攤成 0.138＋0.136）。
9. 它不是相關係數（D 錯）：MDI 無正負、總和 1、是模型內帳目；r 有正負、逐對計算、與模型無關。實跑：MDI 冠軍的 r 只有 +0.266，|r| 冠軍是負相關的 flavanoids（−0.847）。「機率相關係數」更不是正式名詞。
10. MDI 的兩個已知偏誤：偏愛高基數特徵（連純亂數都拿到 0.0057，連續亂數是 0/1 亂數的 5 倍）、只看訓練集。sklearn 官方文件明示對高基數特徵可能誤導。
11. 要更可信就用 permutation importance（測試集上打亂單欄看分數掉多少）：亂數欄位在它這本帳上拿到乾淨的 0.0000。要解釋單筆預測用 SHAP。
12. 正確答案 A：「此已擬合模型中的相對重要性」＋「不能單憑此數值推論因果」——兩個限定詞，正好是這串數字的能與不能。

—考點提醒與常見問題

特徵重要性是中級科目三「機器學習技術與應用」與科目二模型評估的交界考點，通常考觀念不考計算。最常見的五種問法：① 給一段印出 feature_importances_ 的程式，問「何者是正確解讀」（本題這種；錯誤選項固定往三個方向長：因果跳躍、宇宙級量詞、張冠李戴成相關係數）；② 問 MDI 的性質（總和為 1、非負、fit 後才有、樹家族才有）；③ 問 MDI 對什麼特徵有偏誤（高基數）、該用什麼補強（permutation importance）；④ 問兩個高度相關特徵的重要性會怎樣（互相攤分）；⑤ 給「冰淇淋與溺水」型情境問該下什麼結論（混淆因子、相關非因果）。抓住一句話：這串數字回答「模型用了誰」，不回答「誰造成結果」也不回答「誰跟結果同進退」。

相關主題