StandardScaler × PCA × LogisticRegression：
一條 Pipeline 與交叉驗證的 17 行程式

00題目

使用 scikit-learn 的 Breast Cancer 資料集評估 StandardScaler、PCA 與 LogisticRegression 的組合。下列寫法將前處理放入 Pipeline，再交由交叉驗證執行。

 1  from sklearn.datasets import load_breast_cancer
 2  from sklearn.decomposition import PCA
 3  from sklearn.linear_model import LogisticRegression
 4  from sklearn.model_selection import StratifiedKFold, cross_val_score
 5  from sklearn.pipeline import Pipeline
 6  from sklearn.preprocessing import StandardScaler
 7
 8  X, y = load_breast_cancer(return_X_y=True)
 9
10  pipe = Pipeline([
11      ("scale", StandardScaler()),
12      ("pca", PCA(n_components=10)),
13      ("clf", LogisticRegression(max_iter=2000))
14  ])
15
16  cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
17  scores = cross_val_score(pipe, X, y, cv=cv, scoring="roc_auc")

相較於先在完整 X 上執行 scaler.fit_transform(X) 與 pca.fit_transform(X)，上述 Pipeline 在交叉驗證中最重要的優點為何？

01逐行拆解：第 1 行到第 17 行

17 行，前 6 行是把工具拿進來，第 8 行載入資料，第 10–14 行組裝流程，第 16 行定義切法，第 17 行才真的開始跑。

先認識一個符號：點 .

這是物件導向的寫法。scikit-learn 整套都建立在它上面——先做出一台機器，再叫這台機器做事，而「叫它做事」就是靠這個點。

sklearn.datasets   點的左邊是模組　唸「裡面的」
scaler.fit(X)      點的左邊是物件　唸「它的」

scaler.fit(X)      有括號 = 方法，叫它做一件事
X.shape            沒括號 = 屬性，看一格資料

想深入的話點這裡：點 . 到底是什麼？方法和函式差在哪？屬性和方法差在哪？為什麼有些屬性尾巴有底線？什麼是估計器統一介面？

第 1–6 行：匯入區

這六行的句型完全一樣：from 模組 import 名字，差別只在拿的是哪個東西。import 本身不執行任何運算，它只是把工具擺到桌上，讓你之後可以直接叫它的名字。

from sklearn.datasets import load_breast_cancer

from sklearn.decomposition import PCA

from sklearn.linear_model import LogisticRegression

from sklearn.model_selection import StratifiedKFold, cross_val_score

from sklearn.pipeline import Pipeline

from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True)

pipe = Pipeline([

    ("scale", StandardScaler()),

    ("pca", PCA(n_components=10)),

    ("clf", LogisticRegression(max_iter=2000))

])

輸入原始 X
      ↓
  ① scale   StandardScaler       每欄減平均、除標準差
      ↓
  ② pca     PCA(10)              30 維 → 10 維
      ↓
  ③ clf     LogisticRegression   輸出良性機率
      ↓
   預測結果

cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

scores = cross_val_score(pipe, X, y, cv=cv, scoring="roc_auc")

── 第 k 折 ────────────────────────────
  複製一套全新的 Pipeline（不沿用上一折學到的任何東西）

  【訓練折 455 筆】
    StandardScaler.fit        只從這 455 筆算平均值、標準差
    PCA.fit                   只從這 455 筆找 10 個主成分方向
    LogisticRegression.fit    用轉換後的資料訓練

  【驗證折 114 筆】
    StandardScaler.transform  用訓練折的平均值 / 標準差，不重學
    PCA.transform             用訓練折的主成分方向，不重學
    predict_proba → 計算這一折的 ROC-AUC

array([0.99384, 0.99770, 0.98412, 1.00000, 0.99870])
        第1折     第2折     第3折     第4折    第5折

scores.mean()  → 0.9949    平均表現
scores.std()   → 0.0058    折與折之間的波動，越小越穩定

02深入：StandardScaler 為什麼非做不可

這 30 個特徵的實際數值範圍差距非常大（本站實跑）：

面積動輒上千，平滑度只有 0.1，差了將近兩萬倍。對 PCA 來說，「變異最大的方向」幾乎一定被面積霸佔；對 LogisticRegression 來說，梯度下降在尺度懸殊的空間裡很難收斂。

\[ z = \frac{x - \mu}{\sigma} \qquad(\mu = \text{該欄平均值},\ \sigma = \text{該欄標準差}) \]

白話是「你比平均高多少個標準差」。轉換後每一欄的平均值都變成 0、標準差都變成 1。

誰需要標準化

03深入：PCA 到底做了什麼

為什麼要這樣做？因為原本 30 個特徵高度重複——半徑、周長、面積根本是同一件事的三種說法（周長 ≈ 2πr，面積 ≈ πr²）。PCA 把這種重複壓掉，用比較少的軸描述同樣多的資訊。

它會把新造出來的軸由重要到不重要排序。第 1 主成分是資料變化最大的方向，第 2 主成分是跟第 1 垂直、變化次大的方向，以此類推。每個主成分能解釋多少比例的總變異，就叫 explained variance ratio。以標準化後的乳癌資料實跑：

前 10 個加起來是 95.16%——用 10 個新軸保留了原本 30 欄裡九成五的資訊，維度砍掉三分之二。

這也是選項 B 錯的原因：pca.fit(X) 的簽名裡 y 是被忽略的參數，PCA 從頭到尾只看 X 的共變異結構。用標籤決定投影方向的那是 LDA，不是 PCA。

04深入：LogisticRegression 與 max_iter

它名字叫迴歸，工作是分類。先算一個迴歸式：把 10 個主成分加權相加得到分數 \(z\)，然後用 Sigmoid 壓成 0～1 的機率：

\[ z = w_1x_1 + \dots + w_{10}x_{10} + b \qquad P = \frac{1}{1+e^{-z}} \]

輸出是「良性的機率」，例如 0.93。要變成硬答案時再套門檻（預設 0.5）。所以它輸出的是機率，只是最後被切成類別——這也是為什麼本題能算 ROC-AUC。

max_iter=2000 在幹嘛

模型要找出最好的那組權重，是靠反覆微調（預設用 lbfgs 演算法），直到幾乎不再進步為止——這叫收斂。max_iter 是安全上限。

05核心考點：Pipeline 與資料洩漏

很多人會很自然地這樣寫，因為看起來比較簡單：

# 錯誤示範
X_scaled = scaler.fit_transform(X)      # 對全部 569 筆學平均值與標準差
X_pca = pca.fit_transform(X_scaled)     # 對全部 569 筆學主成分方向

scores = cross_val_score(model, X_pca, y, cv=cv)  # 現在才切折

有人會反駁「可是 PCA 又沒用到 y，哪來的洩漏？」——洩漏不只發生在標籤上。即使只看 X，驗證折仍然貢獻了：

• 每一欄的平均值與標準差（StandardScaler 學走了）
• 整體的變異程度與特徵間相關結構（PCA 學走了）
• 因此主成分方向已經為了「包含驗證折的那份資料」而最佳化過

結果就是交叉驗證分數偏樂觀，模型真正上線遇到全新病人時，表現會比報告數字差。

Pipeline 怎麼堵住這個洞

呼叫 pipe.fit(X_train, y_train) 時，內部自動這樣做：

前面每一站（scale、pca）→ fit_transform(訓練資料)      學參數 + 轉換
最後一站（clf）        → fit(轉換後資料, y_train)       訓練模型

呼叫 pipe.predict(X_val) 時：

前面每一站（scale、pca）→ 只呼叫 transform(驗證資料)     用訓練學到的參數，不重學
最後一站（clf）        → predict()

06深入：ROC-AUC 在衡量什麼

ROC-AUC 不是「猜對幾筆」（那是 Accuracy）。它衡量的是：隨便抓一個良性病例和一個惡性病例，模型給良性的分數比較高的機率有多大。

換句話說，它問的是排序能力，不是判斷力。想像把 60 份報告依「模型覺得有多像良性」由高到低排成一列：

完美的模型   ●●●●●●●●●●●●●●●●●●●●●●●●│●●●●●●●●●●●●●●●●   AUC = 1.0
             ←──── 良性全部在左邊 ────┤─── 惡性全部在右邊 ──→

沒用的模型   ●●○●○○●●○●○●●○●○○●●○●○●●○●●○●○○●●○●○●●○●   AUC = 0.5
             ←──────────── 紅綠交錯，排了等於沒排 ────────────→

AUC 就是在量「這一列排得多乾淨」，跟你把切點畫在哪裡完全無關——這也是它比 Accuracy 穩的原因。下面這個實驗室可以直接拖看看。

為什麼分類問題常用 AUC 而不是 Accuracy？①不受門檻影響：Accuracy 要先決定 0.5 這個切點，AUC 是把所有可能門檻都掃一遍算出來的。②對類別不平衡比較穩：如果 95% 都是良性，模型全猜良性也有 95% Accuracy，看起來很棒但毫無用處，AUC 會直接打回 0.5。

平均值回答「這個流程大概多強」，標準差回答「這個估計可不可信」。本題標準差 0.0058 很小，代表換一份資料表現也差不多；如果標準差很大（例如 0.08），代表模型對資料切分方式很敏感，平均值那個數字就別太當真。

07自我檢測

七題，答錯會直接告訴你錯在哪。

08重點整理

1. from A import B ＝去 A 這個模組，把 B 拿到手上，不執行任何運算。
2. 有括號才會動：PCA 是設計圖，PCA() 是做出來的機器。
3. 括號外的 = 是「存進箱子」，括號內的 = 是「指定參數」，所以 cv=cv 不是廢話。

4. sklearn 只有三個動詞：fit（學並記住）、transform（套用已學的）、predict（預測）。
5. StandardScaler 把每欄變成平均 0、標準差 1，讓 PCA 和 LogisticRegression 不被單位騙。決策樹家族不需要。
6. PCA 不是挑欄位，是重新加權混合造新欄位；它是非監督的，完全不看 y，所以不保證提高準確率。
7. LogisticRegression 名字是迴歸、工作是分類；max_iter 是上限不是固定次數，收斂了會提早停。
8. StratifiedKFold 確保每折的類別比例跟整體一樣；shuffle=True 要搭配 random_state 才能重現。
9. Pipeline 最大的價值不是少寫幾行，是不會把 fit 用錯地方。
10. 本題答案 A：每一折的前處理只從該折的訓練資料學參數，驗證折全程只被 transform，避免資料洩漏，交叉驗證分數才可信。

—考點提醒與常見問題

這一題橫跨中級科目二「大數據處理與分析」與科目三「機器學習」。歷屆最常見三種問法：①給你一段有 fit_transform(X) 在交叉驗證之前的程式，問「此寫法有何問題」——答案永遠是資料洩漏；②問「將前處理納入 Pipeline 的主要好處」——答案是每折獨立擬合前處理參數；③問 PCA 是否使用標籤、是否保證提升準確率——答案都是否。另外 StratifiedKFold vs KFold、random_state 的作用、ROC-AUC 為何優於 Accuracy 也都是高頻考點。程式題只要抓住「fit 只給訓練資料」這一條，幾乎都能秒殺。

相關主題