水龍頭不是水庫：
一次一塊、邊讀邊加

00題目

工程師執行下列程式處理 50GB 檔案，敘述何者正確？

reader = pd.read_csv('logs.csv', chunksize=1_000_000,   # 一次只讀 100 萬筆
                     usecols=['user_id','region','amount'],   # 只挑三欄
                     dtype={'region': 'category'})   # 字串欄字典編碼
total = 0   # 帳本
for chunk in reader:   # 一塊一塊接
    total += chunk['amount'].sum()# 邊讀邊加、加完就放

—先說：水龍頭、水庫與帳房先生

50GB 的檔案、幾 GB 的記憶體——整缸水倒不進小杯子。這題的解法是把 read_csv 從「水庫模式」切成水龍頭模式：加了 chunksize，回來的 reader 就不是裝滿水的水庫（DataFrame），而是一顆水龍頭（TextFileReader）——本身沒有水，轉一下才流出一杯（100 萬筆的小 DataFrame）。for chunk in reader 就是「接一杯、記個帳、倒掉，再接下一杯」——帳房先生手上永遠只有一杯水和一本帳（total），50GB 流完、帳也記完了。另外兩顆旋鈕在幫杯子瘦身：usecols——8 欄的檔案只裝需要的 3 欄；dtype='category'——把「北區、南區……」這種重複幾十萬次的字串改成字典編碼（字典寫一次、格子裡放小代碼）。三個錯誤選項是三種誤會：A 把水龍頭當水庫直接舀水（當場 TypeError）；C 以為水龍頭一轉就召喚出一排機器（chunksize 是單機省水術、不是 Spark 的分散式艦隊）；D 以為字典編碼會把字全部塗掉變成 0（字典就在旁邊、一個字都沒丟）。

先點開看：TextFileReaderchunksize 分塊category dtype

01逐行拆解：一顆水龍頭、三顆瘦身旋鈕

五段，一段一段走完。右上角的「看位置」可以把這一段放回完整程式裡看。

import pandas as pd   # 單機資料處理的老朋友
reader = pd.read_csv('logs.csv', chunksize=1_000_000,   # 一次只讀 100 萬筆
        usecols=['user_id','region','amount'],   # 8 欄只挑 3 欄
        dtype={'region': 'category'})# 字串欄字典編碼——三件套到齊

print(type(reader))   # TextFileReader——水龍頭不是水庫
total = 0   # 帳本只有一個數字
for chunk in reader:   # 每次迭代：載入一塊 (1_000_000, 3) 的 DataFrame
    total += chunk['amount'].sum()# 這一塊記完帳、下一圈就被回收

print(total)   # 5,401,597,601——與全載 sum 完全相等（整數元一字不差）
# 實跑塊帳：4 塊 = 100萬 × 3 ＋ 最後一塊 60 萬（不滿照樣出貨）
# 記憶體帳：全載 8 欄 1,304.8 MB vs 串流峰值 41.1 MB——縮 20 倍
# 三件套單塊帳：8 欄 369.1 → usecols 3 欄 104.0 → +category 16.2 MB

# A 世界：reader['amount'] → TypeError: 'TextFileReader' object is not subscriptable
# 　　　　hasattr(reader, 'sum') → False——水龍頭本身沒有水、也沒有 sum
# C 世界：os.getpid() 全程同一顆——4 塊在同一個 Python 行程裡循序處理
# 　　　　chunksize 是單機省水術；分散式要換 Spark/Dask（第 20 頁本尊）

# D 世界：categories 字典 ['中區','北區','南區','東區','離島']——值一個都沒變
# cat.codes 值域 0~4 是「內部代碼」；value_counts 與 object 版 array_equal=True
# 一次性：迴圈跑完再 next(reader) → StopIteration——要重開水龍頭
# 50GB 換算：約 771 塊——峰值記憶體仍是每塊 16.2 MB 級
# 口訣：一次一塊、邊讀邊加；挑欄壓字省記憶體——單機串流不是 Spark

02水龍頭實驗室：reader 的三張身分證

它是什麼、怎麼流、流完會怎樣——三面向逐一實跑：

相關名詞：TextFileReader迭代器一次性get_chunk 手動接水

03記憶體帳房：三件套各省多少

chunksize、usecols、category——一顆一顆旋鈕拆開量：

相關名詞：記憶體 vs 磁碟usecols 挑欄50GB 的帳

04category 闢謠室：D 誣賴了字典編碼

「全部轉成數字 0、資訊遺失」——值、代碼、記憶體三面開庭：

相關名詞：category dtypecat.codesvalue_counts 對帳

05分散式闢謠庭：C 的艦隊幻覺

「自動啟動多台機器、效果等同 Spark」——宣稱、真身、本尊三面對質：

相關名詞：單機 vs 分散式Spark 是什麼串流處理

06考場加碼：帳房進階與三個陷阱

分塊處理的進階姿勢速查（全部本站實跑）：

# 陷阱①：pd.concat(list(reader))——把全部塊接回一張大表＝自殺（記憶體原地爆回全載）
# 陷阱②：平均值不能用「各塊平均再平均」——要累加 (sum, count)（第 22 頁整頁在講）
# 陷阱③：最後一塊只有 60 萬筆——任何「假設每塊等長」的算法都會在餘數塊翻車

相關名詞：concat 自殺陷阱可合併統計量分塊分組聚合

07四個選項收工

—回到題目：現在再作答一次

再看一次同一道題。這次你手上有一句口訣了：一次一塊、邊讀邊加；挑欄壓字省記憶體——單機串流不是 Spark。

reader = pd.read_csv('logs.csv', chunksize=1_000_000, ...)   # 水龍頭不是水庫
for chunk in reader: total += chunk['amount'].sum()   # 一次一塊、邊讀邊加

08自我檢測

八題，全部都是本題的延伸。答錯會直接告訴你錯在哪。

09重點整理

1. 水龍頭比喻：50GB 整缸水倒不進小杯子——chunksize 把 read_csv 從「水庫」切成「水龍頭」，一次流一杯（100 萬筆的小 DataFrame）、接一杯記一筆帳、倒掉再接。
2. 正解 B 三零件（實跑）：reader 是可迭代的 TextFileReader；每次迭代載入一塊完整 DataFrame（4 塊＝100萬×3＋60萬）；usecols＋category 讓每塊 369.1 → 104.0 → 16.2 MB。
3. A 的死因（實跑）：reader 不是 DataFrame——reader['amount'] 當場 TypeError: 'TextFileReader' object is not subscriptable、hasattr(reader, 'sum')=False。
4. C 的死因（實跑）：os.getpid() 全程同一顆——單機、單行程、循序；chunksize 不啟動叢集、不等同 Spark——分散式是另一座梯階（第 20 頁）。
5. D 的死因（實跑）：category＝字典編碼——categories ['中區','北區','南區','東區','離島'] 完整保存、cat.codes 0~4 是內部代碼；value_counts/groupby/逐值比對與 object 版全部相等、資訊零遺失。
6. 總和對帳（實跑）：串流 total＝5,401,597,601＝全載 sum——整數元一字不差；分批加總不損精度（浮點欄要先定精度）。
7. 記憶體帳（實跑）：全載 8 欄 deep 1,304.8 MB／tracemalloc 峰值 810.1 MB vs 串流峰值 41.1 MB——縮 20 倍；region 欄 object 88.7 → category 0.95 MB（93 倍）。
8. 一次性（實跑）：迭代器跑完再 next(reader) → StopIteration——要再算一輪就重開一顆 reader；get_chunk(5) 可手動接一杯。
9. 最後一塊不滿（實跑）：3.6M ÷ 100 萬＝3 塊整＋餘 60 萬——任何「假設每塊等長」的算法都會在餘數塊翻車。
10. 50GB 換算（實測每列 69.6 bytes）：約 771 塊——塊數變多、峰值不變：檔案大小與記憶體占用徹底脫鉤，這是整題的靈魂。
11. 三個陷阱：pd.concat 全塊接回＝自殺；平均不能「各塊平均再平均」（第 22 頁的 (sum, count) 解法）；跨塊統計要用可合併統計量。
12. 考場口訣：一次一塊、邊讀邊加；挑欄壓字省記憶體——單機串流不是 Spark。

—考點提醒與常見問題

「大型檔案分塊處理」是中級科目二機率統計與資料分析的大數據處理招牌考點，chunksize、TextFileReader、記憶體優化輪流出場。最常見的六種問法：① 給程式問 reader 的身分與行為（本題——迭代器 vs DataFrame）；② 問塞不進記憶體的統計怎麼算（第 22 頁——串流累加）；③ 問 usecols／dtype 的省記憶體效果（可量化）；④ 問 category dtype 的原理（字典編碼、值不變）；⑤ 問 chunksize 與 Spark 的差別（單機 vs 分散式）；⑥ 問迭代器特性（一次性、最後一塊不滿）。一句口訣：一次一塊、邊讀邊加。

相關主題