大量資料存哪?倉儲像整理好的圖書館(先編目),資料湖像大倉庫(先丟著)。
判斷關鍵是結構化程度與用途,現代趨勢是兩者兼具的 Lakehouse。
大量資料要存哪?兩種主流:資料倉儲(Warehouse)像「整理好的圖書館」——進去前先分類編目(Schema-on-Write);資料湖(Lake)像「大倉庫」——什麼都先丟進去,要用時才整理(Schema-on-Read)。
存「結構化、清理好」的資料,寫入前先定好格式。查詢快、適合報表分析。例:BigQuery、Snowflake。
什麼格式都收(圖片、影片、JSON、Log),便宜、有彈性,但用前要自己整理。例:S3、GCS。
現代趨勢是 Lakehouse:結合湖的彈性便宜 + 倉儲的查詢效能與管理,魚與熊掌兼得。
把資料拖去對的地方。點下面各種資料,看它適合放倉儲還是湖,以及為什麼。判斷關鍵:結構化程度與用途。
| 類型 | 存什麼 | 用途 |
|---|---|---|
| 資料庫(OLTP) | 即時交易、結構化 | 日常交易讀寫 |
| 資料倉儲(OLAP) | 整理過的結構化 | 分析、報表、BI |
| 資料湖 | 原始各種格式(含非結構) | 大數據、ML、彈性探索 |
| 湖倉 Lakehouse | 湖的彈性+倉的管理 | 兼顧分析與 ML |
資料倉儲與資料湖是大數據儲存核心,iPAS 中級科目二考點。重點:倉儲(Data Warehouse)存已整理、結構化、供分析的資料(schema-on-write);資料湖(Data Lake)存多元、原始的大量資料(schema-on-read)。易混點:兩者用途不同、常並存(近年有 Lakehouse 融合);別把資料湖當成隨便丟資料的垃圾場(會變 data swamp)。情境:依需求選儲存架構。
想練情境題與詳解 → AI 學習與考證地圖
資料庫(OLTP)處理即時交易;資料倉儲存整理過的結構化資料供分析(OLAP);資料湖存大量原始與各種格式資料、讀取時才定結構(schema-on-read)。
結構固定、需強一致與交易用 SQL(關聯式);資料多變、需高擴展或非結構化用 NoSQL(文件、鍵值、欄式、圖)。
OLTP 重大量小型即時交易(寫多);OLAP 重複雜分析查詢與彙總(讀多、跨大量資料),設計目標不同。
分析多半只取少數欄、做彙總;欄式儲存(如 Parquet)只讀需要的欄、壓縮率高,大幅加速分析查詢。
資料量與成長、查詢型態(交易 OLTP 或分析 OLAP)、一致性需求、擴展性、成本、備援與安全。