多來源合併最常見的災難是同一件事有很多種寫法:日期格式、異體字、重複列、單位混用。
一致性檢查把它們統一規格、去除重複。
多來源資料合併時,最常見的災難是同一件事有很多種寫法:日期「2024/1/5」vs「5 Jan 2024」、性別「M/男/1」、重複的列、單位混用(公斤 vs 公克)。一致性檢查就是把這些統一規格、去除重複。
日期、單位、大小寫統一。
同一筆記錄出現多次。
A 表的 ID 在 B 表找得到。
魔鬼藏在細節:「台北市」vs「臺北市」、首尾空白、全形半形——這些肉眼難察的不一致,會讓彙總統計全錯。
下面是一份合併後的客戶名單,藏著各種不一致。點「檢查」逐一標出問題,再點「修正」統一規格、去除重複。
真實專案會把這些檢查寫成自動化規則(如正則表達式、驗證腳本),每次資料進來都自動跑,而不是靠人眼一筆筆看。
| 類型 | 例子 | 對策 |
|---|---|---|
| 格式不一 | 日期 2024/1/1 vs 1-Jan-24 | 統一格式與單位 |
| 單位不一 | 公斤 vs 磅、幣別 | 換算成統一單位 |
| 重複/衝突 | 同一人多筆不同地址 | 去重、建單一真相 |
| 跨表不符 | 訂單金額與明細加總不同 | 對帳、外鍵約束 |
資料一致性檢查確保跨來源、跨時間的資料無矛盾,iPAS 資料品質考點(中級科目二)。重點:檢查格式、單位、編碼、定義是否統一(如日期格式、幣別、性別代碼),避免整合後出錯。易混點:一致性(內部無矛盾)與正確性(符合真實)不同;多來源整合最常踩單位或定義不一致的坑。情境:資料整合(Data Integration)前的清整、ETL 品質把關。
想練情境題與詳解 → AI 學習與考證地圖
同一份資料在不同地方、不同時間都正確且不矛盾;包含格式一致、跨表與跨系統值一致、與業務規則一致。
同一實體多種寫法(台北/臺北/Taipei)、單位混用、跨表 ID 對不上、重複且衝突的紀錄、時區與編碼不一。
訂資料標準與主資料管理(MDM)、用約束與驗證規則、ETL 中標準化、建立單一可信來源(single source of truth)。
強一致:讀到的永遠是最新(關聯式 DB);最終一致:更新後短時間內各節點可能不同、最後才收斂(分散式常見)。
會讓彙總錯誤、重複計算、join 失敗、結論偏差;分析前的清理與一致性檢查是必要步驟。