Consistency · 統一與去重

一致性檢查

同一件事,別有十種寫法

多來源合併最常見的災難是同一件事有很多種寫法:日期格式、異體字、重複列、單位混用。
一致性檢查把它們統一規格、去除重複。

格式統一 + 去重 + 跨表參照完整
01 — 白話直覺

同一件事,別有十種寫法

多來源資料合併時,最常見的災難是同一件事有很多種寫法:日期「2024/1/5」vs「5 Jan 2024」、性別「M/男/1」、重複的列、單位混用(公斤 vs 公克)。一致性檢查就是把這些統一規格、去除重複

2024/1/52024-01-05
格式統一
同一規格

日期、單位、大小寫統一。

去重複
刪重複

同一筆記錄出現多次。

跨表一致
對得上

A 表的 ID 在 B 表找得到。

魔鬼藏在細節:「台北市」vs「臺北市」、首尾空白、全形半形——這些肉眼難察的不一致,會讓彙總統計全錯。

02 — 核心互動

找出並修正不一致

下面是一份合併後的客戶名單,藏著各種不一致。點「檢查」逐一標出問題,再點「修正」統一規格、去除重複。

發現問題
狀態

真實專案會把這些檢查寫成自動化規則(如正則表達式、驗證腳本),每次資料進來都自動跑,而不是靠人眼一筆筆看。

03 — 檢查項目

一致性的面向

優點

  • 統一格式讓彙總統計正確
  • 去重避免重複計算
  • 跨表參照完整,關聯不斷裂

缺點 / 限制

  • 全形半形、首尾空白等隱形不一致
  • 重複資料灌水統計數字
  • 跨表 ID 對不上 → JOIN 出現遺漏

檢查面向

📐
格式
日期、單位、大小寫
🔁
重複
完全重複 / 近似重複
🔗
參照
外鍵在主表找得到
04 — 速記與對照

常見不一致與對策

類型例子對策
格式不一日期 2024/1/1 vs 1-Jan-24統一格式與單位
單位不一公斤 vs 磅、幣別換算成統一單位
重複/衝突同一人多筆不同地址去重、建單一真相
跨表不符訂單金額與明細加總不同對帳、外鍵約束

自我檢測

資料一致性指什麼?
同一事實在不同地方、不同時間都相符;格式、單位、關聯都對得起來,沒有互相矛盾。
怎麼維護一致性?
統一格式與單位、用主鍵/外鍵約束、建「單一真相來源」、定期對帳與驗證規則。
強一致和最終一致差在哪?
強一致每次讀到最新值(關聯式);最終一致允許短暫不同步、最後會收斂(分散式),用一致性換可用與擴展。

🎯 重點整理

  1. 一致性=同一事實處處相符、不矛盾。
  2. 統一格式、單位、編碼。
  3. 用主鍵/外鍵約束與對帳維護。
  4. 建立單一真相來源(SSOT)。
  5. 強一致 vs 最終一致依系統取捨。

📝 iPAS 考點提醒

資料一致性檢查確保跨來源、跨時間的資料無矛盾,iPAS 資料品質考點(中級科目二)。重點:檢查格式、單位、編碼、定義是否統一(如日期格式、幣別、性別代碼),避免整合後出錯。易混點:一致性(內部無矛盾)與正確性(符合真實)不同;多來源整合最常踩單位或定義不一致的坑。情境:資料整合(Data Integration)前的清整、ETL 品質把關。

想練情境題與詳解 → AI 學習與考證地圖

❓ 常見問題

資料一致性指什麼?

同一份資料在不同地方、不同時間都正確且不矛盾;包含格式一致、跨表與跨系統值一致、與業務規則一致。

常見的不一致問題?

同一實體多種寫法(台北/臺北/Taipei)、單位混用、跨表 ID 對不上、重複且衝突的紀錄、時區與編碼不一。

怎麼維護一致性?

訂資料標準與主資料管理(MDM)、用約束與驗證規則、ETL 中標準化、建立單一可信來源(single source of truth)。

強一致和最終一致差在哪?

強一致:讀到的永遠是最新(關聯式 DB);最終一致:更新後短時間內各節點可能不同、最後才收斂(分散式常見)。

不一致對分析的影響?

會讓彙總錯誤、重複計算、join 失敗、結論偏差;分析前的清理與一致性檢查是必要步驟。

🧭 相關主題

← 返回 AI 學習與考證地圖