半結構化日誌分析 Pipeline

1. 原始巢狀 JSON (Raw Logs)

2. 遞迴展開 (Flattened)

3. 時間窗口聚合 (ML 特徵)

圖解說明:從雜亂日誌到機器學習特徵

📝 iPAS 考點提醒

日誌(log)的特徵工程把原始紀錄變成可分析資料,iPAS 中級科目二考點。重點:收集、結構化、彙整與萃取——從非結構化 log 抽出時間、事件、頻率、序列等特徵供分析或建模。易混點:原始 log 是半結構或非結構化,需先解析成結構化才好用;日誌也是監控、稽核與偵測異常(資安、漂移)的基礎。情境:系統監控、異常偵測、使用者行為分析。

想練情境題與詳解 → AI 學習與考證地圖

❓ 常見問題

什麼是日誌(log)管線?

收集、傳輸、處理與儲存系統與應用日誌的流程;讓分散各處的事件能集中查詢、監控與分析。

為什麼日誌對 AI 系統重要?

記錄預測請求、輸入輸出、延遲與錯誤,是除錯、稽核、偵測資料漂移與模型退化,以及合規追溯的基礎。

典型的日誌管線長怎樣?

應用產生日誌、由收集器(如 Fluentd、Logstash)傳輸、集中儲存與索引(如 Elasticsearch)、再以儀表板(如 Kibana、Grafana)視覺化與告警。

結構化日誌的好處?

用 JSON 等結構化格式記錄,欄位可查詢、可彙總、可告警,比純文字好分析得多。

記日誌要注意什麼?

別記敏感個資(或先去識別化)、控管量與保存期、設好等級(INFO、WARN、ERROR)、確保時間戳一致與可追蹤的關聯 ID。

🧭 相關主題

← 返回 AI 學習與考證地圖