開發與維運

雲原生架構下日誌服務數據預處理

直達最佳實踐:【雲原生架構下日誌服務數據預處理
最佳實踐頻道:【最佳實踐頻道
這裡有豐富的企業上雲最佳實踐,從典型場景入門,提供一系列項目實踐方案,降低企業上雲門檻的同時滿足您的需求!

場景描述

某家國際教育機構,提供在線教育服務,其用戶主要分佈在中美兩地,該企業擁抱雲計算,在架構設計上也全面採用了雲原生服務,本實踐將重點聚焦該客戶以下幾個典型場景:
場景一:跨地域/跨賬號數據彙集
場景二:數據內容富化(join維表)
場景三:數據投遞/歸檔、入湖分析
場景四:統一採集,按業務分發分析
場景五:數據監控與智能告警
基於這些場景,本篇實踐會介紹對應的解決方案和最佳實踐操作手冊,方便用戶快速快速對號入座,解決雲原生架構下的常見日誌難題。

方案優勢

  • 數據規整:對混亂格式的日誌進行字段提取、格式轉換,獲取結構化數據以支持後續的流處理、數倉計算。
  • 數據富化:日誌(例如業務訂單)與維表(例如用戶信息MySQL表)進行字段join,為日誌添加更多維度信息供分析。
  • 數據分發/匯聚:將全量日誌按轉發規則分別提取到多個下游存儲供不同業務使用。
  • 監控告警:監控大規模數據,觸發告警,支持機器學習算法(e.g:智能巡檢),通過告警策略配置,對觸發的告警進行降噪處理(去重、靜默、合併、抑制、路由分派等),然後分派給特定通知渠道(短信、郵件等)。

產品列表

  • 雲架構設計工具CADT
  • 日誌服務SLS
  • 對象存儲OSS
  • 數據湖分析DLA
  • 雲數據庫RDS MySQL版

業務架構

207.png

直達最佳實踐 》》

207.png

Leave a Reply

Your email address will not be published. Required fields are marked *