開發與維運

海量結構化數據解決方案-表格存儲場景解讀

數據是驅動業務創新的最核心的資產。不同類型的數據如非結構化數據(視頻、圖片等)、結構化數據(訂單、軌跡),面向不同業務的使用要求需要選擇適合的存儲引擎,能夠真正發揮數據的價值。
比如:非結構化的數據-視頻圖片等適合對象存儲OSS,強事務的結構化數據-交易訂單適合MySQL。

而針對於海量的非強事務的海量結構化/半結構數據:
pic1.png

這些場景特點是:
1. 數據規模大,常見的關係型數據庫難以存儲。
2.需要支持很高的讀寫吞吐與極低的響應延遲。
3. 數據結構相對簡單,無跨數據表的關聯查詢,數據存儲寫入是無需複雜的事務機制。

表格存儲Talestore正是為了解決上述數據的存儲、訪問以及計算。

歷史訂單場景

在電商、金融、外賣、新零售等所有涉及交易與協定的所有場景中,都涉及大量的訂單。記錄社會方方面面。傳統關係型數據能夠解決需要支持強一致的事務的在線業務,但海量的訂單關係型數據無法保存全量數據,需要數據分層。

架構核心需求

  • 在線數據同步:做實時數據與歷史數據分層—支持實時同步在線業務
  • 歷史數據存儲:歷史訂單數據存儲—支持低延遲數據點查,搜索。
  • 高性價比海量存儲數據分析:針對歷史庫進行報備統計分析—需支持計算組件分析統計!pic2.png

核心優勢

  • 彌補在線庫容量問題,降低在線庫壓力
  • PB級歷史庫存儲,可全量保存所有數據,並能提供低延遲高併發查詢
  • 索引訂單內多字段,提供任意條件組合查詢

IM/Feed流場景

IM(Instant Messaging,即時通訊)成為當前互聯網業務基礎組件,在社交、遊戲、直播等場景廣泛需要。需要高效支持海量消息的存儲、同步、檢索。  

架構核心組件

  • 消息歷史庫:按對話存儲歷史消息—需海量數據,存儲易拓展
  • 消息同步庫:按接受者存儲同步消息—需支持高併發寫入,實時拉取(寫擴散)
  • 消息索引:針對歷史庫數據支持數據檢索—需數據更新同步
    pic3.png

核心優勢

  • Tablestore Timeline 消息模型,專為 IM/Feeds 場景設計,簡化開發
  • 同步表百 TB 存儲,存儲表 PB 級存儲。
  • 分佈式架構,LSM存儲引擎,支撐每秒百萬寫擴散消息寫入,毫秒級同步庫拉取
  • 讀寫擴散混合同步模型

時序場景-監控/IOT

針對實時數據的記錄與分析極大的豐富了我們對於數據的使用場景。針對系統的運維監控、針對Iot場景中對於環境與人的監控都更有效幫助我們做事實理解與決策。這裡需要面臨眾多設備與系統的高併發寫入與數據存儲,以及決策分析。

場景核心需求

  • 數據高併發寫入:面向眾多設備與系統支持百萬級節點實時寫入
  • 數據實時聚合:針對原始數據監控預聚合,降低精度—支持數據實時同步對接流計算
  • 數據存儲:長久保存數據—需單表規模極大,高性價比存儲

pic4.png

核心優勢

  • 核心單表數據規模達 10 PB,可自定義數據生命週期
  • 核心單表持續每秒寫入進 5000萬個數據點
  • 數據實時寫入,大大提升數據可見時效性
  • 毫秒級實時查詢展示趨勢圖和報表,查詢性能不受單表規模約束

輿情&風控分析

針對輿情信息的分析與把控,可以有效的分析與洞察市場。比如針對點評、新聞、評論等信息的收集分析。需要豐富的多類數據高併發寫入與便捷的數據流轉進行計算分析

場景核心需求

  • 原始數據寫入存儲:海量數據爬蟲需要高併發寫入能力與PB及存儲。
  • 多數據類型存儲:爬取的內容與生成的標籤類似豐富需要寫入Schema-Free
  • 數據分析:針對數據分階段處理原始信息->結構化標籤->結果存儲—需要支持實時計算與離線計算對接
    pic5.png

核心優勢

  • 分佈式 LSM 引擎數據存儲,提供高併發高吞吐寫入,PB 級數據存儲
  • 通過數據更新捕獲,實時觸發後續對數據的自定義處理邏輯
  • 與大數據平臺實時數據同步,分析結果寫入結果表,供應用層實時查詢

推薦系統

推薦系統作為當前所有業務精細化運營的主要抓手,顛覆了傳統內容輸出方式,成為當前海量信息時代流轉的核心引擎。廣泛在電商、短視頻、新聞等場景應用。需要高效支持海量消息存儲與實時、離線分析。 

架構核心組件

  • 行為日誌:存儲客戶端寫入實時數據—需高併發寫入,支持對接流式計算實時分析
  • 歷史數據:冷數據同步下沉至OSS數據湖—需支持數據投遞、便於數據分層
  • 用戶標籤:針對分析標籤與推薦信息存儲—需支持屬性列橫向拓展,高效檢索

pic6.png

核心優勢

  • 數據規模:存儲量無上限,冷熱數據分層靈活定義
  • 海量併發:單表寫入水平擴展,支持億行每秒級別
  • 數據實時寫入,實時可見
  • 數據實時投遞 OSS數據湖, Tablestore 只存儲熱數據,提供豐富索引,高吞吐掃描

Leave a Reply

Your email address will not be published. Required fields are marked *