雲計算

實時計算案例:阿里巴巴雙11大屏

挑戰

2018 年 11 月12 日零點 , 天貓雙 11 大屏顯示全球狂歡節全天成交額 2135 億元, 再創紀錄新高 , 同時物流訂單量 也超過 10 億。每年的雙 11 於阿里而言都是一次數據大考,天貓雙 11 大屏更是萬眾矚目,全球大數據洩洪般湧 入,對數據處理系統提出了極高的要求:低延遲,GMV 首屏顯數控制 5s 以內;高併發,實時日誌處理峰值每秒 17 億條(約合每秒 1.7 TB);高穩定,全球直播,不能間斷。阿里雲實時計算面臨著各項性能極高要求的巨大挑 戰,在這種場景下阿里雲實時計算迎難而上,給出了完美的答卷。

解決方案

2018 年的天貓雙 11 大屏在實時數據處理上完全採用了實時計算作為計算引擎。首先,雙 11 場景數據來源多樣 化,例如:TT,SLS 等,實時計算支持多方輸入與輸出並支持多條數據流的對接,能夠方便快捷地連接計算場 景。其次,實時計算作為批流統一的大數據計算引擎,既能支持流計算也能支持批計算;實時計算的批計算能力 能幫助業務大幅減少數據的 IO,提高計算速度與效率。再次,在準確性上,實時計算的 Exactly-once 特性與背 壓策略保證了數據的計算速度,保證數據不重複不丟失;同時在穩定性上,實時計算的監控以及 Failover 加快照 點機制保障,失敗數據必須全部從快照點處重新計算,保障了數據的準確性。最後,實時計算還支持歷史數據回 刷保障了數據容災,利用數據回刷能力進行大量壓測驗證保存 30 天的訂單數據能夠在 10 分鐘內全部計算完 成。

業務優勢

2018 年雙 11,阿里巴巴集團數十個 BU 都採用實時計算解決其流計算、實時數據分析與統計等問題。實時計算 的強大 Flink SQL 使雙 11 各項業務整體性能提升 1 倍多,大約節省幾千臺機器成本。實時計算對天貓雙 11 海量 成交數據的實時分析不僅成功應用在大屏展示中,還為商家實時查看後臺數據提供支持,確保了雙 11 大屏展示 各項奇蹟的同時也為商家,小二提供包括成交,會員,種草,好友,消息等多種業務實時數據,並能夠根據業務 場景設立實時的排行,促進線下場景中導購的積極度,為雙 11 的實時交易額創造新的增量。

客戶評價

實時計算在數據處理上,依靠增量模型,微批處理,分佈式計算,性能優化等從上到下減少了計算數據,提升 了計算能力也保證了秒級數據實時算力。在準確性上,實時計算依靠增量模型,狀態管理,容災恢復,強大的 調試工具保證了數據計算的準確性。在穩定上,實時計算通過增量模型,熱點解決,背壓調整,容災恢復,各 種性能優化保證天貓雙 11 大屏數據鏈路的穩定性,完美應對了天貓雙 11 大屏的各項挑戰。

實時計算 Flink 版產品交流群

test

阿里雲實時計算Flink - 解決方案:
https://developer.aliyun.com/article/765097
阿里雲實時計算Flink - 場景案例:
https://ververica.cn/corporate-practice
阿里雲實時計算Flink - 產品詳情頁:
https://www.aliyun.com/product/bigdata/product/sc

Leave a Reply

Your email address will not be published. Required fields are marked *