數據中臺的智能進化—阿里巴巴十二年數據平臺發展歷程
本文轉自微信公眾號“輕金融”:https://mp.weixin.qq.com/s/DUBo6eJ7msbdA8Cbm3RngQ 分享人:阿里雲智能計算平臺事業部研究員 關濤 從2016年誕生起,“中臺”概念就一路火熱至今,對互聯網與金融行業數字化轉型產生了極為深遠的影響。 作為“中臺”概念的提出者和先行者,阿里巴巴用12年的實踐探索了中臺能力建設和數據應用。在不斷升級和重構的過程中,阿里巴巴的中臺建設經歷了從分散的數據分析到數據中臺化能力整合,再到全局數據智能化的時代。 在當下如火如荼的金融行業中臺建設浪潮中,不少金融機構對於中臺建設仍存諸多迷思,中臺建設將走向何方?數據資產到底該如何管理?阿里巴巴的中臺建設之路應該能為金融機構帶來借鑑。 日前,在阿里雲舉辦的2021阿里雲金融數據智能峰會上,阿里雲智能計算平臺事業部研究員關濤對阿里巴巴如何構建數據中臺核心三要素中的平臺技術部分進行了全盤分享,其中包括數據平臺發展的四個典型階段,支持中臺業務的四大技術挑戰,以及數據平臺的四大技術趨勢等。 在阿里中臺的成功實踐中,方法論、組織、平臺能力是“數據中臺”的核心三要素,而其中平臺能力建設最為關鍵,難度也最大。阿里巴巴在打造強大的數據中臺底座方面已經進行了積極探索,並且還在不斷與時俱進夯實底座,構建面向未來的能力。 阿里巴巴數據平臺發展的四大階段 構建數據中臺,一個強大的數據平臺作為底座必不可少。 阿里巴巴數據平臺發展的四個階段,一定程度上其實也是阿里巴巴數據中臺發展的四個階段。這四個階段裡,你可以看到阿里巴巴對自身數據的商業價值的萃取,對原有分而治之的數據系統的聚合,對計算數據資產化和數據高效應用的新思路以及對數據平臺治理過程中面臨的組織變革等。 階段一:業務百花齊放,發現數據價值 2009年到2012年,阿里巴巴電商業務進入爆發期,湧現出非常多有名的業務團隊,比如淘寶、1688、AliExpresss、一淘等。每個業務都是基於數據驅動的全場景業務,業務方對數據有著強烈的訴求。 那個時候,阿里巴巴技術幾乎都是IOE架構,核心數據系統是Oracle。2年時間內,阿里巴巴建成了全亞洲最大的Oracle集群。但是在2010年,Oracle已經不能滿足計算的要求,有非常多數據延遲和不滿足性,再加上昂貴的成本,沒辦法繼續支撐業務發展。 阿里巴巴開始認真審視建設下一代數據平臺的重要性,同時啟動了兩個並行項目:一個是“雲梯1”,基於開源Hadoop技術體系,多個業務團隊構建多個Hadoop集群,集群規模達到4000臺服務器。 […]