開發與維運

交易數據清算從8小時縮至1.5小時,飛天大數據平臺MaxCompute解決餘額寶算力難題

天弘基金作為國內總規模最大的公募基金,阿里雲 MaxCompute 為我們構建了企業級一站式大數據解決方案。MaxCompute 對於海量數據的存儲、運維、計算能力強大且安全穩定,MaxCompute 服務將原本需要清算 8 小時的用戶交易數據縮短至清算 1 個半小時,同時減少了本地服務器部署壓力,在顯著提升我們工作效率的同時減少了大量開發成本和人力成本,使我們能更專注於業務發展,為用戶提供高品質、高價值的金融服務。
背景:
隨著餘額寶用戶數持續呈指數級增長,數據量也成倍增長。在這種情況之下,已經無法通過簡單的hadoop 集群進行數據的管理工作,而業務端面臨需要通過數據瞭解用戶、分析行為進而對業務決策和用戶行為進行精準預測。基於這些業務的需求驅動需要一個大數據平臺來承載,我們在對穩定性、成本、自身能力和複雜度等進行綜合考量後,決定採用當前最流行和最成熟的雲平臺·阿里雲 MaxCompute。
目標:
搭建大數據平臺從技術指標的角度是數據存儲和數據計算兩大目標,而從各個業務環節的角度看是數據採集、數據清洗、在線 / 離線分析與預測、實時 / 非實時查詢。而業務目標是為了能夠快速響應業務需求,能夠為業務分析提供穩定的開發和建模平臺,為業務提供邏輯清晰和靈活便捷的可視化平臺。從而實現從數據支持業務到數據驅動業務的逐步升級。

image.png

整個架構都是搭建在阿里雲上的,該架構是成熟的三層架構:採集層 + 整合層 +應用層。

採集層:採集層對接了我們幾乎所有的業務,採集數據的頻率有實時的、分鐘級、小時級、日級、月級,支持不同的採集頻率,而且這些都是靈活可配置的。將採集的數據通過企業級的數據交換平臺進行存儲和交換,該平臺使用 OSS 實現。通過 OSS 可以實現數據的中轉、分發和備份存儲。

整合層:在 MaxCompute 整個整合層包含了五大區:緩衝區、ODS 區、整合區、主數據和彙總區。不同的區域為了實現不同的功能,緩衝區是為了在正式進入數倉應用數據模塊之前進行數據質檢,滿足質檢後方可進行真正的加工處理,避免因為數據錯誤汙染整個數倉的數據;ODS 區是為了保留源系統格式的數據模塊,一方面能夠在有問題時追根溯源,另一方面能夠滿足部分業務的需要;整合區是數據倉庫的核心區域,通過主題建模的方式進行數據的模型化處理,使得數據的解釋口徑具有統一性;主數據則是與業務結合比較緊密的主題數據,這樣更方便業務方的使用;彙總區則是提前將需要預加工統計的數據進行統計計算,避免多次開發計算帶來的時間成本、開發成本和計算成本等。

應用層:應用層主要是通過監控、管理看板、報表等可視化系統給業務提供直觀的數據呈現,從而為業務的決策提供更加有力的數據支撐。在應用層通過 RDS、ADS、HBase 等不同的產品滿足了不同的需求。對於數據倉庫來說是一個比較複雜的系統,需要很多配套的系統輔助才能做好這樣的項目。而其中很多系統在 MaxCompute、DataWorks 中都已經產品化,大大的簡化了大數據平臺的搭建和運維,提供了一站式的解決方案,而且通過阿里雲MaxCompute、Dataworks 能夠實現敏捷開發、快速響應、輕量化運維、低成本的實現大數據平臺架構。其中包括最核心的調度系統、權限管理、元數據管控、數據安全保護傘等等一系列功能。而在使用中,數據分析師能夠快速上手完成數據的加工和分析。

業務價值案例:
收益王者:
收益王者產品幫助廣大用戶追蹤頭部用戶的交易行為,使用用戶自身數據來影響用戶心智,滿足了用戶的窺私慾、攀比欲。該產品為用戶提供了投顧化的數據服務,為公司提升了用戶粘性及交易轉化,在 2018 年實現銷量數億元。在開發過程中,MaxCompute 幫助我們快速、精準地處理海量用戶交易數據,為該產品數據的準確性、穩定性、及時性提供了有力的保障。
image.png

我們根據用戶自身屬性、交易行為、資產屬性以及與他類似的用戶的產品關注和交易行為,預測每位用戶當前最感興趣的基金。產品 AI 推薦與傳統的僅從市場
出發的產品推薦不同,我們從用戶的角度,根據用戶的行為數據,做出千人千面的產品推薦,提升了用戶體驗,並提升了交易轉化率。在特徵加工、模型開發、預測結果投入使用的過程中,Dataworks 為我們提供了整套技術架構,包括算力強大MaxCompute、組件豐富的 PAI 機器學習平臺以及 ADS、RDS 等產品,滿足了我們各方各面的需求。

Leave a Reply

Your email address will not be published. Required fields are marked *