前言:更多關於數智化轉型、數據中臺內容可掃碼加群一起探討
阿里雲數據中臺官網 https://dp.alibaba.com/index
作者:數據小海豚
隨著大數據趨勢的迅速增長,數據的重要性與日俱增,企業內看數據、用數據的訴求越來越強烈,其中最常見的就是各種經營報表數據:
老闆早晨9點準時需要看到企業核心的經營數據,以便進行企業戰略及方向決策
業務負責人不定期進行個性化的項目籌劃,需要多維、及時效果數據以優化項目安排
運營需要和高層一致但粒度不同的經營分析數據,並進行活動策略調整
……
舉個經營報表的例子:
這個例子並不複雜,但是對於分析師或者業務開發者,實際執行的複雜度和工作量並不小,而且類似的工作每日都在重複……業務發展越快,帶來的問題就越來越多:
加工時間長、人工成本高,招再多的分析師也難以滿足需求
代碼可讀性差,數據可維護性差,類似需求需要反覆、重複開發
代碼開發不規範,加工過程中難以避免的計算存儲浪費
得到的數據指標,複用性差導致重複建設,數據越來越不標準規範
這種情況下,對業務的直接影響就是:決策週期長(數據需求滿足慢),決策易出錯(數據指標口徑不一致)。
既要保證數據生產時效性——及時產出數據並滿足需求,又要支持數據多樣性——企業自下而上不同業務分析場景,最後還要保證數據準確性——任何時間、不同崗位的人都能用同樣的數據解讀經營情況,怎麼才能做到呢?
企業的發展加速,離不開20世紀的文檔管理轉到21世紀的信息管理。同樣的,如果繁複的指標代碼編寫工作,也可以如計算器一般,界面可視化點選,複雜的代碼研發過程由計算器自行處理完成就好了。
而Dataphin的自動化建模功能,就可以很好實現這個能力。
1、選擇組合條件
如下圖,確定需要統計計算的值,Dataphin裡稱為“原子指標”——最小的數據值統計單元,比如用戶數這樣的統計值等,然後組合如下內容:
- A. 統計計算值需要應用的分析對象,Dataphin裡稱為“統計粒度”——維度或維度的組合,比如用戶星級、用戶狀態等
- B. 數據統計計算的時間週期,Dataphin裡稱為“統計週期”——統計數據需要跨越的時間長度,比如最近1天、最近30天、自然周、自然月的等
- C. 數據統計的其他個性化限定條件,Dataphin裡稱為“業務限定”——數據記錄的篩選過濾條件,比如生鮮業務類型、PC端、女性等
2 預覽指標
選擇完畢組合條件後,可以預覽組合出來的派生指標:
1)組合的指標,默認名取“原子指標+時間週期+業務限定”組合名,保證命名標準規範。
2)歷史已生成的組合,不再生成,保證指標建設統一,無重複
3 一鍵自動化生成
確認需要提交的指標後,一鍵【提交】,分鐘級指標生成:
1)自動匯聚至以“統計粒度為主題”的彙總邏輯表表下,保證管理標準規範;
2)代碼和調度依賴關係,系統自動生成;
3)派生指標基於彙總邏輯表,可快速雪花模型查詢使用指標、分析對象的屬性信息。
①派生指標自動匯聚至彙總邏輯表
②派生指標所在彙總表節點,代碼及調度關係自動生成
③彙總表及派生指標可查詢消費
4 複雜需求實現
上面主要是基於簡單統計指標實現,實際上,報表需求還有類似 比率型、乘積型等複合統計方式,比如“客單價=銷售額/客戶數”,這類也可以通過Dataphin的衍生原子指標實現:
1)衍生原子指標是基於原子指標的再組合;
2)基於衍生原子指標新建派生指標時,需要保證拆解到最細粒度的原子指標,有相同的分析維度、時間週期,允許維度的計算路徑不同、設置的業務限定不同。
①新建衍生原子指標
②基於衍生原子指標新建派生指標
總結
上面步驟可以看到,派生指標的計算生成,離不開原子指標、業務限定、統計粒度的協助,這其中有什麼奧祕呢?
其實很簡單,用Dataphin高效創建派生指標,掌握這1張圖就夠了:
1)原子指標為核心,原子指標的來源表為中心
2)統計粒度取自來源表的關聯維度,以及關聯維度上的關聯維度
3)業務限定基於來源表為中心的雪花模型做定義
4)統計週期可任意搭配使用
數據中臺是企業數智化的新基建,阿里巴巴認為數據中臺是集方法論、工具、組織於一體的,“快”、“準”、“全”、“統”、“通”的智能大數據體系。目前正通過阿里雲數據中臺解決方案對外輸出,包括零售、金融、互聯網、政務等領域,其中核心產品有:
- Dataphin,一站式、智能化的數據構建及管理平臺;
- Quick BI,隨時隨地 智能決策;
- Quick Audience,全方位洞察、全域營銷、智能增長;
- Quick A+, 跨多端全域應用體驗分析及洞察的一站式數據化運營平臺;
官方站點:
數據中臺官網 https://dp.alibaba.com