大數據

試用筆記:用Dataphin我實現了自動化建模

前言:更多關於數智化轉型、數據中臺內容可掃碼加群一起探討
668d7f5941782665ed1f41529db3eb677f4b9379.png
阿里雲數據中臺官網 https://dp.alibaba.com/index


作者:數據小海豚

隨著大數據趨勢的迅速增長,數據的重要性與日俱增,企業內看數據、用數據的訴求越來越強烈,其中最常見的就是各種經營報表數據:

老闆早晨9點準時需要看到企業核心的經營數據,以便進行企業戰略及方向決策
業務負責人不定期進行個性化的項目籌劃,需要多維、及時效果數據以優化項目安排
運營需要和高層一致但粒度不同的經營分析數據,並進行活動策略調整
……

舉個經營報表的例子:
image.png

這個例子並不複雜,但是對於分析師或者業務開發者,實際執行的複雜度和工作量並不小,而且類似的工作每日都在重複……業務發展越快,帶來的問題就越來越多:

  加工時間長、人工成本高,招再多的分析師也難以滿足需求
  代碼可讀性差,數據可維護性差,類似需求需要反覆、重複開發
  代碼開發不規範,加工過程中難以避免的計算存儲浪費
  得到的數據指標,複用性差導致重複建設,數據越來越不標準規範

這種情況下,對業務的直接影響就是:決策週期長(數據需求滿足慢),決策易出錯(數據指標口徑不一致)。

既要保證數據生產時效性——及時產出數據並滿足需求,又要支持數據多樣性——企業自下而上不同業務分析場景,最後還要保證數據準確性——任何時間、不同崗位的人都能用同樣的數據解讀經營情況,怎麼才能做到呢?

企業的發展加速,離不開20世紀的文檔管理轉到21世紀的信息管理。同樣的,如果繁複的指標代碼編寫工作,也可以如計算器一般,界面可視化點選,複雜的代碼研發過程由計算器自行處理完成就好了。

Dataphin的自動化建模功能,就可以很好實現這個能力。

1、選擇組合條件

如下圖,確定需要統計計算的值,Dataphin裡稱為“原子指標”——最小的數據值統計單元,比如用戶數這樣的統計值等,然後組合如下內容:

  • A. 統計計算值需要應用的分析對象,Dataphin裡稱為“統計粒度”——維度或維度的組合,比如用戶星級、用戶狀態等
  • B. 數據統計計算的時間週期,Dataphin裡稱為“統計週期”——統計數據需要跨越的時間長度,比如最近1天、最近30天、自然周、自然月的等
  • C. 數據統計的其他個性化限定條件,Dataphin裡稱為“業務限定”——數據記錄的篩選過濾條件,比如生鮮業務類型、PC端、女性等
    image.png

2 預覽指標

選擇完畢組合條件後,可以預覽組合出來的派生指標:
1)組合的指標,默認名取“原子指標+時間週期+業務限定”組合名,保證命名標準規範。
2)歷史已生成的組合,不再生成,保證指標建設統一,無重複
image.png

3 一鍵自動化生成

確認需要提交的指標後,一鍵【提交】,分鐘級指標生成:
1)自動匯聚至以“統計粒度為主題”的彙總邏輯表表下,保證管理標準規範;
2)代碼和調度依賴關係,系統自動生成;
3)派生指標基於彙總邏輯表,可快速雪花模型查詢使用指標、分析對象的屬性信息。

image.png

①派生指標自動匯聚至彙總邏輯表
②派生指標所在彙總表節點,代碼及調度關係自動生成
image.png

③彙總表及派生指標可查詢消費
image.png

4 複雜需求實現

上面主要是基於簡單統計指標實現,實際上,報表需求還有類似 比率型、乘積型等複合統計方式,比如“客單價=銷售額/客戶數”,這類也可以通過Dataphin的衍生原子指標實現:

1)衍生原子指標是基於原子指標的再組合;
image.png

2)基於衍生原子指標新建派生指標時,需要保證拆解到最細粒度的原子指標,有相同的分析維度、時間週期,允許維度的計算路徑不同、設置的業務限定不同。

①新建衍生原子指標
②基於衍生原子指標新建派生指標
image.png

總結

上面步驟可以看到,派生指標的計算生成,離不開原子指標、業務限定、統計粒度的協助,這其中有什麼奧祕呢?

其實很簡單,用Dataphin高效創建派生指標,掌握這1張圖就夠了:

1)原子指標為核心,原子指標的來源表為中心
2)統計粒度取自來源表的關聯維度,以及關聯維度上的關聯維度
3)業務限定基於來源表為中心的雪花模型做定義
4)統計週期可任意搭配使用
image.png

數據中臺是企業數智化的新基建,阿里巴巴認為數據中臺是集方法論、工具、組織於一體的,“快”、“準”、“全”、“統”、“通”的智能大數據體系。目前正通過阿里雲數據中臺解決方案對外輸出,包括零售金融互聯網政務等領域,其中核心產品有:

官方站點:
數據中臺官網 https://dp.alibaba.com
數據中臺釘釘群二維碼2.jpg

Leave a Reply

Your email address will not be published. Required fields are marked *