-更多關於數智化轉型、數據中臺內容請加入阿里雲數據中臺交流群—數智俱樂部 和關注官方微信公總號(文末掃描二維碼或點此加入)
-阿里雲數據中臺官網 https://dp.alibaba.com/index
Dataphin即智能數據構建與管理平臺
旨在提供從數據接入到數據消費的全鏈路、一站式的大數據能力,包括產品、技術和方法論等,以助力企業打造標準統一、融會貫通、資產化、服務化、閉環自優化的智能數據體系。
版本新特性概況
自Dataphin產品上線以來,經歷3年的迭代打磨,本次2.9.4.2版本在2021年5月15日發佈,主要涉及數據源類型拓展,數據集成、實時研發、數據服務功能升級,運維體驗優化等,將滿足更多用戶場景,提升研發體驗:
功能升級亮點摘要
1、新增數據源
新增支持Hologres數據源類型,用於後續Hologres數據同步集成,及後續實時Blink任務讀寫使用。
對於使用Hologres數據源的用戶來說,Dataphin支持從Hologres數據集成至計算引擎及多種數據源,同時可從計算引擎及數據源迴流至Hologres;支持Blink任務實時讀寫Hologres數據,且在Dataphin流批一體場景中,Hologres可以用作批流一體的統一存儲服務,實時查詢實時寫入,無冗餘數據搬遷工作,大幅提升研發效率。
功能場景a. 數據源引入
功能場景b. 離線數據集成
功能場景c. 流批一體
- 定義Hologres元表,指定數據源及來源表
- 定義流批虛擬鏡像表,指定鏡像表映射的批流分別寫入的物理表,由於Hologres同時支持離線與實時讀寫,因此兩邊物理表可以均為Hologres表
- 創建Blink流批一體任務,指定批流參數配置及任務配置,代碼邏輯一致,一套代碼實現兩種調度時效
- Dataphin流批一體架構圖
2、Blink實時任務支持代碼採樣調試
Blink實時任務支持代碼採樣調試,採樣數據支持本地上傳文件數據、在線抽樣數據、在線編輯輸入數據三種方式,僅兼容支持blink-3.6及以上版本。
升級前Blink任務不支持本地調試,無法在草稿態時驗證作業開發的數據正確性,需要提交到運維後啟動運維的測試實例進行驗證,提交任務之前無法驗證。
升級後在提交Blink任務之前可以進行本地數據採樣,並在Console中輸出任務運行結果,可以即時檢查代碼邏輯是否正確、輸出結果是否符合預期等,驗證正確再進行任務提交,有效保障了任務質量及開發效率。並且我們支持三種採樣方式!自動抽樣數據來源表數據、上傳本地csv文件(提供樣例可下載),或者直接在採樣的面板中進行數據輸入,靈活且方便。
3、運維列表展示對象拓展
運維列表每頁展示對象拓展至100個,默認展示20/頁,可切換20/40/60/80/100個/頁;運維任務DAG圖中支持查看物化代碼及運行日誌時自動定位到對應物化節點,提升運維效率
4、數據服務模塊支持新離線數據源
數據服務模塊新增支持AnalyticDB for MySQL 3.0 離線數據源。
新增數據服務管理員角色,作為API權限申請、服務單元權限申請及數據源權限申請的審批人,加強API數據服務出口的權限管控強度,限制API開發者本人對API的廣泛應用權限,需設置專人進行權限審批,API應用安全及權限管控效力大幅增強。
版本小結
本次5月發佈的V2.9.4.2版本中,Dataphin圍繞數據源、通用研發、實時研發、運維、數據服務進行功能迭代。
在下一期的迭代中,計劃支持CDH 6計算引擎、審計日誌、子賬號下單購買、OpenAPI擴展、監控告警能力升級、MySQL8.0數據源等功能,敬請期待!
我想了解更多:https://dp.alibaba.com/consult
數據中臺是企業數智化的必經之路,阿里巴巴認為數據中臺是集方法論、工具、組織於一體的,“快”、“準”、“全”、“統”、“通”的智能大數據體系。
目前正通過阿里雲對外輸出系列解決方案,包括通用數據中臺解決方案、零售數據中臺解決方案、金融數據中臺解決方案、互聯網數據中臺解決方案、政務數據中臺解決方案等細分場景。
其中阿里雲數據中臺產品矩陣是以Dataphin為基座,以Quick系列為業務場景化切入,包括:
- - Dataphin,一站式、智能化的數據構建及管理平臺;
- - Quick BI,隨時隨地 智能決策;
- - Quick Audience,全方位洞察、全域營銷、智能增長;
- - Quick A+, 跨多端全域應用體驗分析及洞察的一站式數據化運營平臺;
- - Quick Stock, 智能貨品運營平臺;
- - Quick Decision,智能決策平臺;
官方站點:
數據中臺官網 https://dp.alibaba.com
釘釘溝通群和微信公眾號