開發與維運

【產品動態】歷經3年的打磨,數據構建及管理平臺Dataphin增加了什麼新功能?

-更多關於數智化轉型、數據中臺內容請加入阿里雲數據中臺交流群—數智俱樂部 和關注官方微信公總號(文末掃描二維碼或點此加入

-阿里雲數據中臺官網 https://dp.alibaba.com/index


Dataphin即智能數據構建與管理平臺

旨在提供從數據接入到數據消費的全鏈路、一站式的大數據能力,包括產品、技術和方法論等,以助力企業打造標準統一、融會貫通、資產化、服務化、閉環自優化的智能數據體系。

版本新特性概況

自Dataphin產品上線以來,經歷3年的迭代打磨,本次2.9.4.2版本在2021年5月15日發佈,主要涉及數據源類型拓展,數據集成、實時研發、數據服務功能升級,運維體驗優化等,將滿足更多用戶場景,提升研發體驗

lALPDeC21OWmKxfNBNDNBKI_1186_1232.png

功能升級亮點摘要

1、新增數據源

新增支持Hologres數據源類型,用於後續Hologres數據同步集成,及後續實時Blink任務讀寫使用。

對於使用Hologres數據源的用戶來說,Dataphin支持從Hologres數據集成至計算引擎及多種數據源,同時可從計算引擎及數據源迴流至Hologres;支持Blink任務實時讀寫Hologres數據,且在Dataphin流批一體場景中,Hologres可以用作批流一體的統一存儲服務,實時查詢實時寫入,無冗餘數據搬遷工作,大幅提升研發效率。

功能場景a. 數據源引入

image

功能場景b. 離線數據集成

image

功能場景c. 流批一體

  • 定義Hologres元表,指定數據源及來源表

image

  • 定義流批虛擬鏡像表,指定鏡像表映射的批流分別寫入的物理表,由於Hologres同時支持離線與實時讀寫,因此兩邊物理表可以均為Hologres表

image

  • 創建Blink流批一體任務,指定批流參數配置及任務配置,代碼邏輯一致,一套代碼實現兩種調度時效

image

  • Dataphin流批一體架構圖

image

2、Blink實時任務支持代碼採樣調試

Blink實時任務支持代碼採樣調試,採樣數據支持本地上傳文件數據、在線抽樣數據、在線編輯輸入數據三種方式,僅兼容支持blink-3.6及以上版本。

升級前Blink任務不支持本地調試,無法在草稿態時驗證作業開發的數據正確性,需要提交到運維後啟動運維的測試實例進行驗證,提交任務之前無法驗證。

升級後在提交Blink任務之前可以進行本地數據採樣,並在Console中輸出任務運行結果,可以即時檢查代碼邏輯是否正確、輸出結果是否符合預期等,驗證正確再進行任務提交,有效保障了任務質量及開發效率。並且我們支持三種採樣方式!自動抽樣數據來源表數據、上傳本地csv文件(提供樣例可下載),或者直接在採樣的面板中進行數據輸入,靈活且方便。

image

image

3、運維列表展示對象拓展

運維列表每頁展示對象拓展至100個,默認展示20/頁,可切換20/40/60/80/100個/頁;運維任務DAG圖中支持查看物化代碼及運行日誌時自動定位到對應物化節點,提升運維效率

image

image

4、數據服務模塊支持新離線數據源

數據服務模塊新增支持AnalyticDB for MySQL 3.0 離線數據源。

新增數據服務管理員角色,作為API權限申請、服務單元權限申請及數據源權限申請的審批人,加強API數據服務出口的權限管控強度,限制API開發者本人對API的廣泛應用權限,需設置專人進行權限審批,API應用安全及權限管控效力大幅增強。

image

image

版本小結

本次5月發佈的V2.9.4.2版本中,Dataphin圍繞數據源、通用研發、實時研發、運維、數據服務進行功能迭代。

在下一期的迭代中,計劃支持CDH 6計算引擎、審計日誌、子賬號下單購買、OpenAPI擴展、監控告警能力升級、MySQL8.0數據源等功能,敬請期待!


我想了解更多:https://dp.alibaba.com/consult


數據中臺是企業數智化的必經之路,阿里巴巴認為數據中臺是集方法論、工具、組織於一體的,“快”、“準”、“全”、“統”、“通”的智能大數據體系。

目前正通過阿里雲對外輸出系列解決方案,包括通用數據中臺解決方案零售數據中臺解決方案金融數據中臺解決方案互聯網數據中臺解決方案政務數據中臺解決方案等細分場景。

其中阿里雲數據中臺產品矩陣是以Dataphin為基座,以Quick系列為業務場景化切入,包括:

官方站點:

數據中臺官網 https://dp.alibaba.com

釘釘溝通群和微信公眾號

未標題-1.png

Leave a Reply

Your email address will not be published. Required fields are marked *