雲計算

如何選擇適合你的企業數據管理類產品

前言:更多關於數智化轉型、數據中臺內容可掃碼加群一起探討
668d7f5941782665ed1f41529db3eb677f4b9379.png
阿里雲數據中臺官網 https://dp.alibaba.com/index


作者:阿里雲數據中臺

導讀:數據工程研發的歷史是可以追溯到上世紀八十年代的數據庫和數據倉庫理論,隨後一大批的數據管理服務廠商開始崛起。數倉發展30年,到了數智化的新時代下,我們又該用什麼視角來為自己選擇一款適合時代發展的產品呢?

細數數倉30年發展史

數據庫與數倉的老牌產品供應商

數據工程研發的歷史是可以追溯到上世紀八十年代的數據庫和數據倉庫理論,隨後一大批的數據管理服務廠商開始崛起,其中 Oracle、Informatica 兩家非常有代表性,在行業中身居統治地位。

Oracle
Oracle 的數據庫在雲計算逐步鋪開、去IOE聲浪逐步擴大的趨勢中開始式微,以及各類新興的非接口化存儲,如ElasticSearch、TSDB、MongoDB 等,OLTP場景下的市場份額爭奪激烈,除了老牌的數據庫廠商外,一些雲計算大廠也開始了數據庫產品的研發,如AWS的Aurora、阿里雲的PolarDB ,在雲計算市場中開始成為企業雲架構的基礎能力。

同時,在OLAP場景下,也就是Informatica一直處於霸主地位的市場中,在12年大數據逐步進入公眾視野後,越來越多的挑戰者進入,幾大雲廠商也不例外,其中以Google、Azure和阿里雲的追趕最為猛烈,Google在雲計算先機失利的情況下,開始發揮巨大現金儲備的優勢,開始買買買,投資了 CASK、LOOKER等產品,微軟則是利用自身的產品沉澱,收割著辦公領域的存量客戶;阿里雲則是以“數據中臺”架構打響了企業數字化轉型的重要一槍,國內開始大量出現數據中臺服務商,生態開始繁榮起來。

Informatica
在這樣的大環境下,Informatica作為老牌的數據管理廠商,目前在Gartner魔力象限中依舊佔有非常重要的席位,所以在眾多企業選型的時候,都會考慮到使用Informatica的產品,但是國內這個產品一直是名聲大市場小,對於Informatica的好奇,也為了給客戶能夠提供更加全面的參考,我們對Informatica進行比較細緻的調研,主要從產品能力、技術支撐以及交付模式,因為商業化的企業服務產品都不便宜,希望一次採購能夠帶來比較長期的收益,所以產品是否能夠持續使用起來也是我們關心的一個要素。

首先看Informatica的產品能力,他們提供的主要輸出版本已經逐步使用B/S的模式, 相比之前的Client模式對於用戶接入提供了更好的體驗;對於數據倉庫構建的第一步“數據集成”,Informatica以 PowerCenter 作為數據集成的產品名稱,為面向不同場景的數據集成,則提供了多樣不同的版本:

• PowerCenter 標準版,用於集成和提交及時、相關、可靠的數據;
• PowerCenter 高級版,用於執行復雜的任務關鍵型數據集成方案;
• PowerCenter 大數據版,通過新興的技術和傳統的數據管理基礎設施集成大數據;
• PowerCenter 數據虛擬版,用於提交最新的、全面的、可以信賴的業務視圖;
• PowerCenter 實時版,用於實時集成和預配置營運數據;
• PowerCenter 雲版本,用於無縫地將雲中數據和本地系統上的數據進行集成
這麼多版本不免讓人眼花繚亂。雖然從產品管理的角度來看,是個不錯的拆分方法,但是對於用戶而言,就沒有這麼方便了,讓人有種不良商家使用錨定價格來收智商稅的感覺。PowerCenter的應用架構如下圖:
image.png

PowerCenter 的應用組件:
1)服務端組件
• Informatica Service:PowerCenter 服務引擎
• Integration Service :數據抽取、轉換、裝載服務引擎
2)客戶端組件
• Administrator Console: 用於知識庫的建立和維護
• Repository Manager: 知識庫管理,包括安全性管理等
• Designer: 設計開發環境,定義源幾目標數據結構;設計轉換規則,生成ETL映射;
• Workflow Manager: 合理地實現複雜的ETL工作流,基於時間、事件的作業調度;
• Workflow Monitor: 監控workflow和Session運行情況,生成日誌和報告
簡單地說就是,開發者通過Designer配置和設計數據的傳輸、轉換和映射關係,通過workflow來首先週期性地調度和管理

傳統數倉產業

數倉產品選型不僅是功能還有服務

從產品所對應的技術支持能力上看,由於是工具類產品,使用過程中的問題是否有完備的產品使用和客服支持很重要,在官方材料中沒有看到過產品的客戶服務支持方案,應該與具體的保障要求有關係,不知道是否會像通常的國外軟件服務,僅能在工作時間電話,一般離線數據任務都是在凌晨時間運行,一旦出現問題,如何快速響應,也是需要在產品採購時關注的。

新時代數字化建設方案
企業數據中臺的構建解決方案架構與落地路徑

最後就是交付實施了,對於傳統數倉交付的團隊,對於Informatica應該不算是陌生的,但是在國內這一類的服務商一直沒有發展起來,原因就是太依賴產品了,Informatica不是中小企業的預算可以承受的,所以比較難以規模化,尤其是在雲計算的衝擊下,消費互聯網發展逐漸開始趨平,產業互聯網開始興起,或許企業中會有更多的資金投入到數據管理的領域,

但是,中國國內企業的現狀而言,估計還是不僅僅採購一個產品這麼簡單,如果產品版本過於複雜,操作需要極強的專業性,那麼也很難規模化;

對於企業而言,不僅僅需要一個有著豐富功能的產品,還有有支撐通過產品去實現商業成功的團隊或者技術支持,所以選擇一個有著完善生態交付能力的產品或許是更好的選擇。

2019年雲棲大會上,阿里雲數據中臺推出產品Dataphin,其中有個介紹對於國內企業還是參考意義的,產品具體的介紹如下:

“阿里雲數據中臺,基於阿里巴巴近十年的大數據建設經驗,沉澱出一整套的數據採集、建設與管理的方法論體系,併產品化為Dataphin產品,形成數據的採、建、管、用 一站式全鏈路服務能力,在中國乃至世界企業數字化轉型中,承載樞紐位置,助力企業實現數據資產化和價值化!

Dataphin在產品能力在於數據虛擬化上,通過定義一系列的原子的概念,如維度、業務過程、原子指標、業務限定、派生指標,以及模型內的關係,如維度、屬性、關聯關係等等,從而實現數據生產的自動化,進而實現在開發層是面向業務邏輯的開發、在使用層面是面向主題式模型的引用,進而實現了數據的虛擬化能力。

總結

目前,阿里雲數據中臺產品矩陣正在不斷地優化和發展。建議企業在選擇的時候,不要盲目,適合自己的才是好的、對的!

數據中臺是企業數智化的新基建,阿里巴巴認為數據中臺是集方法論、工具、組織於一體的,“快”、“準”、“全”、“統”、“通”的智能大數據體系。目前正通過阿里雲數據中臺解決方案對外輸出,包括零售金融互聯網政務等領域,其中核心產品有:

官方站點:
數據中臺官網 https://dp.alibaba.com
數據中臺釘釘群二維碼2.jpg

Leave a Reply

Your email address will not be published. Required fields are marked *