雲數據倉庫概述
今天和大家一起探討一下我們Saas模式下雲數據倉庫加上商業智能BI能有什麼新的東西出來。我們先來看一下雲數據倉庫的一些概述。預測到2025年, 全球數據增長至175ZB, 中國數據量增長至48.6ZB。數據量暴漲這個前提下,我們看一下BI市場規模的增長。預測到2023年,我們中國BI軟件市場年複合增長率為32%。雲計算也同樣在增速發展,2019年第四季中國雲數據市場的增長率已經達到66.9%。
雲數據倉庫可以讓企業幾分鐘內創建並開始使用數據倉庫服務,在更低的成本下,專注業務,通過對大規模數據進行多樣化的處理、挖掘、分析,快速獲得業務洞察。它有四大特點:大規模數據分析,高性能,靈活擴容,低成本。
BI使用場景與趨勢
商業智能(BI,Business Intelligence)是一種以提供決策分析性的運營數據為目的而建立的信息系統。隨著我們社會發展以及數據量的爆發,在這麼大量的數據支持之下,企業希望能快速從這些數據裡邊挖掘出更科學的一些數據,然後對我們的企業有一個科學化和數據化決策的幫助力。同時,BI也會助力企業用到一個精細化運營,客戶關係維護,還有成本控制等。
我們看一下商業智能建立一個信息系統它主要的一個流程。首先是數據接入,將分散於我們企業內外各種數據集成和進行整合。然後再進入一個數據準備階段,就是一個ETL的階段。然後再到一個數據分析的階段,最後將這些成果交給決策層,決策層就可以通過這數據進行一些決策。不管是精細化運營,還是客戶維護關係,還是成本控制,都可以從這些數據裡邊得到一些助力。
隨著數據量的暴漲,我們的業務快速的增長,產生了各種分析需求。不僅僅是分析多樣,而且還想要實時的,比如說秒級的即時查詢。同時在這麼大量的數據基礎上,數據的安全合規也越來越受到重視。所以需要快速的整合多系統數據和實現信息透明,以及構建一個統一的簡單易用的可視化分析平臺,提高製表效率。這已經成為BI系統的新的趨勢。
基於MaxCompute雲數倉+BI的特性
MaxCompute(原ODPS)是一項大數據計算服務,它能提供靈活快速、完全託管、高性能、低成本、安全的PB級數據倉庫解決方案,使您可以經濟並高效的分析處理海量數據。基於MaxCompute雲數據倉庫的基本架構如下圖所示。底層的集群是MaxCompute本身搭建好的,用戶無需感知。再往上,有多種的計算引擎。引擎之上提供各種的API,還有深度的集成了一個一站式大數據智能雲研發平臺DataWorks。在雲數據倉庫的這麼一個體系下,可以做數據準備,進行各種清洗、加工、分析之後,就可以進入一個數據消費的階段。
總結一下MaxCompute雲數倉的特性。第一,是一個開箱即用的在線服務。免平臺運維,總體擁有成本低。第二,極致彈性能力。彈性擴展,無需容量規劃即可應對業務規模的快速變化。第三,簡單易用,多功能計算服務。多種計算模型,多種數據通道,外部數據源聯邦計算。第四,企業級安全能力。多租戶安全保障機制,細粒度授權,數據加密、脫敏,備份恢復。第五,生態融合。支持多樣數據源、生態工具和標準。
基於MaxCompute雲數據倉庫,我們和BI工具是如何對接的呢。MaxCompute主要是一個存儲和計算服務,加上一個數據開發平臺DataWorks,組成了一個離線的雲數據倉庫。在這之上,深度的集成了一個阿里雲的Quick BI。它是一個分析報表工具,直接連接一MaxCompute的數據表即可以自己對這個表進行分析。還有第三方的一些工具,帆軟,Tableau。同時我們在生態這一方面,JDBC同樣也是支持。還有一些企業、一些客戶對於商業智能這一塊有更加多樣化的一個需求或者個性的需求,現有對接的這些工具有可能不支持,那麼它也可以通過SDK的方式來連接,從而實現基於MaxCompute雲數據倉庫對接的一個商業智能的信息平臺。
我們看一下MaxCompute離線數倉是怎麼實現一個高性能低延遲的分析查詢。它可以直接讀取離線數倉,支持多樣化的查詢分析,包括一些簡單的查詢、複雜的查詢、點查詢、聯邦查詢等等。它底層也可以有豐富的數據源,通過MaxCompute + Hologres組成一個交互式分析。這麼一個大數據生態下,它都可以無縫的對接。比如說Quick BI,Tableau,帆軟。所以它可以做到很快的上手,通過這麼一個組合我們可以很快速的實現一個企業的信息平臺。
實踐案例
接下來我們看一下幾個實踐案例。
新零售的一個行業案例,需求背景: 基於Hadoop開源生態打造,軟硬件維護成本高昂,穩定性問題不斷,嚴重影響業務經營分析;線上業務爆發,需求積壓嚴重,期望有整體解決方案,能夠快速靈活支持業務發展所需的技術擴展。通過這麼一個大數據解決方案,直接用了阿里雲的Quick BI這個產品,實現了快速數智化轉型,擁抱新零售,降低TCO的同時,更好的依託雲上生態,實現數據資產業務化閉環。最終新零售這個案例,基於我們的MaxCompute + DataWorks,提高了他的數據業務的開發效率。
我們再看一個新金融的案例。需求背景:金融業務數據,對安全管控有極強要求,需要一個完整的安全管理體系,同時還要滿足個性化安全需求;業務快速發展,需要能快速搭建、成本低、秒級擴展的數據中臺體系。我們給客戶創造的價值:基於MaxCompute開箱即用的應用滿足其在安全審計過程中的數據安全需求,縮短了需求響應時間並滿足其在數據安全上的個性化需求。