大數據

一遇到複雜分析查詢就卡頓?MySQL分析實例瞭解一下

作者:悅暢,阿里雲數據庫高級產品經理

隨著企業數據爆發式增長,MySQL分析查詢卡頓問題越來越多,用戶時效性不能保證,精細化運營訴求不能滿足。如何能無縫對接業務庫,實現毫秒級針對萬億級數據進行即時的多維分析透視和業務探索,MySQL分析實例給出完美解決方案。

MySQL分析實例是雲數據庫RDS MySQL與AnalyticDB for MySQL聯合打造,產品級深度融合的OLTP+OLAP解決方案,解決客戶複雜分析查詢卡頓問題,快速構建實時數倉。

一鍵購買,即可打通權限,免費自動數據同步,業務庫在毫無感知和影響情況下,數據實時同步到分析庫,幫助雲數據庫RDS MySQL客戶快速構建實時數倉平臺。

用戶無需自行搭建數倉,無需關注數據如何入庫,更無需擔心數據實時性,只需購買分析實例,即可同步創建一個分析性能約為MySQL 100倍的分析庫。

1、MySQL分析實例和只讀實例區別

使用場景上,只讀實例主要面向在線應用,而分析實例針對RDS MySQL源實例的複雜報表分析,如下圖所示;產品實現上,只讀實例是隻能接收只讀請求的RDS MySQL,而分析實例是一個AnalyticDB for MySQL集群。

1583843933395-34fa7388-0fa0-469f-a490-7ef276e6100e.png

2、分析實例其實是AnalyticDB

MySQL分析實例其實是一個內置了數據傳輸(DTS)的AnalyticDB for MySQL集群(目前默認為基礎版),購買成功後會自動將雲數據庫RDS MySQL主實例中的全量數據和增量數據實時同步到AnalyticDB for MySQL中,用戶可以登陸AnalyticDB for MySQL控制檯的集群詳情頁查看數據同步進度和延時情況。

2.1 AnalyticDB介紹

AnalyticDB是阿里巴巴自主研發、唯一經過超大規模以及核心業務驗證的PB級實時數據倉庫。自2012年第一次在集團發佈上線以來,至今已累計迭代發佈近百個版本,支撐起集團內的電商、廣告、菜鳥、文娛、飛豬等眾多在線分析業務。每年雙十一上述眾多實時分析業務高峰驅動著AnalyticDB不斷的架構演進和技術創新。

AnalyticDB於2014年在阿里雲開始正式對外輸出,支撐行業既包括傳統的大中型企業和政府機構,也包括眾多的互聯網公司,覆蓋外部十幾個行業。

2019年7月,全球最知名的數據管理系統評測標準化TPC組織公佈了數據庫領域分析性能基準測試排名,AnalyticDB登上榜首,是全球首個通過TPC嚴格審計認證的雲數據庫產品。AnalyticDB對數據進行在線統計和分析,幫助企業簡單快速實時挖掘數據價值。登上TPC榜首,意味著其已經成為全球最快的實時數據倉庫!在複雜分析場景中性能提升10倍,萬億數據多維分析僅需毫秒級。

近期,阿里雲基於常見的開源數據分析產品與阿里雲自研的AnalyticDB進行了TPC-H(100GB)對比測試,測試結果為:AnalyticDB性能約為開源MySQL 100倍,約為Presto、Spark、Impala的6~10倍,詳情情況參考測試結果。

845fb16594c14a4bbf311d564c588b24.jpg

2.2 AnalyticDB基礎版

AnalyticDB for MySQL的產品系列包括基礎版(單機版)和集群版,基礎版為單個節點提供服務,極簡的架構大大的降低了基礎版的使用門檻。存儲計算分離架構、行列混存技術、輕量的索引構建方式和分佈式混合計算引擎又保證了基礎版強大的分析性能。只需要花費860元就可以構建實時數倉,無需成立專門的大數據團隊,為企業節省百萬成本。

2.3 AnalyticDB技術架構

如下為基礎版和集群版架構圖,無論哪種系列AnalyticDB都是由Coordinator和Worker組成。
56f2e00639d6463a99f4ce6da8088237.jpg

上圖為基礎版架構圖,下面為集群版架構圖
89eccd3e8c474a82a454adca019159bd.jpg

2.3.1 Coordinator:前端控制節點,職責包括:

(1)MySQL協議層接入,SQL解析

(2)認證和鑑權,提供了更完善和細化的權限體系模型,白名單和集群級別RAM控制,並審計與合規記錄所有SQL操作。

(3)集群管理:成員管理、元數據、數據一致性、路由同步、備份與恢復(數據與log管理)

(4)後臺異步任務管理

(5)事務管理

(6)優化器,執行計劃生成

(7)計算調度,負責執行任務調度

2.3.2 Worker: 存儲和計算節點,包含

(1)計算模塊

分佈式MPP+DAG混合計算引擎和優化器達到了更高的複雜計算能力和混合負載管理能力。利用阿里雲計算平臺之上資源靈活調度上的優勢,實現了計算資源的彈性調度。計算 Worker節點可以單獨拉起,因應業務需求做到分鐘級甚至秒級擴展,實現資源的最有效利用。

(2)存儲模塊

存儲模塊更加輕量化,具備了承載更大吞吐數據實時寫入和讀取能力,寫入性能比之前版本同等規格高50%倍左右,毫秒級可見,滿足客戶實時分析需求。存儲節點提供全量和增量備份和恢復能力,雲盤的定期快照和日誌會實時同步到OSS中保存,對用戶數據提供更高的安全保障,幫助用戶在數據庫發生問題時最大限度的找回。

(3)Worker Group

帶存儲模塊的Worker節點被劃分為一個個節點組(Worker Group),集群版提供三副本的存儲,通過Raft分佈式一致性協議像一個整體一樣工作,允許其中一些Worker節點出現故障也能繼續提供服務。

AnalyticDB的讀寫鏈路就是穩定運行在上訴組件之上

(1)寫入鏈路,數據通過Coordinator寫入後,會根據表上的分區鍵寫入到不同的表分區(Shard)所屬的Worker Group中,每個Worker Group中的Worker三副本通過Raft協議保證了數據的強一致性、高可靠、高可用、實時可見(線性一致性);為了保證高效,AnalyticDB 進行了GroupCommit、壓縮、異步化、零拷貝等眾多優化技術,大幅優化了寫入性能, TPC-H表單節點TPS 到達15w 以上,並且可以線性擴展;

(2)查詢鏈路,用戶的SQL語句通過MySQL協議發送到Coordinator後,SQL會被Parser進行解析生成邏輯計劃,然後被Optimizer進行優化後生成物理執行計劃,再發送給計算調度模塊將該SQL的物理執行Task分發到不同的Worker節點執行,每個執行Task都會被關聯到Worker上的存儲,從存儲拉取數據進行分佈式計算。

為了提升計算性能,AnalyticDB 進行了計算下推存儲、高效智能索引篩選、向量化+Pipeline流式執行等一系列優化,這也是AnalyticDB的TPC-DS性能做到了全球最快的原因。

3、MySQL分析實例優勢

(1)一鍵購買,權限打通

RDS MySQL用戶只需通過控制檯購買MySQL分析實例,即可實現數據同步,無需分別購買AnalyticDB for MySQL集群和數據傳輸(DTS)實例;系統自動打通RDS MySQL、數據傳輸(DTS)和AnalyticDB for MySQL之間的權限,無需反覆授權。

(2)免費自動同步數據

MySQL分析實例內置數據傳輸(DTS),創建成功後自動進行全量和增量數據同步。

(3)更大規模,性能更高

複雜分析性能約為MySQL的100倍以上;具有承載更大吞吐數據實時寫入和讀取能力。

(4)極度靈活的彈性能力

針對節點組和磁盤空間可以隨時秒級擴縮容或者升降配;支持升配存儲密集型和計算密集型規格,冷熱數據分層存儲,歷史數據無限低成本保留(即將上線)。

(5)完整的OLTP+OLAP解決方案

產品級別深度融合,完美解決客戶複雜分析查詢卡頓問題,快速構建實時數倉。

4、適合用戶

MySQL分析實例特別適合以下人群:

(1)Hadoop/Spark等太複雜,想快速實現數據化轉型的RDS客戶;

(2)報表數據庫查詢慢的RDS用戶;

(3)需要快速構建測試環境的進行數倉選型RDS用戶;

(4)學習類客戶,可快速瞭解AnalyticDB for MySQL的RDS用戶;

解讀到這裡大家一定很想體驗下MySQL實例
現在還有限時優惠哦!
新用戶10元3個月
續費包年低至7折
趕緊掃描下圖二維碼體驗吧!

ADB.png

Leave a Reply

Your email address will not be published. Required fields are marked *