2020年6月9日,“全速重構”2020阿里雲·線上峰會即將隆重召開。
在此次峰會上,阿里雲數據庫重磅發佈雲原生分佈式數據庫 PolarDB-X 、雲原生數據倉庫AnalyticDB、數據庫自治服務DAS、雲數據庫專屬集群、圖數據庫GDB、雲數據庫Cassandra版、雲數據庫ClickHouse 7款跨時代產品,用技術傾情打造新數字時代的基石!
今天小編為大家傾情呈現全球首個數據庫自動駕駛雲平臺DAS產品亮點!
過去10年,數據庫上雲儼然已成共識,雲數據庫相較於傳統線下數據庫,解決了資源、彈性、高可用、備份、監控等基本DB運維負擔。但如何用好數據庫,如何對數據庫進行快速診斷和持續優化,對一般應用開發者而言,依然充滿挑戰。
阿里雲基於阿里巴巴自身數據庫規模化運維的專家經驗,結合人工智能和機器學習技術,實現自感知、自診斷、自修復和自安全的數據庫自動駕駛能力,今天依託於阿里雲平臺,推出數據庫自治服務,正式向雲上客戶開放。
DAS是業界首次以獨立雲服務的方式實現數據庫自治能力,推出六大核心自治特性,覆蓋支持包括OLTP(RDS/PolarDB)、NoSQL(Redis/MongoDB)、OLTP(ADB)等各類數據庫引擎,並支持混合雲、SQL審計和風險識別等企業級數據庫運維特性,為客戶數據庫的穩定安全提供全方位保駕護航。
基於數據驅動、專家經驗和機器學習,從異常發現、根因分析、執行修復/優化操作、跟蹤評估、反饋實現全流程閉環,無需人工干預,實現數據庫的自治,保障數據庫持續穩定、高效運行。
DAS 具備 6大核心自治特性
7 x 24實時異常檢測:通過機器學習算法,實時對數據庫的Workload進行異常檢測,相比基於閾值的告警方式,能夠更及時的發現數據庫的異常,而不是靠故障驅動;
異常自愈:DAS發現異常後,自動進行根因分析,定位到問題後,自動執行相關止損/修復/優化操作,幫助數據庫自動恢復,減少對企業業務的影響;
自動優化:基於全局workload和真實的業務場景,而不是基於單條SQL,持續的對數據庫進行SQL Review和優化,就像有一個不知疲倦的專業DBA一直在守護著您的數據庫;
智能調參:數據庫的參數成百上千,用戶的業務場景多種多樣,靠人肉的方式無法將參數調整為最優的配置,DAS和達摩院合作,通過基於機器學習技術,和智能壓測相結合,可以為每個數據庫實例的自動推薦最優的參數模版;
AutoScale:基於機器學習,自動對數據庫的業務模型、容量水位進行計算和預測,實現先知先覺式的自動擴縮容。
智能壓測:為用戶提供個性化的壓測服務,DAS可以自動學習業務模型,自動生成無限多的接近真實業務的workload,同時提供給用戶更豐富的壓測場景,幫助用戶解決大促、數據庫選型等等問題。
和自動駕駛一樣,數據庫自治服務,也不是一蹴而就的,我們將數據庫的自治能力劃分為5層:
- Level-0:全部靠人肉,沒有任何工具/產品輔助
- Level-1:提供基礎監控、告警等信息,不輸出任何建議;
- Level-2:在某些場景下,能夠輸出診斷或者優化建議,但是建議是否採納和應用,還是由人來決策,例如SQL診斷引擎
- Level-3:在某些場景下,實現完全的自治,無需人蔘與,例如自動SQL限流、自動彈性伸縮
- Level-4:實現數據庫的完全自動駕駛,目前DAS正在努力做到Level-4的過程中。
為了實現數據庫自治服務,我們已經實踐了6年。
從2014年開始,我們開始嘗試如何將DBA的經驗轉換成產品,為業務開發提供更高效,更智能的數據庫服務。我們就構建了基於規則的SQL診斷引擎,即輸入一條或者多條SQL後,SQL診斷引擎會直接輸出優化建議;
2016年,CloudDBA的web版發佈,同時也升級了SQL診斷引擎,在這個階段用戶可以直接在阿里雲上通過C loudDBA直觀的查看數據庫的負載,同時進行SQL診斷和優化。
2018年我們通過在阿里巴巴的業務和場景,開始孵化和錘鍊數據庫自治能力,
通過Self-driving Database Platform,截止到2020年4月已經自動優化了4200萬+的SQL、自動回收了超過4 PB的空間、自動優化了 27 TB的內存。
2019年11月,為了更好的服務客戶,我們將混合雲數據庫管理HDM+ CloudDBA+自治的能力,升級為數據庫自治服務DAS。
DAS 在4個方面取得了核心創新和突破:
首個全局綜合自治引擎:基於根因分析以及實例全維度聚合信息,進行集中決策,衝突解決,專項自治場景決策分發,在多自治場景下實現綜合自治。
首個外置式Cost-based SQL診斷:基於代價的診斷引擎,一套獨立於數據庫之外的優化器,並以自適應的統計信息收集機制,基於執行計劃的代價評估,實現SQL精確診斷與優化建議輸出。
基於Workload全局SQL優化技術:以Workload負載為優化單位,綜合考慮Workload中影響整體性能的特徵,如SQL執行消耗資源佔比、讀寫比等,進行整體優化,實現負載整體性能最大化提升同時,最大化降低空間消耗。
基於機器學習的Workload異常發現與預測:基於機器的Workload異常發現,自動感知引發Workload變化的異常SQL,自動觸發全局優化,變被動式優化為即時主動式全局優化。
和達摩院的相關的研究成果,也取得了國際學術界的認可:
2018年,WWW《Unsupervised Anomaly Detection via Variational Auto-Encoder forSeasonal KPIs in Web Applications》
2019年,VLDB《iBTune: Individualized Buffer Tuning for Large-scale Cloud Databases》
2020年,VLDB《Diagnosing Root Causes of Intermittent Slow Queries in Large-ScaleCloud Databases》
通過DAS,可以幫助企業節省90%的數據庫管理成本,降低80%的運維風險,讓用戶可以更集中在業務創新,讓業務持續行駛在快車道上。
更多DAS產品性能盡在2020年6月9日阿里雲峰會數據庫新品發佈現場,我們不見不散!
預約觀看:
PS.關注公眾號,後臺回覆“峰會”即有機會免費獲得阿里雲數據庫定製太陽傘一把
詳細規則請參見:
2020年6月9號,我們準備幹一件大事