5月20-22日,第十三屆中國系統架構師大會(SACC2021)在雲端進行網絡直播,主題為“數字轉型、架構重塑”。阿里雲邊緣雲原生技術專家江岑,分享了阿里雲在邊緣雲原生的探索實踐,並從應對技術挑戰與系統架構設計等方面闡述產品核心競爭力,以創新技術驅動業務發展。
雲原生髮展與現狀
隨著雲計算技術的成熟,大多數企業選擇雲計算來快速部署運營業務。5G規模商用,更是促進全球數百億的終端設備聯網。客戶對於低時延、大帶寬的近端準實時計算需求將大大增加。邊緣雲計算市場規模的增長,一方面來自於中心業務的下沉邊緣,另一方是各類邊緣創新業務場景的出現和發展,例如雲遊戲,智慧城市等。
江岑認為,企業業務系統上雲,無論是上中心雲還是邊緣雲,大都會經歷三個階段:
自建IDC的遷移,基於穩定性以及災備等因素考慮,不會對業務架構有大調整,大部分只使用最基礎的雲服務,如ECS, SLB, VPC等;
整體業務上雲,從全面複用雲的能力和提效降本的角度出發,隨雲而生的架構演進也逐步開始灰度應用。
當一切就緒,業務開始大規模擁抱雲原生。
而現階段,很多上雲業務已經在大規模推進雲原生化。
雲原生概念最早來自CNCF雲原生計算基金會,Google孵化的Kubernetes平臺。CNCF成立於2015年底,已孵化了大量符合雲原生標準的優質項目,核心模塊包含數據庫、消息中間件、應用編排調度、CICD持續集成、RPC、 服務網格、容器服務、雲原生網絡等等。
現在,雲原生技術已經不侷限於容器/Kubernetes領域,逐漸成為廣大雲廠商中立的軟硬件基礎設施的標準架構。邊緣計算是在最近3-5年內隨著5G、物聯網技術應用而逐步興起的技術,其技術成熟度還遠低於中心雲計算,目前CNCF上涉及邊緣計算的項目還不多。伴隨著邊緣場景以及配套能力的提升,中心大量業務下沉到邊緣,邊緣創新場景不斷湧現,必然會在邊緣側催生符合邊緣特色的雲原生技術。
邊緣雲原生演進面臨的挑戰
在談到雲原生技術如何向邊緣演進時,江岑提到了3個技術挑戰:
- 從資源側看,邊緣不同於中心大規模集中式的佈局,主要以分佈式和高地域覆蓋率為目標建設。除了中心標準的雲服務器,在邊緣側還存在大量的異構資源,包括物聯網設備、MEC、合作共建節點等等。雲原生技術對部署環境是有明確要求的,因此需要對邊緣側海量的異構資源做靈活的適配。另外,邊緣節點的特點是小而多,提升資源複用率是關鍵,這就要求能夠根據資源池化的能力和資源性能做靈活的彈性調度。
- 從技術能力來看,雲邊基礎設施存在差異,雲原生能力直接下沉應用到邊緣時,除了需要提供等同於中心的性能指標、安全隔離、容災自治、架構感知等能力,還需要不斷完善雲邊以及邊邊高速通道建設等,進而提升建設難度係數。
- 當資源適配、技術能力已具備時,保持用戶體驗一致會面臨很大的挑戰。從用戶視角來看,中心業務下沉過程勢必是個漫長的過程,對於單一業務中心和邊緣可能處於長期並存的狀態,雲邊的能力建設很可能存在不一致,大部分的不一致對於用戶應該是無感的,所以如何包裝產品,在成本、功能、性能、穩定性等各方面達到雲邊一致的體驗,是極具挑戰的。
阿里雲邊緣雲原生體系建設
依託遍佈全球2800+邊緣雲節點,阿里雲面向用戶提供安全、穩定、可靠的邊緣計算和內容分發加速服務,構建離用戶最近的邊緣雲基礎設施。單個節點是一個小型的IDC,規模在幾臺到幾十臺服務器不等。早期邊緣雲節點建點策略是和CDN分開獨立建點,導致資源無法共享,缺少業務。目前建設策略是推動CDN ON ENS資源融合生產,整合邊緣算力資源,融合後也給資源的分時複用帶來更大的可能性。
CDN作為最成熟的邊緣雲應用場景,經歷了長期的技術架構演進,其基礎設施軟硬件架構可以複用到邊緣雲技術中。源站通常為企業自建的服務器,規模及性能相對於中心雲是比較有限的。在業務上線早期可以正常運轉,但隨著業務的增長,面對海量的客戶端請求,假如沒有CDN,企業只能增加資源投入,否則可能會造成服務端的響應超時甚至服務癱瘓。而CDN通過多級緩存以及全局的DNS調度能力,使用戶能就近訪問所需的資源(特別是圖片、視頻等靜態資源),避免對源站帶寬和服務器造成過度的壓力。由於滿足不同地域的用戶就近接入,可以認為CDN天然具備低時延、全局大帶寬的邊緣雲計算典型特點。支撐CDN的監控、數據智能、配置管理等系統,具備標準的邊緣海量數據分發、處理,以及和中心交互的能力,也將逐步演進為邊緣雲原生的配套標準系統。
根據阿里雲邊緣雲原生的能力模型定義可知:在資源側,主要是將異構資源(包含傳統物理機,雲聯節點,IoT/MEC設備,ARM陣列服務器等)進行並池雲化,在這之上提供邊緣雲節點操作系統,將計算、存儲、網絡資源進行虛擬化,並結合容器/K8S標準雲原生的能力進行模塊化能力構建以及對應邊緣標準生態延伸輸出社區,比如面向業務需要有全網全集群應用生命週期管理、編排發佈的能力,對應到阿里雲有定義邊緣CRD operator EdgeWorkload提供能力,定義OAM編排擴展能力。面向平臺管理員,像多集群管理,租戶隔離,元數據管理等也是在邊緣海量用戶海量數據場景下也需要相應的能力定製。另外邊緣存在大量分佈式異構資源,如何最大化利用資源,需要依賴於全局的容器調度器結合業務相關的全局流量調度分發策略。彈性伸縮HPA/VPA的場景也是面向邊緣分佈式的解決方案。
阿里雲擁有遍佈全球各地的資源,需要對異構資源納管模塊定義分區域的規劃策略,進行規劃接入,圍繞中心管控+邊緣自治+多重緩存的方式進行展開。
考慮邊緣雲的架構複雜度、海量節點數量、異構資源差異性等因素,阿里雲通過不斷完善系統可觀測性和強化Devops運維建設能力,來提升系統穩定性。
同時,阿里雲邊緣雲原生具有異構融合廣覆蓋、雲邊體驗一致性、標準雲原生兼容、算力全域流動性等技術優勢。
典型邊緣雲業務應用
早期CDN節點架構主要是按照資源進行規劃部署,2臺LVS+小於4臺管控機器,剩下都是緩存機器,屬於規劃先行的部署模式,資源閒置較多,並且也造成建設成本的浪費。在全面推進CDN ON ENS邊緣融合計算可以極大提升資源利用效率。
智能終端上雲,是未來IoT設備大規模接入很重要的場景,涉及到典型的邊緣全局容器調度和流量調度的協同。中心管控會事先根據預估的用戶規模申請資源,接入集群,並將容器部署在邊緣節點上,在用戶請求建連時,根據預定義的流量調度策略,從中心管控獲取邊緣閒置容器,將用戶設備和服務端容器進行綁定。當用戶斷連時,銷燬重建新的容器供後續其它業務使用,避免數據洩漏。中心管控會實時的根據併發請求情況等核心指標進行動態的容器擴縮容。
中心下沉業務,中心具備規模化Region的數量是比較有限的,當客戶對延遲非常敏感,首選是在就近邊緣節點進行服務的部署和處理客戶請求。為保證雲邊一致體驗,業務中控系統需要同時獲取中心和邊緣的服務數據,再根據用戶請求進行流量分發。這樣既可以降低對於中心帶寬成本和資源的壓力,又可以提升用戶體驗。
最後, 江岑表示,阿里雲邊緣雲原生技術將不斷完善調度、資源、協同等方面能力,面向行業客戶以及合作伙伴提供最佳雲原生應用體驗,共同打造邊緣雲創新應用。