雲計算

阿里雲熊鷹:基於融合、協同系統的邊緣雲原生架構演進和實踐

熊鷹.jpeg

雲原生和邊緣計算是近兩年都非常火的技術話題了,在第十屆雲計算標準和應用大會上,阿里雲高級技術專家熊鷹分享了《基於融合、協同系統的邊緣雲原生架構演進和實踐》,希望通過介紹現在阿里雲在邊緣計算和邊緣雲原生這些技術領域的系統架構演進,讓大家瞭解到業務在雲原生和邊緣計算結合場景下落地的一些思考。

關注阿里雲Edge Plus公眾號,回覆“熊鷹”,獲得演講PPT材料

概述

近幾年邊緣計算髮展非常迅猛,大家可以在各種標準和資料中看到各家對它的定義,這裡對其中的幾個基礎概念做一個總結性的表述

【緣起】
邊緣計算概念的緣起,可以追溯到比較久遠的時期,但是真正熱度興起,主要還是因為5G的發展;4G的發展使得移動互聯網大爆發,因此在5G時代邊緣計算被賦予了很大的期望,希望成為新的產業賽道;另一方面,5G標準3GPP裡定義的的三大場景大帶寬、低延時、廣連接,從各個方面都會強化邊緣計算的應用場景,而由此帶來的電信的基礎設施的改造,使計算可以進一步下沉,從互聯網到核心網、進一步下沉到接入網,計算正在一步步變得離用戶越來越近。

【定義】
關於邊緣計算的定義,身處不同的領域和角度,運營商、雲服務廠商、硬件廠商,各家對於邊緣計算的定義是不一樣的。在阿里雲的邊緣雲標準裡,定義邊緣云為:在靠近終端(人和物)的網絡節點,提供分佈式、可定義、可調度、標準開放且安全的計算平臺及服務。目標是要拓展雲的邊界,讓計算與連接離物更近,讓它作為萬物互聯的基石。

【特徵】
與中心雲來對比,邊緣的節點是分散的多級的,節點多而體量小,不止是區域級省級,還會下沉到地市級園區級,在5G場景裡,更要下沉到接入網,雲與邊、邊與邊之間的網絡可能都是互聯網通道。

【挑戰】
海量的、分佈式的、異構的邊緣節點資源特性,會給業務帶來巨大的挑戰:多個網絡入口,代表著統一的流量監控和彈性伸縮策略是不可用;節點多而體量小,代表著單一集群的彈性弱,而全局的彈性強;海量節點的納管和互聯網的網絡環境,對於高可用、災備、遷移等等都是大的衝擊。

總體來說,由於新基建的提出和佈局,5G、物聯網、工業互聯網得到了廣泛的關注。5G的商業化和產業化進程的加速,使底層基礎架構更加的成熟,在今年已經催生出了一大批新行業入場,雲應用、雲遊戲、互動娛樂、工業互聯網2.0等等,同時也在推動著整體技術架構在迅速地變化和演進。

基礎設施演進

首先來介紹邊緣基礎設施的演進情況,阿里雲根據業務形態,定義了三個階段:

屏幕快照 2021-01-05 上午10.22.48.png

第一個階段為邊緣雲就緒,在這個階段,用戶只是把運行在物理機上面的應用,遷移到虛擬化環境中,這個過程是以降低成本為主要驅動力的,用戶不再自建節點,將底層物理設施的運維轉交給邊緣雲處理,而應用的開發和運維方式並沒有非常不同。

第二個階段為邊緣雲原生,用戶希望能再進一步降低整體擁有成本,提升系統能力和研發效能,利用標準化、自動化的方式來管理資源、交付應用、運維繫統,用戶基於K8S進行深度開發和定製,將邊緣資源進行一個整合,適配邊緣的特性,在之上開發搭建自己的PaaS平臺,以提供給內部的業務使用。

大家對前兩個階段應該很熟悉了,跟中心雲的演進過程很類似;

第三個階段為邊緣融合雲原生,應該算是一個比較新的概念,這是阿里雲在實踐過程當中,結合對用戶業務的思考,摸索出來定義的一個階段。

展開來講:邊緣的特性是分佈式、資源小而多、網絡條件複雜,這樣用戶需要隨時關注基礎設施的穩定性,並進行業務和數據的切換和遷移;另外,彈性不強,那麼用戶的業務也很難做到按需使用;另外,邊緣各種能力在技術架構上的整合,也需要用戶更深入到K8S之中,具備定製開發能力。總結來說,就是用戶需要感知底層資源、基礎設施,甚至庫存、水位、規劃等等情況,並且業務要下沉到邊緣的技術挑戰和難度都很大。在邊緣融合雲原生裡,帶給用戶的是,在邊緣也並不需要去關心底層基礎架構設施,就能享受到彈性、高可用、按需使用的能力。邊緣融合雲原生應該將異構資源、多集群、庫存水位的邊緣特性屏蔽;將資源調度、彈性伸縮、多級協同等方面的能力進行沉澱和打通;利用雲原生的良好的擴展性,將資源、能力進行抽象融合;同時還需要針對通用業務場景和新興業務場景,提供統一標準的接口封裝;將這些能力釋放給用戶。

系統架構演進

在技術架構演進實踐當中,同樣按照剛才的思路進行分層設計:
基礎設施層:具備異構資源納管、多級網絡架構、融合存儲形態等能力,解決底層資源融合納管、融合生產、抽象屏蔽的問題;
雲邊協同層:具備計算、存儲、網絡流動的能力,具備雲邊、邊邊、多雲的協同能力,解決各種能力和系統協同打通的問題;
平臺引擎層:具備邊緣雲原生抽象集成能力,解決將資源、組件和應用、調度、編排等能力集成融合的問題;
業務場景層:具備統一接口、業務沉澱、場景深化的能力,解決開發者生態閉環的問題。

屏幕快照 2021-01-05 上午10.22.58.png

可以預料到,隨著5G技術和基礎設施的持續演進和完善,以及創新型業務的發展,系統架構還會隨之進行演進和更迭。

紙上得來終覺淺,絕知此事要躬行。接下來,熊鷹通過介紹阿里雲在實際業務實踐過程中的案例,來一一解讀各層的能力和設計。

應用案例——無狀態應用

該場景主要針對的是任務類的業務(例如壓測、撥測、離線轉碼任務)、或者對等網絡系統(P2P傳輸網絡)等,這類業務,對彈性伸縮能力有較高要求、對成本有強烈的敏感度,但是對位置、高可用性等要求不高。由於邊緣單節點彈性能力弱,但是全局資源彈性強的特點,這種場景算是考驗邊緣計算基礎設施能力的典型應用場景。在架構上,它是需要有一個對全局資源的一個統一庫存、融合調度、協同編排的能力:在計算形態上,要支持虛機、容器、安全容器等多種融合計算的形態來滿足不同場景的業務訴求;在資源庫存方面,要有一個融合的資源池;在調度和編排方面,也是有一個協同統一的調度能力;這樣就能很好的提供在事件觸發、流量突發場景下的彈性伸縮和按需使用的能力,也能讓用戶的使用成本大幅度降低。

應用案例——有狀態應用

這個場景,業務除了將計算和彈性託管以外,還將域名和調度託管了。另外,由於業務的複雜性,架構上也日趨複雜。首先,在單集群內,系統需要拆分為多個獨立工作的微服務;第二,多個微服務自身和之間,都有相互編排依賴的關係;第三,在雲與邊(管控與業務)、邊與邊(集群與集群)之間會有協同通信的需求;最後,再加上域名和流量調度、SLB、數據庫、中間件等通用能力和組件集成需求;從這個角度來看,在邊緣的應用場景已經不比在中心雲裡的應用複雜度低了,同時還要加上邊緣的分佈式、多集群、廣調度的特性;分佈式雲計算是對這個場景比較貼切的描述。

在架構上都需要如何來解決業務的需求?最底層基礎架構設施層,產品能力上,引入分佈式SLB、分佈式DB等;網絡能力上,加入了可編程可配置的雲邊、邊邊覆蓋網絡能力;在協同層上,雲邊協同、邊邊協同、流量和資源的動態平衡協同也是核心的能力;在引擎層上,需要有深度開發適配邊緣的雲原生能力,像解決海量節點納管引入的K8S多集群管理聯邦能力、解決業務多租戶隔離的Virutal Cluster能力、解決微服務架構中服務發現和協同通信的Service Mesh組件、適配邊緣虛擬網絡、虛擬存儲的CNI、CSI組件等等。

屏幕快照 2021-01-05 上午11.21.09.png

熊鷹:"分佈式雲計算概念目前還沒有太多的標準和規範,一個複雜應用要做成分佈式,從中心下沉到邊緣,還需要做很多系統架構改造適配的工作。這也是阿里雲努力的方向,希望沉澱出更多的平臺能力出來,形成一個個開發生態的閉環,讓分佈式雲計算,也能輕鬆落地邊緣。”

應用案例——終端上雲

這個業務場景在今年非常火熱,典型是雲遊戲和雲應用這兩個領域。業務將運行在終端上的系統或者應用,託管到雲端,以降低終端成本,也可以降低高質量業務的可准入門檻。在邊緣融合雲原生裡,這裡會有一個根本性的概念轉變:從資源託管、應用託管到設備託管、位置無感託管。在基礎設施層和引擎層,針對各類異構資源將資源做初步的封裝,抽象出一層統一的標準的虛擬化的資源,提供安全和隔離的能力;在業務層上,再進行一層封裝,將資源屬性屏蔽掉,不再提供資源的概念,取而代之的是設備的概念;同時,在協同層上加入了協同計算、協同存儲、協同網絡的能力,讓虛擬設備能夠流動起來。在業務上,不再能看到傳統意義上應用和資源的概念,只能看到一個一個虛擬設備的管控能力,例如設備數據、設備應用、設備調度等等。

屏幕快照 2021-01-05 上午11.21.19.png

這裡強調一下數字孿生的概念,熊鷹表示:在萬物互聯時代,每一個物理終端的背後,最終都有一個影子終端在邊緣雲上,或者是數據的載體,或者是系統的延伸。

應用案例——超清視頻

這個場景還處在技術摸索的階段,是真正下沉到5G MEC節點的一個場景,希望能夠打造一個可複製的5G領域的通用技術架構模型。這個場景裡最關鍵是要能打通協同層和運營商MEC系統的資源協同、流量調度、網絡分流協同的能力。5G/MEC時代算力的持續下沉,到接入網,到MEC節點,通用協議如DNS協議會無法滿足精準的調度需求;一方面調度將會需要根據終端的精確地域信息來決策,另一方面也要根據業務的需求場景來進行決策;例如,對於定位、AR/VR等極高實時性的業務,會放在接入機房來滿足實時性的要求;視頻分析等高傳輸帶寬節省業務和雲遊戲較高實時性業務,會放在匯聚機房,兼顧功能和實時性的需求;而重計算/大存儲的業務放在重匯聚機房或核心機房;多級計算、多級網絡的設計能讓整個系統的能力更加強大和豐富。

邊緣融合雲原生希望在兼顧業務時延、計算能力等需求的基礎上,能分場景靈活的選擇業務的部署位置,來滿足各類業務的需求。當然,這些能力應該是封裝抽象提供給上層,用戶和業務是不應該感知到底層基礎架構設施的複雜性的。

總結

5G時代,終端上雲、VR/AR、邊緣AI、工業互聯網、智慧農業的應用場景將逐漸爆發起來;在一些專有領域內,已經有重量級的應用場景落地;但是在通用互聯網技術領域,真正的5G的Killer應用還沒有出現,或者說真正的結合5G技術還有基礎設施的技術架構還待演進。熊鷹十分期待邊緣計算平臺能夠通過共建、合作的方式,將多級網絡裡的資源融合調度起來,將雲邊端真實打通協同,基於雲原生技術,為行業提供開放的、標準的雲邊協同、雲網一體化能力,讓更多的應用能輕鬆的下沉到邊緣,實現萬物互聯的時代。

Leave a Reply

Your email address will not be published. Required fields are marked *