上一篇:行業綜述 | 《阿里雲存儲白皮書》第一章
下一篇:相關實踐 | 《阿里雲存儲白皮書》第三章
一、強大的技術基因
1、自研分佈式存儲技術
1.1十年磨一劍的盤古
2864億,這是2019全球天貓購物狂歡節創下了的商業奇蹟。在奇蹟的背後,是來自阿里雲自研的分佈式存儲系統——盤古2.0穩如磐石的可靠性支持。2009年,盤古1.0正式發佈,經過十年的發展,今天的盤古2.0已經成為阿里雲智能一體化基礎設施的穩定基石和性能引擎。
1.2穩定壓倒一切
在雲基礎設施中,一個網絡設備或者某個存儲集群出現故障,將使得整個計算單元受到影響。因此,穩定性壓倒一切。作為阿里雲十年磨一劍自主研發的分佈式存儲系統,盤古基於傳統的分佈式數據、糾刪碼、分佈式元數據等分佈式存儲技術,並不斷結合大規模RDMA網絡、全用戶態I/O、智能化運維等技術,持續拓展存儲系統的技術能力邊界,增強系統的穩定性和性能。在線上大促期間,盤古系統在吞吐數TB/s, IOPS上億級的壓力下,依然提供瞭如絲般順滑的存儲體驗,在海量、交叉複雜業務場景下具有良好表現。
盤古採用全分佈式元數據管理,通過元數據的全分佈式管理及動態切分和遷移,大幅提升管理的文件數規模,降低故障“爆炸半徑,去元數據節點特殊機型依賴,也進一步降低元數據存儲成本,提高平臺穩定性。此外還通過數據關鍵路徑快速容錯、軟硬件異常及熱點規避、基於網絡可用帶寬、動態調節複製流量等方式進一步提供穩定性。
1.3性能是極致追求
盤古面向新一代存儲介質和網絡架構,對存儲系統設計進行了深度軟硬協同優化。通過用戶態文件系統、高性能網絡技術、擁塞控制及鏈路監控調度等技術,充分釋放了軟硬件技術發展帶來的紅利。針對NVMe高性能存儲介質的特性,重新定義和設計了全用戶態文件系統,並且通過run-to-completion線程模型以及無鎖技術充分發揮了介質性能,存儲軟件棧本身I/O延遲壓縮到了2微秒以內。在網絡互聯方面,盤古通過遠程直接數據存取技術卸載了協議棧,釋放了CPU資源,並且通過網絡層的擁塞控制優化,避免了存儲網絡層的擁塞,提升了物理網絡資源的利用率,從而進一步降低了分佈式存儲的I/O延遲。2019年全球首個最快雲盤ESSD正式商用,作為全新一代企業級高性能的極致雲盤,ESSD正是基於全新一代自主研發的分佈式存儲系統盤古2.0而打造。
2、彈性讓雲成為可能
彈性是雲計算的核心價值,是每個企業,每個團隊,每個IT工作者所追求的目標。阿里雲彈性計算首席架構師蔡俊傑認為,從廣義上講,彈性讓IT能力輕鬆跟上客戶的業務發展;從狹義上講,彈性則帶給客戶無與倫比的靈活性。
從資源利用角度來說,彈性意味著性價比,根據相關數據統計:在實現雲端部署之後,綜合成本會下降50%。彈性是雲計算技術中公認的最重要的特點之一。彈性實現了按需增減計算、存儲、網絡等各種資源。阿里雲的彈性貫穿於整個產品生態,客戶可以根據業務負載、增長預測、實際應用設置觸發條件,實現資源的動態調整。阿里雲存儲在彈性方面實現了按量付費和按實際使用量付費,無需提前一次性投入。同時,自動彈性擴展存儲的容量和文件數目也滿足了EB級海量數據存儲的需求。
另一方面,隨著公共雲、專有云、混合雲等平臺之間的數據及業務遷移變得更加靈活和便捷,雲計算的外延也不斷擴大並延展到邊緣現場環境中。容器、微服務、服務網格、無服務器計算等新的技術架構不斷湧現、不斷創新,這些也將進一步助力雲存儲不斷提升自身的彈性,推動了數字經濟時代組織架構的改變以及文化的變革。
3、軟件的重新定義
由硬盤、磁帶以及雲等存儲介質組成的存儲金字塔架構正在受到越來越多的衝擊,存儲架構進一步簡化,實現了通過數據的使用而不是底層存儲介質來定義數據。軟件創新使等簡化的存儲架構可輕鬆用於更多的細分市場,例如媒體和娛樂、能源,甚至是中小企業市場。新的簡化模型使組織可以將大部分不活躍的數據從昂貴的存儲主層(由閃存、NVMe和其他固態技術以及高性能磁盤組成)中移到更為經濟的冷存儲層,或者稱之為永久層。用戶也可以將數據的多個副本存儲在對象存儲、磁盤和磁帶等在內的多種更為經濟的存儲介質上。永久層還可以用於第二存儲、數據分發、備份、存檔和災難恢復等業務上。同時,也可以將永久層設置為根據客戶工作流程的需求進行響應,從而使用戶可以創建響應副本或在雲、磁帶上創建災難恢復副本。這些功能,都有賴於軟件對數據存儲、訪問方式的重新定義。
軟件與硬件的發展往往是緊密結合的,在這個過程中,既離不開不同介質硬件的自我革新——比如SSD的普及、比如阿里雲自研的神龍服務器;也離不開軟件的不斷創新——通過開放接口的方式進一步提升存儲系統效率,藉助硬件和軟件產品的集成,確保硬件可以在軟件的支持下得到性能的優化。存儲系統架構經過不斷演進,已經從硬件定義時期演變到軟件定義時期——通過軟件的能力在通用廉價硬件基礎之上構建可靠數據存儲系統,最明顯的例子就是SDS(軟件定義存儲)近幾年的快速發展,它使存儲軟件與底層硬件分離,使企業可以更好的利用標準化硬件從而獲得成本、效率等方面的回報。
4、完善的多租戶管理
雲存儲需要有一個完善的多租戶管理系統。其核心主要包括兩點,一是一套代碼、一個服務或者一個產品被多方客戶共用;二是不同客戶之間的數據在邏輯上是隔離的,即每個客戶擁有自己獨立的數據空間,並在這個獨立的數據空間內完成自身的業務行為。如何解決多租戶的安全隔離問題是企業上雲的一個關鍵問題。
阿里雲基於計算與存儲分離方案使得二者可以獨立擴展,從而能夠提供更安全高效的多租戶服務。以阿里雲對象存儲為例,對象存儲天生是一個共享型的服務,數十萬的客戶共享對象存儲的海量資源池,對象存儲將用戶數據切片,每片用戶數據打上用戶標籤,離散存儲在分佈式文件系統中,並且用戶數據和數據索引分離存儲。對象存儲用戶認證採用 Access Key 對稱密鑰認證技術,對於用戶的每個請求都驗證簽名,在用戶驗證通過後,根據用戶標籤重組用戶離散存儲的數據,從而更好的實現多租戶間的數據存儲隔離。
5、多種數據災備及加密方式
安全可靠是阿里雲始終堅守的重要底線。為此,阿里雲執行多層次、全鏈路、全方位的安全加密策略,實現業務安全、運營安全、數據安全、網絡安全、應用安全、主機安全和帳戶安全以及底層數據中心安全。此外,還提供了完全託管服務,用戶不再需要自己規劃容量的擴容和備份。
早在2018年6月,阿里雲已經正式對外發布了國內第一家雲原生混合雲備份服務和混合雲容災服務,提供雲上備份與容災的保護能力,客戶可實現災備方案的分鐘級部署。國內首家發佈同城三可用區域部署能力的雲上對象存儲,可滿足企業級客戶對於發生機房級災難事件時數據不丟、業務不斷的需求。相比於建設線下同城容災機房,對象存儲同城區域冗餘存儲提供99.95%的可用性SLA指標、12個9 數據可靠性和一鍵部署雲上同城容災服務能力,結合“跨區域複製”能力,可實現機房、同城、跨地域三級完整的容災服務能力。對象存儲的多版本功能,使得用戶可保留、恢復文件的歷史版本,且可設置歷史版本保留時間,防止人為或程序的出錯,提升容錯能力。
在數據加密方面,對象存儲的多次讀取特性允許用戶以“不可篡改、不可刪除”的方式進行雲上數據合規保存。對象存儲的數據加密功能涵蓋客戶端加密、服務端加密,可結合密鑰託管服務,並支持用戶以自有密鑰方式進行加密,大大提升數據安全與合規能力。
文件存儲推出的傳輸加密、落盤加密功能,通過託管密鑰、自有密鑰加密充分保證數據在傳輸中的安全性。
塊存儲通過和阿里雲密鑰管理服務集成,用戶可通過雲盤加密功能保護數據的隱私性和自主性。
二、全面的雲存儲實踐
1、針對行業的有效賦能
根據諮詢公司埃森哲(Accenture)所做的關於數字經濟的研究顯示,對於數字經濟來說,雲計算不僅僅是實現IT資源池化、提升性能、降低成本和簡化管理的工具,更重要的是為各個產業數字化轉型提供豐富的服務。
從2016年的新零售、新金融、新制造、新技術和新能源“五新”戰略到2019年的“百新”,是數字經濟時代的全面進入期,無論是企業、工廠、醫院或者城市,各行各業都已開啟了數字化的升級之路,所有的商業元素和社會元素,都在全面走向數字化和智能化。目前,阿里雲全球企業客戶數量已超300萬,其中包括38%的世界500強企業、80%的中國科技企業和一半以上的中國A股上市公司。一直以來,阿里巴巴作為數字經濟的堅定實踐者、推動者和創新者,正在幫助客戶更方便、高效的使用數據這個新的生產要素。
2、面向場景的最佳實踐
場景,作為連接產品與客戶之間的橋樑,需要解決客戶更為具體的業務問題。這些場景不是寬泛的名詞概念,而是具體的業務支撐或功能實現。為此,阿里雲面向多個場景提供了更為有效的最佳實踐。
數據庫、大數據處理和分析、人工智能、容器等領域具有自身的特點,所以存儲技術針對以上典型場景也進行了相應的集成設計,結合場景的特點進行適配和優化,提高與場景結合的端到端優化能力和存儲的效率。隨著業務場景的逐漸增多,社會各個要素已經被數字化。在這個過程中,阿里雲以及阿里巴巴首先自身有著非常豐富的業務場景,並且正在快速地構建一些創新性的場景。這些經過阿里自身驗證的場景反過來又可以全力賦能各個行業,助力各行各業的客戶邁向數字化經營,邁向社會公共服務數字化的同時,完成全流程的數字化轉型。
3、被集成的產品策略
作為基礎設施的重要組成部分,存儲有著豐富的產品形態。阿里雲已經建立起了包括對象存儲、塊存儲、文件存儲等在內的全球最豐富的雲存儲產品家族,並且憑藉多層次防護、跨區域容災等能力連續三年入選Gartner全球雲存儲魔力象限,位列全球領導者地位。同時,阿里雲秉承“被集成”的核心生態戰略,藉助夥伴的力量實現快速補位。
阿里雲作為合作伙伴解決方案的一部分,將幫助合作伙伴完成基礎設施轉型、技術轉型、系統轉型。在這樣的戰略下,阿里雲的全棧存儲產品將整合了阿里雲的API、SDK、開發者工具能力等,以場景化的方式引導合作伙伴和客戶更好地集成阿里雲,滿足企業級數據存儲和管理場景,通過提供經過內部應用驗證的豐富、可靠的原子能力和場景實踐,不斷提升阿里雲“被集成”的能力和靈活性。目前,阿里雲存儲產品已經先後與IBM、浪潮、Commvault、Cloudflare、 DELL EMC、NetApp等合作伙伴在多個業務場景中開展了深入的合作。
三、完善的產品矩陣
1、對象存儲
產品介紹:
阿里雲對象存儲(OSS)是一種海量、安全、低成本、高可靠的雲存儲服務,提供99.9999999999%(12個9)的數據可靠性。OSS提供與平臺無關的RESTful API接口,可以實現在互聯網任意位置的存儲和訪問,實現容量和處理能力的彈性擴展以及存儲成本的全面優化。
產品優勢:
1)穩定可靠:OSS的多重冗餘架構設計,為數據持久存儲提供可靠保障。同時,OSS基於高可用架構設計,消除單節故障,確保數據業務的持續性。
2)安全合規:支持服務端加密、客戶端加密、防盜鏈、IP黑白名單、細粒度權限管控、日誌審計、多次讀取特性,並獲得多項合規認證,滿足企業數據安全與合規要求。
3)智能處理:提供多種數據處理能力,如圖片處理、視頻截幀、文檔預覽、圖片場景識別、人臉識別、OSS Select等,並無縫對接Hadoop生態以及阿里雲EMR、數據湖分析、PAI、MaxCompute、函數計算、DBS等產品,滿足企業數據分析與管理的需求。
4)數據分層:提供標準、低頻、歸檔多種類型,通過生命週期自動化實現數據類型轉換與過期管理,覆蓋從熱到冷多種存儲場景。
5)方便易用:提供RESTFul API、控制檯、多種開發語言的SDK、命令行工具、圖形化工具等多種使用方式,您可以隨時隨地通過網絡管理您的數據。
產品功能:
1)多種存儲類型:支持數據冷熱分層,提供更具性價比的存儲方式,提供同城區域冗餘將數據冗餘存放在多個可用區,具備機房級容災能力;提供本地冗餘將數據冗餘存放在同一可用區的多個設備,抵禦硬盤/存儲服務器級故障。
2)數據保護與安全:支持多冗餘的可靠架構、完整性校驗、權限控制、加密、日誌審計、數據合規、多版本管理等,提供更可靠、更安全、更合規的對象存儲。
3)企業級數據管理:支持生命週期、回源、更豐富的數據上傳與下載方式、事件通知、回調等,提供更簡單易用、更便於管理的對象存儲。
4)數據處理能力:支持圖片、文檔、視頻、JSON等格式數據的常用處理和分析能力,提供更智能的對象存儲,幫助客戶釋放數據更大的業務價值。
5)大規模數據遷移:支持PB級的在線、離線遷移方案,提供更安全、更快速的PB級數據遷移上雲方案。
2、塊存儲
產品介紹:
阿里雲塊存儲(Block Storage)是阿里云為雲服務器提供的低時延、持久性、高可靠的數據塊級隨機存儲。塊存儲支持在可用區內自動複製用戶的數據,防止意外的硬件故障導致數據不可用,以保護用戶的業務免於組件故障的威脅。就像對待硬盤一樣,用戶可以對掛載在雲服務器實例上的塊存儲做格式化、創建文件系統等操作,並對數據持久化存儲。
產品優勢:
1)豐富產品類型:提供ESSD雲盤、SSD雲盤、高效雲盤、普通雲盤、NVMe SSD本地盤、SATA HDD本地盤、SSD共享塊存儲、高效共享塊存儲等多種磁盤類型,滿足不同業務場景需求。
2)領先的產品性能:提供全球性能最高的塊存儲產品ESSD雲盤,單盤隨機讀寫IOPS最高為一百萬,順序讀寫吞吐為4GB,領先業界其他廠商雲盤數十倍,滿足核心OLTP類業務對高IOPS、低時延的性能訴求。
3)高可靠的產品設計:基於分佈式多副本技術,數據可靠性高到99.9999999%,結合雲盤快照技術,滿足數據持久化保存需求,避免因病毒、黑客攻擊、人為誤刪除所導致的邏輯錯誤。
4)快速的彈性部署:利用快照和鏡像實現快速的業務批量化部署,隨時根據需要擴展塊存儲的容量以及在線調整性能等級。
5)安全合規能力:通過磁盤加密功能實現對雲盤和共享塊存儲的數據加密,密鑰管理服務提供數據加密功能,採用256位強密碼算法無需構建、維護和保護密鑰。支持客戶自帶密鑰上雲的加密方式,提供自主可控的加密能力,滿足行業合規要求。
產品功能:
1)核心業務支撐:塊存儲專為企業級客戶的核心業務而設計,打造高可用集群架構,適用於完全共享型數據庫架構下對塊存儲設備的訪問場景。例如,政府、企業和金融行業常用的高可用架構數據庫集群和高可用架構服務器集群。
2)集群架構應用:在典型的集群架構中,多個計算節點通常需要訪問同一份業務數據。為防止一個或多個計算節點發生故障而導致業務中斷,可以使用共享塊存儲保證集群對外提供業務訪問的持續性和高可用性。
3)異地容災:支持支持秒級數據快照,並可將快照複製到不同地域,滿足數據級異地備份需求,提高數據及業務保護能力。
3、文件存儲
3.1 NAS
產品介紹:
阿里雲文件存儲NAS是一個可共享訪問,彈性擴展,高可靠,高性能的分佈式文件系統。兼容POSIX 文件接口,可支持數千臺計算節點共享訪問,可以掛載到彈性計算雲服務器、神龍裸金屬、容器服務、彈性容器、批量計算、高性能計算,AI訓練等計算業務上提供高性能的共享存儲,用戶無需修改應用程序,即可無縫遷移業務系統上雲。
產品優勢:
1)容量彈性擴展:存儲容量隨業務的寫入或刪除動態伸縮,只需創建文件系統,無需提前預置容量。
2)高性能:高IOPS,高帶寬,低時延,系統吞吐量隨文件系統容量的增長而擴展。
3)簡單易用:全託管式服務,提供簡單的控制檯界面快速創建和配置文件系統。
4)安全可靠:基於分佈式存儲的多副本技術提供高達99.999999999%的可靠性。
產品功能:
1)豐富的協議兼容:提供標準的NFS和SMB訪問協議,支持主流的Linux和Windows操作系統。
2)傳輸加密:傳輸加密保障用戶數據在傳輸到存儲的過程中不被竊取和窺探。
3)共享訪問:多計算實例共享訪問文件系統裡的同一數據源,通過文件鎖保證數據的強一致性。
4)安全合規:基於RAM的用戶認證,VPC隔離和安全組訪問控制,保障數據安全。
5)靈活的訪問模式:支持VPC網絡訪問文件系統或IDC機房通過專線網絡、VPN網絡等多種方式訪問。
6)數據備份:文件存儲備份可以通過靈活的備份策略生成多個備份副本數據,在發生數據損壞時進行恢復。
7)彈性可擴展:文件系統容量可以彈性擴展,隨著添加或者刪除文件系統的數,文據容量自動擴展或縮減。
8)數據傳輸:利用數據遷移服可支持在NAS間或NAS到OSS間進行數據的同步或異步傳輸。
3.2 CPFS(Cloud Paralleled File System)
產品介紹:
文件存儲CPFS (Cloud Parallel File Storage),是阿里雲完全託管、可擴展的並行文件存儲系統,針對高性能計算場景的性能要求進行了深度優化,提供對數據毫秒級的訪問和高聚合I/O、高IOPS的數據讀寫請求,可以用於AI深度訓練、自動駕駛、基因計算、EDA仿真、石油勘探,氣象分析,機器學習,大數據分析以及影視渲染等業務場景中。
產品優勢:
1)完全託管:雲中完全託管的服務,可以輕鬆創建和運行高性能文件系統。不再需要考慮安裝和配置軟件,以及複雜的性能調優工作,只需幾分鐘就能立刻開始使用高性能的文件存儲。
2)超高吞吐和IOPS:文件存儲CPFS採用分佈式的並行架構,數據條帶化後均勻分佈在存儲集群上,可以實現計算節點並行訪問,提供數百GB的吞吐和千萬級的IOPS以及亞毫秒級時延。
3)彈性可擴展:支持在線的擴容,由於所有數據均以條帶化的方式存儲並且支持擴容以後的自動負載平衡,可滿足性能的線性增長並且即時利用擴容節點的吞吐和存儲能力,滿足業務增長需要的更多容量與性能的訴求。
4)高可用:所有節點均為高可用設計。實現集群內秒級別的故障檢測,並由CPFS集群調度器自動將服務切換到其他節點,同時兼顧負載均衡。整個切換過程用戶不感知,提供遠高於傳統兩節點的高可用性。
5)安全可靠:數據持久化存儲於阿里雲自研的盤古分佈式存儲系統,支持多份數據拷貝,可以提供11個9的數據可靠性,並完美通過了阿里雙十一超高壓力的考驗。
產品功能:
1)兼容POSIX/MPI:文件存儲CPFS的兼容標準POSIX/MPI,因此您可以使用當前基於Linux的應用程序,無需進行任何更改。需要MPI支持的高性能計算軟件,也可以直接訪問數據。
2)文件管理功能:支持目錄級別的配額設置,以及ACL訪問控制。用戶可以將LDAP、NIS集成到文件存儲CPFS中。
3)計算生態整合:作為阿里雲中高性能計算存儲服務,與高性能彈性計算、批量計算、容器等計算平臺整合,支持集群直接掛載CPFS文件系統。用戶CPFS中的數據可以藉助阿里雲豐富的計算生態進行快速分析。
4)併發訪問優化:統一命名空間,支持成千上百機器同時併發訪問,針對數據處理進行了優化。即使是大量的小文件,訪問性能也可以提高10倍以上。
3.3 HDFS(Apsara File Storage for HDFS)
產品介紹:
阿里雲文件存儲HDFS(Apsara File Storage for HDFS)是面向阿里云云服務器、神龍裸金屬實例及容器服務等計算資源的大數據文件存儲服務。提供標準的HadoopFS(HDFS)訪問協議,用戶無需對現有構建在HDFS上的大數據分析應用做任何修改,即可使用具備無限容量及性能擴展、單一命名空間、多共享、高可靠和高可用等特性的分佈式文件系統。
產品優勢:
1)容量彈性擴展:存儲容量隨業務的寫入或刪除動態伸縮,只需創建文件系統,無需提前預置容量。
2)HDFS接口兼容:原生兼容HadoopFS接口,用戶基於HDFS開發的程序無需修改和適配即可上雲。
3)高性能:高帶寬,系統吞吐量隨文件系統容量的增長線性擴展,並提供預置帶寬剛性兌付。
4)安全可靠:基於分佈式存儲的多副本技術提供高達99.999999999%的可靠性。
5)簡單易用:全託管式服務,提供簡單的控制檯界面快速創建和配置文件系統。
產品功能:
1)大數據分析:高吞吐能力有效縮短大數據分析和計算的時間,存儲計算分離提升計算資源使用效率。全託管存儲讓用戶可以集中精力於業務數據分析。
2)高性能數倉:高吞吐和剛性吞吐兌付能力支撐用戶在HDFS上構建自己的高性能數倉服務,並實現數倉的數據與查詢能力的彈性擴展。
4、日誌服務
產品介紹:
日誌服務(Simple Log Service,簡稱SLS)是行業領先的針對實時數據一站式服務,無縫的集成了提供數據採集、清洗、分析、可視化和告警功能。全面提升海量日誌處理能力,實時挖掘數據價值,智能助力研發/運維/運營/安全等場景。
產品優勢:
1)數據實時處理:實時採集、傳輸,可1秒內到服務端,百億級數據量提供秒級查詢,專為關鍵業務監控和分析設計。
2)開放靈活:與開源/閉源軟件打通,無縫結合。
3)安全可靠:多種訪問控制、加密算法、權限管理、審計日誌等特性保障數據安全。不低於99.9%的可用性和99.999999999%持久性。
產品功能:
1)數據實時採集:通過日誌服務LogHub功能,可以大規模低成本接入各種實時日誌數據(包括Metric、Event、BinLog、TextLog、Click等)。
2)智能查詢分析:智能查詢分析可以實時索引數據,支持標準SQL92語法,提供關鍵詞、模糊、上下文、範圍、SQL聚合等豐富查詢手段,並提供原生的交互式分析儀表盤,告警、報表等功能。
3)實時計算與數據清洗:日誌中樞支持與各種實時計算及服務對接,並提供完整的進度監控,報警等功能,並可以根據SDK/API實現自定義消費。
4)對接數據倉庫:日誌投遞功能可以將日誌中樞中數據投遞至存儲類服務,過程支持壓縮、自定義隔離以及行列等各種存儲格式。
5)成本賬單管理:日誌服務可以與阿里雲賬單中心聯合使用,為用戶提供費用預測、異常賬單挖掘、自定義搜索分析、費用優化、報告自動發送等服務,解決因為用戶眾多,規模資源頻繁伸縮等造成的成本管理問題。
5、表格存儲
產品介紹:
表格存儲(Tablestore)是阿里雲自研的面向海量結構化數據的存儲產品,被廣泛用於社交互聯網、物聯網、人工智能、元數據和大數據等領域結構化數據業務場景。提供基於表抽象的多種數據模型,包括寬行模型 WideColumn、消息模型Timeline以及時序模型Timestream,可提供PB級存儲、千萬TPS以及毫秒級延遲的服務能力。
產品優勢:
1)極簡的數據寫入:模式靈活,支持千萬QPS高性能寫入,毫秒級延遲。同時提供豐富的模型接入選擇。
2) Serverless服務:業務全託管模式無需管理水位和容量,分佈式架構規模自動橫向拓展,支持單表10PB數據量級,自動故障檢測與恢復。
3)強大的數據檢索與分析:提供分佈式索引系統,包括多元索引、二級索引能力。支持WideColumn、Timeline和Timestream模型,便於不同類型數據抽象。實時捕獲表內數據的變化,提供全增量一體數據實時消費通道,幫助應用高效完成數據全鏈路處理分析。
4)完善的計算生態:提供數據實時消費通道,與開源體系(Spark、Flink等)和阿里系自研產品(MaxCompute、DLA)等無縫對接。快速挖掘數據價值。
5)更高的數據安全:提供雲原生靈活的權限管理機制與網絡安全能力,支持數據落盤加密。
產品功能:
1)多數據模型:支持WideColumn、Timeline和Timestream模型,便於不同類型數據抽象,未來會擴展更多NoSQL數據模型。
2)索引查詢分析:提供分佈式索引系統,包括多元索引、二級索引能力。滿足不同場景數據查詢分析需求。
3)數據實時消費通道:實時捕獲表內數據的變化,提供全增量一體數據實時消費通道,幫助應用高效完成數據全鏈路處理分析。
4)數據安全:提供雲原生靈活的權限管理機制與網絡安全能力,支持數據落盤加密。
5)計算生態接入:對接多種大數據計算引擎、與MaxCompute、Spark、流計算和數據湖分析等計算產品無縫打通。
6、混合雲存儲
6.1混合雲存儲陣列(Hybrid Cloud Storage Array)
產品介紹:
阿里雲混合雲存儲陣列集成了雲存儲網關的混合雲存儲及企業級存儲的特性,可以像使用本地存儲一樣使用和管理本地和雲端的各種存儲資源(塊、文件和對象),本地存儲通過雲緩存、雲複製、雲分層、雲備份等方式無縫連通雲存儲。混合雲存儲陣列和雲存儲服務相結合提供了一種經濟高效,易於管理的混合雲存儲解決方案。
產品優勢:
1)靈活的部署方式:良好的存儲協議兼容性支持數據中心標準機架部署,支持Cinder/Swift,iSCSI,CIFS/NFS,FC/FCoE等業界標準的傳輸協議。
2)性能強大:提供協議轉換,雲緩存,雲數據分層,雲備份等能力,提供去重和壓縮的數據處理機制,提供同步和異步數據傳輸方式。
3)數據安全:混合雲存儲陣列提供多控多活機制,雲端提供11個9的數據可靠性,同時還有端到端的數據加密,全鏈路的日誌監控和完備的數據一致性校驗機制確保您的數據安全。
產品功能:
1)設備利舊,無縫上雲:不修改原有使用架構,無需修改代碼,像使用傳統陣列設備一樣使用,簡單配置,即可享受雲端無限擴容,低成本的存儲空間。在塊存儲的使用場景下,阿里雲混合雲存儲陣列可以兼容95%的主流存儲陣列產品,通過虛擬化能力統一管理舊存儲的卷,實現數據遷移和利舊。
2)異地災備方案:利用阿里雲遍佈全球的數據中心,搭建異地災備解決方案,無需投入巨資建設異地物理備份機房。搭配阿里雲存儲產品,輕鬆擁有數據生命週期管理及雲上雲下、異地容災的能力,滿足等保2.0合規要求。
6.2雲存儲網關(Cloud Storage Gateway)
產品介紹:
雲存儲網關以阿里雲對象存儲為後端存儲,為企業應用提供行業標準的文件存儲和塊存儲服務。雲存儲網關可以部署在客戶數據中心或阿里雲上,幫助客戶簡化存儲管理,實現企業應用和阿里雲存儲服務的無縫對接。
產品優勢:
1)海量擴容:基於對象存儲,提供海量擴展的文件存儲和塊存儲服務。
2)高兼容性:支持標準企業存儲協議,無縫對接企業應用,無需應用程序改造,開箱即用。
3)分層存儲:支持冷熱數據分層,同時享受本地高性能讀寫體驗和雲端海量存儲空間,兼顧不同業務對性能和容量的需求。
4)靈活部署:雲存儲網關既支持客戶本地數據中心多虛擬化平臺的部署,也支持直接開通雲上網關服務。
產品功能:
1)混合雲部署:利用存儲網關及公有云的成本優勢,助力企業或組織實現本地存儲與公共雲存儲的統一融合體系。
2)數據遷移上雲:異步多線程上傳機制和數據自動一致性校驗校,可以實現本地數據中心到雲端的快速遷移。
7、雲災備
7.1混合雲備份(Hybrid Backup Recovery )
產品介紹:
混合雲備份(簡稱HBR)是一種簡單易用且高性價比的在線備份服務,可以為阿里云云服務器、文件存儲、對象存儲以及自建機房內的各類數據提供安全,高效的保護。
產品優勢:
1)全面支持:可備份文件、文件存儲、對象存儲、SQL Server、SAP HANA數據庫、VMware虛擬機,支持Windows、Linux等操作系統。
2)安全可靠:端到端的數據加密校驗,保障備份數據傳輸與存儲的安全。
3)高速高效:數據重刪/壓縮壓縮比可達30:1,確保數據高效備份到雲端。
4)彈性擴展:依託於備份庫的無限擴展能力,可實現海量數據的保存。
產品功能:
1)雲端備份:保護本地數據中心數據,包括辦公文件、設計稿、音視頻、醫療影像文件、VMware虛擬機以及數據庫等等。通過配置數據保護策略,備份數據上雲,當數據出現病毒感染,誤刪誤改時從阿里雲備份庫上直接通過軟件還原數據,也可以在雲上直接恢復數據實現恢復演練和數據分析。
2)VMware虛擬機備份遷移:HBR提供了針對VMware的高性能無代理備份功能,無需在虛擬機內安裝代理即可為虛擬機提供可靠的整機備份。虛擬機備份除了可以恢復回VMware,還可以在阿里雲上整機恢復成阿里云云主機,讓業務可以在雲上繼續運行,實現極低成本的業務級容災。同時支持雲上快速災備演練。
7.2混合雲容災(Hybrid Disaster Recovery)
產品介紹:
混合雲容災(簡稱HDR) 則是為本地數據中心以及阿里雲上的企業關鍵業務提供低至秒級RPO,分鐘級RTO的容災服務,保障業務連性。
產品優勢:
1)高效恢復:秒級RPO,數據實時複製,分鐘級RTO,雲上快速整機拉起。
2)可驗證:一鍵演練,10分鐘完成驗證,高細粒度恢復,可驗證歷史版本。
3)低成本:無需對等配置計算資源,平時僅消耗雲盤和極少量計算CPU內存,雲上VPC、vSwitch、流量完全免費。
產品功能:
1)雲上應用容災:阿里雲上部署在雲服務器上的應用通過HDR的CDR技術,實現跨可用區或跨地域的實時複製,實現秒級RPO,分鐘級RTO的高性能應用級容災。更有容災編排能力,可以預製多節點複雜應用雲上一鍵恢復流程,是真正平時可驗證,容災時可恢復的容災方案。
2)本地數據雲端容災:本地數據中心的關鍵應用通過CDP技術實時保護,實現秒級RPO,分鐘級RTO的高性能應用級雲容災。更有容災編排能力,可以預製多節點複雜應用雲上一鍵恢復流程,是真正平時可驗證,容災時可恢復的容災方案。
8、閃電立方
產品介紹:
閃電立方(Lightning Cube)能夠為用戶提供安全、高效、便捷的數據傳輸服務。支持將對象存儲、文件存儲從不同設備、不同雲服務商遷移和同步到阿里雲。它提供在線遷移和離線遷移(閃電立方)兩種遷移方式,致力於解決大規模數據傳輸效率、安全問題等難題。
產品優勢:
1)易用靈活:支持在線遷移和離線遷移,可視化配置頁面,僅需三步輕鬆設置遷移部署任務。遷移過程實時監控,在線顯示遷移進度。遷移結果提供報告,完成情況一目瞭然。
2)安全可靠:保證數據一致性,支持MD5或CRC自動識別源端校驗規範,進行讀寫雙向校驗。傳輸加密,傳輸時,採用HTTPS數據加密通道。
3)高性能:支持多任務、高併發。支持個性化流控,為避免遷移數據與在線業務訪問爭搶網絡帶寬,在線遷移執行任務時可指定時間段內的最大流量,方便客戶根據業務波峰和波谷來設置遷移流控。
產品功能:
1)數據遷移至對象存儲:用戶數據存儲在第三方雲服務商的對象存儲中,需要將數據遷移至阿里雲對象存儲上。用戶要求遷移中,需保證業務的正常進行,不能影響其用戶正常讀取數據。遷移完成後,需保證數據完整,業務可無縫切換。
2)數據遷移至文件存儲:用戶數據存儲在本地服務器的文件系統中,本地機房能夠通過搭建專有網絡使用專線,實現雲上與本地機房的網絡互通。利用在線遷移服務將本地數據遷移至阿里雲文件存儲中。
3)數據離線遷移:先將數據遷移至閃電立方不同容量規格的硬件中,再通過物理運輸把閃電立方運輸到阿里雲機房。藉助機房的高速網絡,實現數據遷移到對象存儲或文件存儲。
9、批量計算
產品介紹:
阿里雲批量計算(BatchCompute)是一種適用於大規模並行批處理作業的分佈式雲服務。批量計算可支持海量作業併發規模,系統自動完成資源管理,作業調度和數據加載,並按實際使用量計費。批量計算廣泛應用於電影動畫渲染、生物數據分析、多媒體轉碼、金融保險分析、科學計算等領域。
產品優勢:
1)大規模併發:支持十萬核級別以上併發,極大加速計算過程。
2)簡單易用:一鍵提交作業,自動完成資源管理、作業調度。
3)分佈式緩存加速I/O:通過獨有分佈式緩存技術加速共享數據訪問,大幅提升I/O效率。
產品功能:
1)圖片渲染:批量計算的高效集群管理可以幫助您輕鬆調度十萬核以上的計算資源進行渲染,並且通過獨有分佈式緩存技術大幅提升共享場景文件的加載性能。同時提供簡單易用的渲染管理系統,無需編程實現雲上渲染。
2)樣本數據分析:支持基於有向無環圖輕鬆構建複雜工作流,結合批量計算獨有的分佈式緩存技術和OSS掛載功能,無需特別編程就可以實現穩定高效的大規模樣本分析。
10、智能媒體管理
產品介紹:
阿里雲智能媒體管理(Intelligent Media Management,簡稱 IMM)實現了數據的場景化封裝及智能分析管理。為雲上的文檔、圖片數據,提供一站式數據處理、分析、檢索等管控體驗。針對不同的業務場景,封裝整合完整的處理能力,讓數據快速流轉。
產品優勢:
1) 數據處理:結合業界最優秀識別、處理能力,為應用處理提供豐富的數據支持。
2)高效運維:提供Serverless化服務,提升業務運維效率,簡單運維難度。
3)數據識別:多種文件格式的轉化、預覽與識別,可面向具體場景構建快捷的元數據管理應用。
產品功能:
1)多設備智能管理:可以對家庭、辦公等設備的圖片、視頻數據處理,並在雲上實現組合分析、智能管理。消耗極少的帶寬即可得到圖片、視頻的 AI 元數據,快速享受雲端AI的技術服務。
2)圖片內容識別:基於 AI 檢測圖片的標籤,提供內容識別能力。支持幾十個主標籤,上千個子標籤。圖片場景快速添加標籤,實現圖片內容的高效管理。
11、存儲容量單位包
產品介紹:
存儲容量單位包(SCU,StorageCapacityUnit)是一種預付費存儲售賣形態,可以用來抵扣多種不同類型雲盤的按量付費賬單。相比於隨包年包月雲服務器實例購買的雲盤或者直接購買的按量付費雲盤,存儲容量單位包與按量付費雲盤的組合使用,兼具性價比與資源使用的靈活性。
產品優勢:
1) 簡:採用預付費模式,存儲容量單位包可以同時抵扣高效雲盤、SSD雲盤和ESSD雲盤等產品的按量付費賬單,購買更簡單。
2)省:相比於按量付費的存儲賬單,最多可節省67%的成本支出。
3)靈:雲盤與實例解耦,支持與實例的任意掛載和卸載。
產品功能:
1)簡單易用:解決DevOps、微服務在不同運行環境如開發環境、測試環境和生產環境之間需要頻繁聯動和調整問題。
2)統一管理:已規劃季度或者財年的費用預算,需要集中採購或者提前預支的場景;業務場景中會使用多種存儲產品,希望多產品能夠簡化購買,統一管理的客戶。
四、有效的產品賦能
1、計算
異構計算正在變得司空見慣,GPU、ASIC、FPGA和推理引擎的使用大大增加。隨著數據處理對存儲和計算在規模、速度、容量和成本等維度的需求不斷提高,計算與存儲分離可以最大限度地解耦這兩類不同的關鍵資源,使得各自相對獨立地擴展和演進。
在計算存儲分離架構下,雲服務器的主要組件如QEMU是部署在計算集群,阿里雲塊存儲的大部分組件部署在後端的存儲集群,而兩者相關聯處,則是和QEMU一起部署在計算節點上的存儲端接入組件塊存儲端TDC。不論是雲盤、本地盤還是共享存儲,在計算節點都是由TDC組件統一管理,TDC提供了創建/刪除盤、打快照、設置QoS等接口給虛擬化和管控去調用。
在功能方面,塊存儲提供的雲盤採用分佈式多副本機制,支持在可用區內自動複製用戶數據,防止硬件故障導致的數據不可用。除了滿足基礎的硬盤功能如分區、格式化、創建文件系統掛載使用等功能之外,還提供創建快照、快照回滾以及加密雲盤等選項。在性能方面,根據後端存儲類型的不同,塊存儲會為雲服務器提供不同類型的雲盤以滿足各類場景的需求,例如系統盤就可以選用高效雲盤來實現。
2、數據庫
數據庫行業經過四十年的發展之後,正在從結構化數據在線處理到海量數據分析的全新轉變。越來越多的企業正將新應用向雲轉移,數據庫是雲上應用的關鍵一環,對數據存儲和計算分析的能力要求不斷加強,而云數據庫天然具備雲上靈活性,能夠提供強大的創新能力、豐富多樣的產品體系、經濟高效的部署方式和按需付費的支付模式。因此,面向數據庫的計算型存儲的出現便成為必然。
計算型存儲是一種可以將部分計算任務從CPU中卸載到近存儲或存儲內部的存儲服務。例如,在CPU和SSD之間的數據鏈路中加入異構處理器(如FPGA),承擔定製化的計算任務或使用自帶處理單元的SSD(如ARM、FPGA 等),計算任務在SSD內部完成。
在數據庫和實時業務分析場景下,阿里雲推出全球百萬級IOPS的企業級ESSD雲盤,相比於SSD雲盤分別提升40倍性能和降低70%讀寫延時,在實際的業務場景測試下,以MySQL和PostgreSQL為例,採用ESSD雲盤可獲得3到4倍的TPS性能提升。此外,ESSD雲盤支持不停機擴展容量、不停機提高I/O讀寫性能上限、數據加密等高級數據服務功能,給客戶在彈性、安全等方面帶來了更多的技術紅利。
3、容器
分析機構Gartner相關報告指出, 2022年有約75%的全球化企業將在生產中使用容器化應用。隨著容器採用率的增長,一方面更好的實現了CPU、內存的統一調度,另一方面持久的有狀態容器中的數據也需要備份和保護。雖然不能完全取代,但容器將增長到可以比肩虛擬機的量級。分析師預測,隨著2020年Kubernetes的廣泛採用,可能會出現更有競爭力的為容器提供備份服務的供應商。
作為雲原生的重要基礎,容器離不開雲原生存儲的支持。具體而言應該具備以下三點:
1)提升數據層面的一致性,比如參數優化和版本控制等;
2)構建統一的控制平臺,提供面向客戶聲明的API;
3)在調度編排層面實現拓撲感知,實現雲盤與本地盤的可用區調度;
目前雲原生存儲支持聲明化的API,雲原生負載可以直接通過數據層面無損耗的使用存儲產品在容量、性能、吞吐,時延以及可訪問性、共享/獨享的能力,在控制平臺繼續提升面向用戶應用的I/O可觀測性,應用級的QoS,多租戶的隔離能力,通過控制平臺接口實現可聲明的存儲接口,並提供對部分數據存儲生命週期的管理,容器編排還可以把業務應用和存儲粘合成為實際的負載聲明,讓雲存儲發揮更大的作用。
由於公共雲的基礎設施存儲產品較為完備,可以使用更加輕量化的數據平面來訪問產品存儲。專有云環境差異較大,虛擬化或者無虛擬化環境下,SAN和裸盤是主要存儲方式,需要採用軟件定義的方式,通過數據平面實現存儲的訪問。針對vSphere、OpenStack以及專有云,則採用公共雲存儲的方式。在容器共享存儲、動態網站、DevOps開發測試、小文件讀寫等場景下,阿里雲推出文件存儲NAS極速型,提供百微秒級延時,同時提供文件系統級快照進一步提升數據安全性。此外,容器鏡像的配置文件或初始加載數據存儲可以在NAS文件存儲上實現共享,在容器批量加載時實時讀取,多POD間通過NAS共享持久化數據,在POD故障時可以進行故障切換。
4、網絡
網絡是存儲系統中的重要性能瓶頸點。TCP從設計上並不適合長傳,如果需要TCP在長傳上提供較高的性能就需要對TCP各項參數進行調優,要考慮諸如三次握手、慢啟動、收發窗口等因素對傳輸速度的影響。為此,阿里雲存儲的多款產品從設計上進行了優化。以對象存儲為例,對象存儲推出的全球傳輸加速服務是為加速遠距離數據傳輸推出的新功能,此功能利用對象存儲分佈在全球的雲機房,將來自全球各地的用戶訪問由DNS 路由至就近的對象存儲接入點,用戶請求到達對象存儲就近節點後,會經過優化過的網絡及協議訪問Bucket所在的數據中心,將TCP並不擅長的長傳變成短距離傳輸,進而實現傳輸加速。
此外,對象存儲提供多線BGP接入,提供極致的訪問體驗。在釘釘的實際應用中,基於阿里雲對象存儲在傳輸加速方面的出色能力,釘釘在跨區域的圖片處理、文檔預覽的併發處理速度上有了10倍的提升。
5、數據中臺
在《數據中臺:讓數據用起來》一書中,數據中臺被定義為一套可持續“讓企業的數據用起來”的機制,是一種戰略選擇和組織形式,是依據企業特有的業務模式和組織架構,通過有形的產品和實施方法論支撐,構建的一套持續不斷把數據變成資產並服務於業務的機制。數據中臺是中臺這一全新架構的基礎。阿里巴巴的中臺機制,能夠將這些場景化的技術轉化為通用類技術,沉澱出來的產品也就具有足夠遠見和競爭力。
數據中臺本身起著承上啟下的任務,對下為客戶屏蔽複雜的數據採集、存儲、加工、建模、分析等一系列數據處理流程,這就需要有經驗的數據架構師幫助客戶整體規劃、設計;對上服務於企業的各類業務應用,需要有行業經驗的業務架構師一起參與到業務梳理中,以業務應用反推數據建模和數據治理的工作。所謂“業務數據化、數據業務化”,業務和數據二者不可分割,業務需要數據予以展現,數據需要業務獲得增長。因此,中臺的建設不是一個簡單的數據或業務項目,而是需要站在運營的角度去思考數據如何服務業務、數據如何驅動創新等問題。數據中臺依賴底層的存儲和計算引擎,必須和底層的存儲和計算引擎深度綁定,必須藉助於數據建模後的數據資產進行具體的數據應用,拿到具體的業務結果。在這個過程中,數據中臺離不開雲端的支持,包括存儲在內的基礎設施,需要能夠從組織的維度、戰略的維度進行全面雲化的構建,這樣對數據中臺的落地實施將會帶來更為有益的效果。