雲計算

阿里雲文件存儲CPFS升級版本發佈

文件存儲CPFS (Cloud Parallel File Storage),是阿里雲完全託管、可擴展的並行文件存儲系統。針對高性能計算場景的性能要求進行了深度優化,提供對數據毫秒級的訪問和高聚合IO吞吐、高IOPS的數據讀寫請求,可以用於AI深度訓練、自動駕駛、基因計算、EDA仿真、石油勘探,氣象分析,機器學習,大數據分析以及影視渲染等業務場景中。
文件存儲CPFS本次升級版本針對性能和功能進行了全面優化:
百GB/s的吞吐能力

  • 文件存儲採用條帶化技術,單個文件跨節點和存儲系統分佈,提高併發訪問性能。數據塊的大小可自定義,64K, 128K,256K, 512K, 1M,2M,4M,8M,16M,基於塊大小選擇的可變子塊大小(subblock size),改善許多小文或大文件工作負載的性能。
  • 智能預取機制,通過對文件訪問模式的預測來進行預取,降低讀寫延遲
  • 本地只讀緩存(LROC):擴展page pool內存,包括本地DAS/SSD支持讀緩存,基於策略引擎壓縮,壓縮有意義的數據並擴展至緩存
  • 分佈式的塊級鎖管理,包括文件和目錄兩個級別,允許最大程度的併發訪問;分佈式元數據服務器,避免元數據處理成為系統瓶頸;分佈式閃存加速元數據,元數據包括目錄, inodes, indirect blocks
  • 支持客戶端數據緩存,不同節點可以根據需要設置不同的緩存大小
  • 支持RDMA協議,大幅降低的節點間軟件路徑延遲

靈活的彈性擴展能力

  • 一鍵式擴容,擴展整個存儲系統容量後自動對數據進行均衡
  • 吞吐隨著容量線性增長,最大可以擴展到數百GB/s
  • IOPS隨著容量線性增長,最大可以擴展到數百萬IOPS
  • 可支持數千規模集群的計算節點併發訪問
  • 單文件系統可以支持PB級的容量和10億級的文件數量

混合雲架構

  • 支持CPFS公共雲和CPFS混合雲存儲線上線下數據打通,線下CPFS混合雲存儲在不滿足突發業務增量的時候,可以將業務burst上雲。

詳細信息請參考CPFS產品文檔

Leave a Reply

Your email address will not be published. Required fields are marked *