主題:
Spark Shuffle RPMem擴展: 藉助持久內存與RDMA加速Spark 數據分析
時間:
10月29日 19:00
觀看方式:
掃描下方二維碼進釘釘群
或者登陸直播間(即回看鏈接)
https://developer.aliyun.com/live/245610
講師:
張建,英特爾亞太研發有限公司大數據部門的軟件工程經理,專注於大數據和機器學習中存儲方案優化
議題介紹:
Spark Shuffle RPMem擴展提供了一個基於PMem 和RDMA 來加速Shuffle的方案,它採用PMem 作為Shuffle的存儲介質,利用PMDK 用戶態編程庫進行數據讀寫,減小用戶態、內核態切換與文件系統開銷;用基於RDMA網絡協議異構的傳輸層實現高性能數據傳輸;還將RDMA直接註冊在PMem上,減少內存拷貝。
本次直播介紹如何利用持久化內存與高性能RDMA 網絡來加速Spark Shuffle。