大數據

10月29日社區直播【Spark Shuffle RPMem擴展: 藉助持久內存與RDMA加速Spark 數據分析】

主題:

Spark Shuffle RPMem擴展: 藉助持久內存與RDMA加速Spark 數據分析

時間:

10月29日 19:00

觀看方式:

掃描下方二維碼進釘釘群
或者登陸直播間(即回看鏈接)
https://developer.aliyun.com/live/245610

講師:

張建,英特爾亞太研發有限公司大數據部門的軟件工程經理,專注於大數據和機器學習中存儲方案優化

議題介紹:

Spark Shuffle RPMem擴展提供了一個基於PMem 和RDMA 來加速Shuffle的方案,它採用PMem 作為Shuffle的存儲介質,利用PMDK 用戶態編程庫進行數據讀寫,減小用戶態、內核態切換與文件系統開銷;用基於RDMA網絡協議異構的傳輸層實現高性能數據傳輸;還將RDMA直接註冊在PMem上,減少內存拷貝。
本次直播介紹如何利用持久化內存與高性能RDMA 網絡來加速Spark Shuffle。
10.29直播.png

Leave a Reply

Your email address will not be published. Required fields are marked *