10月29日社区直播【Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析】

主题:

Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析编程

时间:

10月29日 19:00微信

观看方式:

扫描下方二维码进钉钉群
或者登录直播间(即回看连接)
https://developer.aliyun.com/live/245610网络

讲师:

张建,英特尔亚太研发有限公司大数据部门的软件工程经理,专一于大数据和机器学习中存储方案优化app

议题介绍:

Spark Shuffle RPMem扩展提供了一个基于PMem 和RDMA 来加速Shuffle的方案,它采用PMem 做为Shuffle的存储介质,利用PMDK 用户态编程库进行数据读写,减少用户态、内核态切换与文件系统开销;用基于RDMA网络协议异构的传输层实现高性能数据传输;还将RDMA直接注册在PMem上,减小内存拷贝。
本次直播介绍如何利用持久化内存与高性能RDMA 网络来加速Spark Shuffle。机器学习


本文分享自微信公众号 - Apache Spark技术交流社区(E-MapReduce_Spark)。
若有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一块儿分享。性能

相关文章
相关标签/搜索