SparkRDMA:使用RDMA技术提升Spark的Shuffle性能

目录 Spark Shuffle 基础 RDMA 技术 SparkRDMA 安装使用 关于配置libdisni.so Spark Shuffle 基础 在 MapReduce 框架中,Shuffle 是连接 Map 和 Reduce 之间的桥梁,Reduce 要读取到 Map 的输出必须要经过 Shuffle 这个环节;而 Reduce 和 Map 过程通常不在一台节点,这意味着 Shuffle
相关文章
相关标签/搜索