Spark为什么使用Netty通讯框架替代Akka

解决方案 一直以来,基于Akka实现的RPC通讯框架是Spark引觉得豪的主要特性,也是与Hadoop等分布式计算框架对比过程当中一大亮点,可是时代和技术都在演化,从Spark1.3.1版本开始,为了解决大数据块(如shuffle)的传输问题,Spark引入了Netty通讯框架,到了1.6.0版本,Netty竟然彻底取代了Akka,承担Spark内部全部的RPC通讯以及数据流传输。web 网络IO
相关文章
相关标签/搜索