Spark 中通讯架构

一、Spark 通信架构介绍 Spark 中通信框架的发展： 1、Spark 早期版本中采用 Akka 作为内部通信部件。 2、Spark 1.3 中引入 Netty 通信框架，为了解决 Shuffle 的大数据传输问题使用。 3、Spark 1.6 中 Akka 和 Netty 可以配置使用，Netty 完全实现了 Akka 在 Spark 中的功能。 4、Spark 2 系列中，不再使用 Ak

>>阅读原文<<