Spark 2.4 正式发布，重要功能详细介绍

  如下： ♦ 添加一种支持屏障模式(barrier mode)的调度器，以便与基于MPI的程序更好地集成，例如， 分布式深度学习框架; ♦ 引入了许多内置的高阶函数，以便更容易处理复杂的数据类型(比如数组和 map); ♦ 开始支持 Scala 2.12; ♦ 允许我们对 notebooks 中的 DataFrame 进行热切求值(eager evaluation)，以便于调试和排除故障; ♦

>>阅读原文<<