Spark 2.4重磅发布：优化深度学习框架集成，提供更灵活的流式接收器

Apache Spark 2.4.0是2.x系列中的第五个版本。此版本增加了屏障执行模式，以便更好地与深度学习框架集成；引入30多个更高阶的内置函数，能够更轻松地处理复杂数据类型；优化K8s集成，同时提供Scala 2.12实验性支持。其他主要更新还包括内置Avro数据源、图像数据源，更加灵活的流式接收器，取消传输过程中2GB块大小的限制，Pandas UDF改进。此外，此版本继续关注可用性、稳定

>>阅读原文<<