spark2.0 新特性总结

新特性：java 1，用sparksession实现hivecontext和sqlcontext统一mysql 2，whole－stage code generation，大幅提升计算性能，由于把物理计划变成硬编码，每秒处理的sql中的数据量增长十倍，即对物理执行的屡次调用转化为代码for循环，蕾丝hardcode方式，减小执行的函数调用次数，当数据记录多时，这个调用次数时很大的。算法 3，合并d

>>阅读原文<<